特許 7574944 学習装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-21

(45)【発行日】2024-10-29

(54)【発明の名称】学習装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241022BHJP

【ＦＩ】

G06N20/00 130

【請求項の数】 12

(21)【出願番号】P 2023549265

(86)(22)【出願日】2021-09-24

(86)【国際出願番号】 JP2021035124

(87)【国際公開番号】W WO2023047542

(87)【国際公開日】2023-03-30

【審査請求日】2024-03-05

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100124811

【弁理士】

【氏名又は名称】馬場 資博

(74)【代理人】

【識別番号】100088959

【弁理士】

【氏名又は名称】境 廣巳

(74)【代理人】

【識別番号】100097157

【弁理士】

【氏名又は名称】桂木 雄二

(74)【代理人】

【識別番号】100187724

【弁理士】

【氏名又は名称】唐鎌 睦

(72)【発明者】

【氏名】澤田 あずさ

【審査官】今城 朋彬

(56)【参考文献】

【文献】特開２０２０－１４９６０１（ＪＰ，Ａ）

【文献】特開２０２１－０３３５４４（ＪＰ，Ａ）

【文献】中国特許出願公開第１１２５９８３１１（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００ー２０／００

(57)【特許請求の範囲】

【請求項1】

同一の対象に対応する複数の第１のデータを含むグループと前記グループに対する第１のデータラベルとを含む第１の教師データを用い、未知対象に対応する第２のデータが属するクラスを識別する識別モデルを学習する学習手段を備え、
前記学習手段は、前記識別モデルを用いて前記第１のデータに対する識別スコアを算出し、前記識別スコアの前記グループ内での相対的な高さに依存する重みによって重み付けされた損失を用いて前記識別モデルを学習する、
学習装置。

【請求項2】

前記学習手段は、或る対象に対応する第３のデータと前記第３データに対する第２のデータラベルとを含む第２の教師データを入力し、前記第３のデータを複数に分割して得られる複数の部分データと前記第２のデータラベルとから前記第１の教師データを生成するデータ変換手段を有する、
請求項１に記載の学習装置。

【請求項3】

前記学習手段は、前記第１のデータに対する前記識別スコアの狭義単調増加関数ｆ（ｓ）を前記グループ内の合計値で正規化したものを、前記第１のデータの重みとして算出するように構成されている、
請求項１または２に記載の学習装置。

【請求項4】

前記狭義単調増加関数ｆ（ｓ）は、前記識別スコアをｓ、前記識別モデルの識別クラス数をＮとするとき、
ｆ（ｓ）＝ｓ－１／Ｎ
である、
請求項３に記載の学習装置。

【請求項5】

前記狭義単調増加関数ｆ（ｓ）は、前記識別スコアをｓ、前記識別モデルの識別クラス数をＮとするとき、
ｆ（ｓ）＝（ｓ－１／Ｎ）²
である、
請求項３に記載の学習装置。

【請求項6】

前記狭義単調増加関数ｆ（ｓ）は、前記識別スコアをｓ、前記識別モデルの識別クラス数をＮとするとき、
ｆ（ｓ）＝ｅｘｐ（ｓ－１／Ｎ）
である、
請求項３に記載の学習装置。

【請求項7】

前記識別モデルの識別クラス数をＮとするとき、前記学習手段は、前記識別モデルのＮ成分のソフトマックス出力の最大値を前記識別スコアに用いる、
請求項１乃至６の何れかに記載の学習装置。

【請求項8】

前記識別モデルは、何れのクラスであるか確信が持てない場合に値が増加するように学習する特定のソフトマックス出力を有し、前記学習手段は、前記特定のソフトマックス出力の低さの程度を前記識別スコアに用いる、
請求項１乃至６の何れかに記載の学習装置。

【請求項9】

前記第１のデータは、時系列データである、
請求項１乃至８の何れかに記載の学習装置。

【請求項10】

前記第１のデータは、観測により得られた対象の移動軌跡を表す時系列データである、
請求項１乃至９の何れかに記載の学習装置。

【請求項11】

同一の対象に対応する複数の第１のデータを含むグループと前記グループに対する第１のデータラベルとを含む第１の教師データを用い、未知対象に対応する第２のデータが属するクラスを識別する識別モデルを学習し、
前記学習では、前記識別モデルを用いて前記第１のデータに対する識別スコアを算出し、
前記識別スコアの前記グループ内での相対的な高さに依存する重みを算出し、
前記算出した重みを用いて重み付けされた損失を算出し、
前記重み付けされた損失を用いて前記識別モデルを学習する、
学習方法。

【請求項12】

コンピュータに、
同一の対象に対応する複数の第１のデータを含むグループと前記グループに対する第１のデータラベルとを含む第１の教師データを用い、未知対象に対応する第２のデータが属するクラスを識別する識別モデルを学習する処理、を行わせ、
前記学習では、
前記識別モデルを用いて前記第１のデータに対する識別スコアを算出する処理と、
前記識別スコアの前記グループ内での相対的な高さに依存する重みを算出する処理と、
前記算出した重みを用いて重み付けされた損失を算出する処理と、
前記重み付けされた損失を用いて前記識別モデルを学習する処理と、
を行わせるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データが属するクラスを識別する識別モデルを機械学習する学習装置、学習方法、および記録媒体に関する。

【背景技術】

【0002】

透明または半透明な容器に封入された液体中の異物の有無を検査する装置および方法が提案されている。

【0003】

例えば、特許文献１には、液体中の物体の移動軌跡を表すデータを観測により取得し、この取得した移動軌跡データと、事前に学習しておいた液体中の異物の移動軌跡データとを比較することにより、液体中に異物が存在するか否かを検査する方法および装置が提案されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－１７４３４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

液体中の物体の移動軌跡を観測により取得する際、同一物体の移動軌跡が断片化して観測される場合がある。即ち、観測期間中に或る物体が始点Ｓから終点Ｅまで移動したとき、始点Ｓから終点Ｅまでの移動軌跡全体が当該物体の移動軌跡として観測されることが理想的である。しかし、容器のレンズ効果、照明条件による物体の陰影の消失、影や他の物体による隠れ、物体の陰影の見えの変化等による追跡失敗などが要因となって、移動軌跡の一部分が当該物体の移動軌跡データとして観測される場合がある。例えば、始点Ｓから中間地点までの部分的な移動軌跡や、中間地点から別の中間地点までの部分的な移動軌跡や、中間地点から終点Ｅまでの部分的な移動軌跡が、物体の移動軌跡データとして観測される場合がある。このように移動軌跡全体のうちの一部分があたかも移動軌跡全体として観測される現象を、移動軌跡データの断片化と呼ぶ。

【0006】

しかしながら、このような断片化を想定して識別モデルを学習することは従来行われていなかった。そのため、断片化したデータの識別が困難である、という課題があった。このような課題は、液体中の物体の移動軌跡から物体のクラスを識別する識別モデルに限定されず、データを入力しデータのクラスを識別する識別モデル全般で発生する。

【0007】

本発明は、上述した課題を解決する学習装置を提供することにある。

【課題を解決するための手段】

【0008】

本発明の一形態に係る学習装置は、
同一の対象に対応する複数の第１のデータを含むグループと前記グループに対する第１のデータラベルとを含む第１の教師データを用い、未知対象に対応する第２のデータが属するクラスを識別する識別モデルを学習する学習手段を備え、
前記学習手段は、前記識別モデルを用いて前記第１のデータに対する識別スコアを算出し、前記識別スコアの前記グループ内での相対的な高さに依存する重みによって重み付けされた損失を用いて前記識別モデルを学習する、
ように構成されている。

【0009】

また、本発明の他の形態に係る学習方法は、
同一の対象に対応する複数の第１のデータを含むグループと前記グループに対する第１のデータラベルとを含む第１の教師データを用い、未知対象に対応する第２のデータが属するクラスを識別する識別モデルを学習し、
前記学習では、前記識別モデルを用いて前記第１のデータに対する識別スコアを算出し、
前記識別スコアの前記グループ内での相対的な高さに依存する重みを算出し、
前記算出した重みを用いて重み付けされた損失を算出し、
前記重み付けされた損失を用いて前記識別モデルを学習する、
ように構成されている。

【0010】

また、本発明の他の形態に係るコンピュータ読み取り可能な記録媒体は、
コンピュータに、
同一の対象に対応する複数の第１のデータを含むグループと前記グループに対する第１のデータラベルとを含む第１の教師データを用い、未知対象に対応する第２のデータが属するクラスを識別する識別モデルを学習する処理、を行わせ、
前記学習では、
前記識別モデルを用いて前記第１のデータに対する識別スコアを算出する処理と、
前記識別スコアの前記グループ内での相対的な高さに依存する重みを算出する処理と、
前記算出した重みを用いて重み付けされた損失を算出する処理と、
前記重み付けされた損失を用いて前記識別モデルを学習する処理と、
を行わせるためのプログラムを記録するように構成されている。

【発明の効果】

【0011】

本発明は、上述したような構成を有することにより、断片化に強く、且つ、スコアの高い誤識別を起こし難い識別モデルを獲得することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の第１の実施形態に係る学習装置を適用した検査システムのブロック図である。

【図2】本発明の第１の実施形態における検査装置の一例を示すブロック図である。

【図3】本発明の第１の実施形態における画像情報の構成例を示す図である。

【図4】本発明の第１の実施形態における追跡情報の構成例を示す図である。

【図5】本発明の第１の実施形態における検査結果情報の構成例を示す図である。

【図6】本発明の第１の実施形態における学習フェーズの動作の一例を示すフローチャートである。

【図7】本発明の第１の実施形態における検査フェーズの動作の一例を示すフローチャートである。

【図8】本発明の第１の実施形態において識別モデルの機械学習に用いられる２種類の教師データの構成例を示す図である。

【図9】本発明の第１の実施形態において識別モデル学習部が教師データ２５０から教師データ２５１を作成する方法の一例を示す模式図である。

【図10】本発明の第１の実施形態における識別モデル学習部の学習処理の一例を示すフローチャートである。

【図11】本発明の第１の実施形態において使用する式を示す図である。

【図12】本発明の第１の実施形態における判定部の処理の一例を示すフローチャートである。

【図13】本発明の第１の実施形態において教師データとして使用する浮遊物の移動軌跡の例を模式的に示す図である。

【図14】本発明の第２の実施形態に係る学習装置のブロック図である。

【発明を実施するための形態】

【0013】

［第１の実施形態］
図１は、本発明の第１の実施形態に係る学習装置を適用した検査システム１００のブロック図である。図１を参照すると、検査システム１００は、容器４００に封入された液体中の異物の有無を検査するシステムである。検査システム１００は、主な構成要素として、把持装置１１０と、照明装置１２０と、カメラ装置１３０と、検査装置２００と、表示装置３００と、を備えている。

【0014】

容器４００は、ガラス瓶やペットボトルなどの透明または半透明な容器である。容器４００の内部には、薬剤や水などの液体が封入・充填されている。また、容器４００に封入された液体中には、異物が混入している可能性がある。異物としては、例えば、ガラス片、プラスチック片、ゴム片、髪の毛、繊維片、煤、などが想定される。

【0015】

把持装置１１０は、容器４００を所定の姿勢で把持するように構成されている。所定の姿勢は任意である。例えば、容器４００が正立しているときの姿勢を所定の姿勢としてよい。あるいは、容器４００が正立した姿勢から所定の角度で傾いた姿勢を所定の姿勢としてよい。以下では、容器４００が正立した姿勢を所定の姿勢として説明する。容器４００を正立した姿勢で把持する機構は、任意である。例えば、把持する機構は、容器４００を正立した姿勢で載置する台座と、台座上に載置された容器４００の頭頂部であるキャップ４０１の上面部を押圧する部材などを含んで構成されていてよい。

【0016】

また、把持装置１１０は、容器４００を把持した状態で、容器４００を正立した姿勢から所定方向に傾斜させ、または揺動させ、または回転させるように構成されている。容器４００を傾斜・揺動・回転させる機構は、任意である。例えば、傾斜・揺動・回転させる機構は、把持機構全体を、容器４００を把持した状態で傾斜・揺動・回転させるモータを含んで構成されていてよい。

【0017】

また、把持装置１１０は、有線または無線により検査装置２００と接続されている。把持装置１１０は、検査装置２００からの指示により起動されると、容器４００を把持した状態で、容器４００を正立した姿勢から所定方向に傾斜・揺動・回転させる。また、把持装置１１０は、検査装置２００からの指示により停止されると、容器４００を傾斜・揺動・回転させる動作を停止し、容器４００を正立した姿勢で把持する状態に復帰する。

【0018】

上記のように容器４００を傾斜・揺動・回転させ、その後に静止させると、静止した容器４００内で液体が慣性により流動する状態が得られる。液体が流動すると、液体に混入された異物が浮遊する状態が得られる。また、液体が流動すると、容器４００の内側壁面などに付着していた気泡や液体の流動の過程で混ざり込んだ気泡が液体中を浮遊する可能性がある。従って、検査装置２００は、浮遊物が異物であるか、気泡であるかを識別する必要がある。

【0019】

照明装置１２０は、容器４００に封入された液体に対して照明光を照射するように構成されている。照明装置１２０は、例えば、容器４００の大きさに応じたサイズの面光源である。照明装置１２０は、容器４００からみてカメラ装置１３０が設置される側とは反対側に設置されている。すなわち、照明装置１２０による照明は、透過照明である。ただし、照明装置１２０の位置はこれに限定せず、例えば容器４００の底面側やカメラ装置１３０に隣接する位置に設置して、反射光照明として撮影する形態をとってもよい。

【0020】

カメラ装置１３０は、容器４００からみて照明装置１２０が設置される側とは反対側の所定位置から、容器４００内の液体を、所定のフレームレートで連続して撮影する撮影装置である。カメラ装置１３０は、例えば、数百万画素程度の画素容量を有するＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）イメージセンサを備えたカラーカメラを含んで構成されていてよい。カメラ装置１３０は、有線または無線により、検査装置２００と接続されている。カメラ装置１３０は、撮影して得られた時系列の画像を、撮影時刻を示す情報などと共に、検査装置２００に対して送信するように構成されている。

【0021】

表示装置３００は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶ディスプレイ）などの表示装置である。表示装置３００は、検査装置２００と有線または無線により接続されている。表示装置３００は、検査装置２００で行われた容器４００の検査結果などを表示するように構成されている。

【0022】

検査装置２００は、カメラ装置１３０によって撮影して得られた時系列の画像に対して画像処理を行って、容器４００に封入された液体中の異物の有無を検査する情報処理装置である。検査装置２００は、把持装置１１０、カメラ装置１３０、および表示装置３００と有線または無線により接続されている。

【0023】

図２は、検査装置２００の一例を示すブロック図である。図２を参照すると、検査装置２００は、通信Ｉ／Ｆ部２１０と操作入力部２２０と記憶部２３０と演算処理部２４０とを備えている。

【0024】

通信Ｉ／Ｆ部２１０は、データ通信回路から構成され、有線または無線により把持装置１１０、カメラ装置１３０、表示装置３００、および図示しない他の外部装置との間でデータ通信を行うように構成されている。操作入力部２２０は、キーボードやマウスなどの操作入力装置から構成され、オペレータの操作を検出して演算処理部２４０に出力するように構成されている。

【0025】

記憶部２３０は、ハードディスクやメモリなどの１種類あるいは多種類の１以上の記憶装置から構成され、演算処理部２４０における各種処理に必要な処理情報およびプログラム２３１を記憶するように構成されている。プログラム２３１は、演算処理部２４０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部２１０などのデータ入出力機能を介して図示しない外部装置や記録媒体から予め読み込まれて記憶部２３０に保存される。記憶部２３０に記憶される主な処理情報には、画像情報２３２、追跡情報２３３、識別モデル２３４、および、検査結果情報２３５がある。

【0026】

画像情報２３２は、容器４００内の液体をカメラ装置１３０によって連続して撮影して得られた時系列の画像を含んでいる。容器４００内の液体中に浮遊物が存在する場合、画像情報２３２には、浮遊物の像が写っている。

【0027】

図３は、画像情報２３２の構成例を示す。この例の画像情報２３２は、容器ＩＤ２３２１と撮影時刻２３２２とフレーム画像２３２３との組からなるエントリから構成されている。容器ＩＤ２３２１の項目には、容器４００を一意に識別するＩＤが設定される。容器ＩＤ２３２１としては、容器４００に振られた通し番号、容器４００に貼付されたバーコード、容器４００のキャップ４０１などから採取された物体指紋情報などが考えられる。撮影時刻２３２２およびフレーム画像２３２３の各項目には、撮影時刻およびフレーム画像が設定される。撮影時刻２３２２は、同じ容器ＩＤの他のフレーム画像と区別して識別できるような精度（例えばミリ秒単位）に設定されている。撮影時刻２３２２は、例えば、容器４００の傾斜・揺動・回転を停止した時点からの経過時間を用いてよい。図３の例では、フレーム画像２３２３毎に容器ＩＤ２３２１を関連付けているが、複数のフレーム画像２３２３のグループ毎に容器ＩＤ２３２１を関連付けるようにしてもよい。

【0028】

追跡情報２３３は、画像情報２３２に写っている容器４００内の液体中に存在する浮遊物の像を検出して追跡した浮遊物の移動軌跡を表す時系列データを含んでいる。図４は、追跡情報２３３の構成例を示す。この例の追跡情報２３３は、容器ＩＤ２３３１、追跡ＩＤ２３３２とポインタ２３３３との組、の各エントリから構成されている。容器ＩＤ２３３１のエントリには、容器４００を一意に識別するＩＤが設定される。追跡ＩＤ２３３２とポインタ２３３３との組からなるエントリは、追跡対象の浮遊物毎に設けられる。追跡ＩＤ２３３２の項目には、追跡対象の浮遊物を同じ容器４００内の他の浮遊物と識別するためのＩＤが設定される。ポインタ２３３３の項目には、追跡対象とする浮遊物の移動軌跡情報２３３４へのポインタが設定される。

【0029】

移動軌跡情報２３３４は、時刻２３３４１と位置情報２３３４２とサイズ２３３４３と色２３３４４と形状２３３４５との組からなるエントリから構成されている。時刻２３３４１と位置情報２３３４２とサイズ２３３４３と色２３３４４と形状２３３４５との項目には、撮影時刻とその撮影時刻における追跡対象の浮遊物の位置を示す座標値と浮遊物のサイズと浮遊物の色と浮遊物の形状とが設定される。時刻２３３４１に設定する撮影時刻は、フレーム画像の撮影時刻２３２２を用いる。座標値は、例えば、予め定められた座標系における座標値であってよい。また、予め定められた座標系は、カメラを中心としてみたカメラ座標系であってもよいし、空間中のある位置を中心として考えたワールド座標系であってもよい。移動軌跡情報２３３４のエントリは、時刻２３３４１の順に並べられている。先頭のエントリの時刻２３３４１は、追跡開始時刻である。最後尾のエントリの時刻２３３４１は、追跡終了時刻である。先頭および最後尾以外のエントリの時刻２３３４１は、追跡中間時刻である。

【0030】

識別モデル２３４は、浮遊物の移動軌跡を表す時系列データから当該浮遊物の種類（クラス）を推定するモデルである。識別クラス数はＮとする。Ｎは２、または３以上の正の整数である。例えば、Ｎ＝２の場合、識別モデル２３４は、例えば、浮遊物が異物クラスである確率を出力する。また、Ｎ＝３の場合、識別モデル２３４は、例えば、異物クラスである確率と泡クラスである確率とノイズクラスである確率との３つのクラスそれぞれの確率を出力する。各クラスの確率は、例えば、ソフトマックス（ｓｏｆｔｍａｘ）値として識別モデル２３４から出力される。識別モデル２３４は、例えば、ＲＮＮやＬＳＴＭなどのニューラルネットワークの再帰的構造を用いて構成してよい。或いは、識別モデル２３４は、パディング、プーリング処理やリサイズを用いて、固定長データの識別に帰着してもよい。

【0031】

検査結果情報２３５は、検査対象とする容器４００に封入された液体中の異物の有無を検査した結果の情報である。図５は、検査結果情報２３５の構成例を示す。この例の検査結果情報２３５は、容器ＩＤ２３５１と検査結果２３５２との組から構成されている。容器ＩＤ２３５１のエントリには、検査対象の容器４００を一意に識別するＩＤが設定される。検査結果２３５２のエントリには、ＯＫ（検査合格）またはＮＧ（検査不合格）の何れかの検査結果が設定される。ＮＧの検査結果は、容器ＩＤで特定される容器４００に封入された液体中から検出された全ての浮遊物のうち少なくとも１つが所定値以上の確率で異物クラスであると判定されたときに出される。

【0032】

再び図２を参照すると、演算処理部２４０は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶部２３０からプログラム２３１を読み込んで実行することにより、上記ハードウェアとプログラム２３１とを協働させて各種処理部を実現するように構成されている。演算処理部２４０で実現される主な処理部には、取得部２４１、識別モデル学習部２４２、および、判定部２４３がある。

【0033】

取得部２４１は、把持装置１１０およびカメラ装置１３０を制御して、容器４００に封入された液体中に存在する浮遊物の像を写した画像情報２３２を取得するように構成されている。また、取得部２４１は、画像情報２３２を解析することにより、浮遊物の移動軌跡を表す時系列データを含む追跡情報２３３を取得するように構成されている。

【0034】

識別モデル学習部２４２は、識別モデル２３４の学習に用いる教師データを生成するように構成されている。また、識別モデル学習部２４２は、生成された教師データを用いて、識別モデル２３４を学習するように構成されている。

【0035】

判定部２４３は、学習済みの識別モデル２３４を用いて、取得部２４１によって取得された検査対象に係る容器４００に封入された液体中の浮遊物の移動軌跡を表す時系列データから浮遊物のクラスを推定するように構成されている。また、判定部２４３は、上記推定結果に基づいて、検査対象に係る容器４００に異物が混入しているか否かを表す検査結果情報２３５を作成するように構成されている。

【0036】

次に、検査システム１００の動作を説明する。検査システム１００のフェーズは、学習フェーズと検査フェーズとに大別される。学習フェーズは、識別モデル２３４を機械学習するフェーズである。検査フェーズは、学習済みの識別モデル２３４を用いて、検査対象に係る容器４００に封入された液体中の異物の有無を検査するフェーズである。

【0037】

図６は学習フェーズの動作の一例を示すフローチャートである。図６を参照すると、先ず、取得部２４１は、把持装置１１０およびカメラ装置１３０を制御して、容器４００に封入された液体中に存在する浮遊物の像を写した画像情報２３２を取得する（ステップＳ１）。次に、取得部２４１は、画像情報２３２を解析することにより、浮遊物の移動軌跡を表す時系列データを含む追跡情報２３３を取得する（ステップＳ２）。

【0038】

次に、識別モデル学習部２４２は、識別モデル２３４の機械学習に用いる教師データを作成する（ステップＳ３）。次に、識別モデル学習部２４２は、作成した教師データを用い、入力を浮遊物の移動軌跡を表す時系列データとし、出力を浮遊物のクラスとする識別モデル２３４を機械学習させ、学習済みの識別モデルを生成する（ステップＳ４）。識別モデル２３４は、学習フェーズが終了すると学習済みの識別モデルとなる。

【0039】

図７は検査フェーズの動作の一例を示すフローチャートである。図７を参照すると、先ず、取得部２４１は、把持装置１１０およびカメラ装置１３０を制御して、検査対象に係る容器４００に封入された液体中に存在する浮遊物の像を写した画像情報２３２を取得する（ステップＳ１１）。次に、取得部２４１は、画像情報２３２を解析することにより、浮遊物の移動軌跡を表す時系列データを含む追跡情報２３３を取得する（ステップＳ１２）。

【0040】

次に、判定部２４３は、学習済みの識別モデル２３４を用いて、追跡情報２３３に含まれる浮遊物の移動軌跡を表す時系列データから浮遊物のクラスを推定する（ステップＳ１３）。次に、判定部２４３は、推定した浮遊物のクラスに基づいて、検査結果情報２３６を作成する（ステップＳ１４）。

【0041】

続いて、取得部２４１と識別モデル学習部２４２と判定部２４３を詳細に説明する。

【0042】

先ず、取得部２４１の詳細を説明する。

【0043】

取得部２４１は、先ず、容器４００を正立した姿勢で把持している把持装置１１０を起動することにより、検査対象の容器４００を傾斜・揺動・回転させる。次に、取得部２４１は、起動後、一定時間が経過すると、把持装置１１０を停止させることにより、容器４００を所定の姿勢で静止させる。このように容器４００を一定時間にわたって傾斜・揺動・回転させた後に静止させることにより、静止した容器４００内で液体が慣性によって流動する状態が得られる。次に、取得部２４１は、照明装置１２０による透過照明の下で、容器４００内の液体をカメラ装置１３０によって所定のフレームレートで連続して撮影する動作を開始する。即ち、取得部２４１は、容器４００が傾斜・揺動・回転された後に静止した時刻を時刻Ｔｓとすると、時刻Ｔｓから上記撮影動作を開始する。

【0044】

また、取得部２４１は、時刻Ｔｓから所定時間Ｔｗが経過する時刻Ｔｅまで、容器４００内の液体をカメラ装置１３０によって連続して撮影し続ける。上記所定時間Ｔｗは、例えば、液体中を浮遊する浮遊物が全て気泡であると仮定した場合に、全ての気泡が容器４００の上方に向かって移動し、もはや下方に移動するとは考えられないような移動軌跡が得られるのに必要な時間（以下、最小撮影時間長と記す）以上に設定されていてよい。最小撮影時間長は、予め実験などによって決定され、取得部２４１に固定的に設定されていてよい。なお、取得部２４１は、時刻Ｔｅに達したときに、カメラ装置１３０による撮影を直ちに停止してもよいし、なおもカメラ装置１３０による撮影を続けてもよい。

【0045】

取得部２４１は、カメラ装置１３０から取得した時系列のフレーム画像のそれぞれに、撮影時刻および容器ＩＤを付加し、画像情報２３２として記憶部２３０に保存する。

【0046】

次に取得部２４１は、所定時間長分の時系列のフレーム画像が取得されると、それらのフレーム画像のそれぞれから、容器４００内の液体中の浮遊物の陰影を検出する。例えば、取得部２４１は、以下に記載するような方法によって液体中の浮遊物の陰影を検出する。但し、取得部２４１は、以下に記載した以外の方法によって液体中の浮遊物の陰影を検出してよい。

【0047】

先ず、取得部２４１は、フレーム画像のそれぞれに対して２値化処理を行って、２値化フレーム画像を作成する。次に、取得部２４１は、２値化フレーム画像のそれぞれから、以下のようにして浮遊物の陰影を検出する。

【0048】

取得部２４１は、先ず、浮遊物の陰影を検出する対象とする２値化フレーム画像を注目中２値化フレーム画像とする。次に、注目中２値化フレーム画像と、撮影時刻がΔｔだけ後の２値化フレーム画像との差分画像を生成する。ここで、Δｔは、２つの画像において同じ浮遊物が一部分で重なるか、重ならない場合でもごく近接した位置に現れる程度の時間に設定される。そのため、時間差Δｔは、液体および異物の性質や流動状態などに応じて定められる。上記差分画像では、２つの２値化フレーム画像で一致する画像部分は消去され、相違する画像部分だけが残される。このため、２つの２値化フレーム画像の同じ位置に現れる容器４００の輪郭や傷などは消去され、浮遊物の陰影だけが現れる。取得部２４１は、差分画像で陰影が現れた箇所に対応する注目中２値化フレーム画像の陰影を、注目中２値化フレーム画像中に存在する浮遊物の陰影として検出する。

【0049】

取得部２４１は、検出された浮遊物を時系列の画像の中で追跡し、追跡の結果に応じて追跡情報２３３を作成する。先ず、取得部２４１は、追跡情報２３３を初期化する。この初期化では、図４の容器ＩＤ２３３１のエントリに容器４００の容器ＩＤが設定される。次に、取得部２４１は、以下に記載するような方法によって、時系列の画像の中で、浮遊物を追跡し、その追跡結果に応じて、浮遊物毎に、図４の追跡ＩＤ２３３２とポインタ２３３３との組のエントリ、移動軌跡情報２３３４を作成する。

【0050】

先ず、取得部２４１は、上記作成した２値化フレーム画像の時系列のうち、撮影時刻が最も過去の２値化フレーム画像に注目する。次に、取得部２４１は、注目中２値化フレーム画像において検出された浮遊物それぞれに、一意となる追跡ＩＤを付与する。次に、取得部２４１は、検出された浮遊物毎に、注目中２値化フレーム画像において検出された浮遊物に付与した追跡ＩＤを、図４の追跡ＩＤ２３３２の項目に設定し、対応するポインタ２３３３で指示される移動軌跡情報２３３４の先頭エントリの時刻２３３４１の項目に注目中２値化フレーム画像の撮影時刻を設定し、位置情報２３３４２とサイズ２３３４３と色２３３４４と形状２３３４５との項目に注目中２値化フレーム画像における浮遊物の座標値とサイズと色と形状とを設定する。

【0051】

次に、取得部２４１は、注目中２値化フレーム画像より１フレームだけ後の２値化フレーム画像に注目を移す。次に、取得部２４１は、注目中２値化フレーム画像において検出された浮遊物の１つに注目する。次に、取得部２４１は、注目中浮遊物の位置と、１フレームだけ前の２値化フレーム画像（以下、先行２値化フレーム画像と記す）において検出された浮遊物の位置とを比較し、注目中浮遊物から予め定められた閾値距離以内に浮遊物が存在すれば、注目中浮遊物と当該閾値距離以内に存在した浮遊物とは同一の浮遊物であると判定する。この場合、取得部２４１は、注目中の浮遊物に、同一の浮遊物と判定した浮遊物に対して付与されている追跡ＩＤを付与する。そして、取得部２４１は、付与した追跡ＩＤ２３３２が設定されている追跡情報２３３のエントリのポインタ２３３３が指し示す移動軌跡情報２３３４に新たなエントリを確保し、その確保したエントリの時刻２３３４１と位置情報２３３４２とサイズ２３３４３と色２３３４４と形状２３３４５とに、注目中２値化フレーム画像の撮影時刻と注目中浮遊物の座標値とサイズと色と形状とを設定する。

【0052】

一方、取得部２４１は、先行２値化フレーム画像において注目中浮遊物から閾値距離以内に浮遊物が存在しない場合、注目中浮遊物は新規な浮遊物と判定し、新たな追跡ＩＤを付与する。次に、取得部２４１は、注目中浮遊物に付与した追跡ＩＤを、新たに確保したエントリの図４の追跡ＩＤ２３３２の項目に設定し、対応するポインタ２３３３で指示される移動軌跡情報２３３４の先頭エントリの時刻２３３４１の項目に注目中２値化フレーム画像の撮影時刻を設定し、位置情報２３３４２とサイズ２３３４３と色２３３４４と形状２３３４５との項目に注目中浮遊物の座標値とサイズと色と形状とを設定する。

【0053】

取得部２４１は、注目中浮遊物についての処理を終えると、注目中２値化フレーム画像において検出された次の浮遊物に注目を移し、前述した処理と同様の処理を繰り返す。そして、取得部２４１は、注目中２値化フレーム画像において検出された全ての浮遊物について注目し終えると、１フレームだけ後のフレーム画像に注目を移し、上述した処理と同様の処理を繰り返す。そして、取得部２４１は、画像情報２３２における最後のフレーム画像まで注目し終えると、追跡処理を終了する。

【0054】

以上の説明では、取得部２４１は、隣接する２つのフレーム画像における浮遊物間の距離に基づいて追跡を行った。しかし、取得部２４１は、ｎフレーム（ｎは１以上の正の整数）を挟んで隣接する２つのフレーム画像における浮遊物間の距離に基づいて追跡を行うようにしてもよい。また、取得部２４１は、ｍフレーム（ｍは０以上の正の整数）を挟んで隣接する２つのフレーム画像における浮遊物間の距離に基づいて追跡を行った追跡結果と、ｍ＋ｊフレーム（ｊは１以上の正の整数）を挟んで隣接する２つのフレーム画像における浮遊物間の距離に基づいて追跡を行った追跡結果とを総合的に判断して追跡を行うようにしてもよい。

【0055】

次に、識別モデル学習部２４２の詳細を説明する。

【0056】

先ず、識別モデル２３４の機械学習に用いられる教師データについて説明する。

【0057】

図８は、識別モデル２３４の機械学習に用いられる２種類の教師データの構成例を示す。図８を参照すると、１つ目の種類の教師データ２５０は、浮遊物の移動軌跡を表す単一の時系列データ２５０１とその浮遊物のクラスを表す正解ラベル２５０２とを含んで構成されている。時系列データ２５０１は、例えば、図４に示した移動軌跡情報２３３４を使用してよい。或いは、時系列データ２５０１は、例えば、図４に示した移動軌跡情報２３３４からサイズ２３３４３、色２３３４４、および、形状２３３４５の１つ、または２つ、または全てを取り除いた残りの情報であってよい。また、正解ラベル２５０２は、時系列データ２５０１に対応する浮遊物の属するクラスを表している。例えば、正解ラベル２５０２は、各ベクトル要素に１クラスを割り当て、正解クラスのベクトル要素のみ１にし他は０にするＯｎｅ－ｏｆ－ｋ表記法で表記してよい。教師データ２５０は、例えば、ユーザとの間の対話的処理によって作成されてよい。例えば、識別モデル学習部２４２は、取得部２４１によって取得された移動軌跡情報２３３４を表示装置３００の画面に表示し、操作入力部２２０を通じてユーザから当該移動軌跡情報２３３４の正解ラベルを受け付ける。そして、識別モデル学習部２４２は、表示した移動軌跡情報２３３４と受け付けた正解ラベルとの組を１つの教師データ２５０として作成する。識別モデル学習部２４２は、同様の方法により、識別クラス毎に、必要十分な数の教師データ２５０を作成する。但し、教師データ２５０の作成方法は上記に限定されない。

【0058】

図１３に示される移動軌跡Ａ、Ｂ、Ｃは、教師データ２５０を構成する移動軌跡情報２３３４が表す浮遊物の移動軌跡の例を模式的に示している。図１３において、移動軌跡Ａ、Ｂは異物、移動軌跡Ｃは泡によるものである。異物の移動軌跡Ａでは、一部の区間で液体の流動の影響を受けて上方に移動しているが、液体より比重の重い異物は最終的には落下する。また、異物の移動軌跡Ｂでは、一度も上方に移動することなく、追跡開始当初から落下する傾向を示している。一方、泡の移動軌跡Ｃでは、一部の区間で液体の流動の影響を受けて下方に移動しているものの、最終的には上方に移動している。

【0059】

再び図８を参照すると、２つ目の種類の教師データ２５１は、同一の浮遊物に対応する複数の時系列データ２５１１－ｉ（ｉ＝１、２、・・・）とその浮遊物のクラスを表す正解ラベル２５１２とを含んで構成されている。このような教師データ２５１は、例えば、１つ目の種類の教師データ２５０から機械的に作成されてよい。

【0060】

図９は、識別モデル学習部２４２が教師データ２５０から教師データ２５１を作成する方法の一例を示す模式図である。図９を参照すると、識別モデル学習部２４２は、選択部２４２１とデータ変換部２４２２とを含んで構成されている。先ず、識別モデル学習部２４２は、選択部２４２１を用いて、図８を参照して説明した複数の教師データ２５０の中から、異物の移動軌跡を表す時系列データ２５０１と正解ラベル２５０２とを含んで構成される教師データ２５０’を１以上、必要十分な数だけ選択する。例えば、正解ラベル２５０２が、異物クラスと泡クラスとノイズクラスとの３つのクラスのベクトル要素を含む場合、教師データ２５０’は異物クラスに値１が設定されている正解ラベル２５０２を有する教師データになる。但し、異物の移動軌跡を表す時系列データ２５０１を有する教師データに加えて、異物以外の移動軌跡を表す時系列データ２５０１を有する教師データを教師データ２５０の中から選択して、教師データ２５０’に含めてもよい。

【0061】

次に、識別モデル学習部２４２は、データ変換部２４２２を用いて、教師データ２５０’のそれぞれから、複数の時系列データ２５１１－ｉと正解ラベル２５１２とを含んで構成される１つの教師データ２５１を生成する。具体的には、識別モデル学習部２４２は、教師データ２５０の時系列データ２５０１の追跡開始時刻Ｓｔから追跡終了時刻Ｅｔまでの時間を３等分する２つの中間の時刻Ｍｔ１、Ｍｔ２を算出する。次に、識別モデル学習部２４２は、時系列データ２５０１を構成する移動軌跡情報２３３４から、追跡開始時刻Ｓｔから中間の時刻Ｍｔ１までの時刻２３３４１を有する全てのエントリを抽出し、この抽出して得られたエントリから構成される時系列データを１番目の時系列データ２５１１－１として生成する。次に、識別モデル学習部２４２は、時系列データ２５０１を構成する移動軌跡情報２３３４から、中間の時刻Ｍｔ１から中間の時刻Mｔ２までの時刻２３３４１を有する全てのエントリを抽出し、この抽出して得られたエントリから構成される時系列データを２番目の時系列データ２５１１－２として生成する。次に、識別モデル学習部２４２は、時系列データ２５０１を構成する移動軌跡情報２３３４から、中間の時刻Ｍｔ２から追跡終了時刻Ｅｔまでの時刻２３３４１を有する全てのエントリを抽出し、この抽出して得られたエントリから構成される時系列データを３番目の時系列データ２５１１－３として生成する。また、識別モデル学習部２４２は、教師データ２５０’の正解ラベル２５０２を、そのまま教師データ２５１の正解ラベル２５１２として生成する。

【0062】

図１３に示される移動軌跡ａ１、ａ２、ａ３は、教師データ２５１を構成する３つの時系列データ２５１１－１、２５１１－２、２５１１－３が表す異物の移動軌跡の例を模式的に示している。この教師データ２５１は、図１３に示される異物の移動軌跡Ａを表す教師データ２５０から生成されたものである。図１３を参照すると、異物の移動軌跡ａ１は、比較的緩やかに下降している。異物の移動軌跡ａ２は、比較的緩やかに上昇している。異物の移動軌跡ａ３は、急激に下降している。

【0063】

但し、教師データ２５０’の生成方法は上記に限定されない。例えば、時系列データ２５０１を２あるいは４以上の正の整数で分割して得られる２個あるいは４個以上の部分時系列データ２５１１から１つの教師データ２５１を作成してよい。また、時系列データ２５１１の個数は、全ての教師データ２５１で同じである必要はなく、違っていてよい。即ち、時系列データ２５０１を２分割して得られる２つの時系列データ２５１１－１、２５１１－２を含む教師データ２５１、それを３分割して得られる３つの時系列データ２５１１－１～２５１１－３を含む教師データ２５１、それを４分割して得られる４つの時系列データ２５１１－１～２５１１－４を含む教師データ２５１などが混在していてよい。また、分割元の時系列データ２５０１の長さ（追跡開始時刻から追跡終了時刻までの時間長）に応じて、分割数を変えてよい。例えば、長い時系列データ２５０１ほど分割数を多くしてよい。また、閾値以下の長さの時系列データ２５０１を有する教師データ２５０は、教師データ２５１の生成元として選択しないようにしてよい。また、教師データ２５１を構成する複数の時系列データ２５１１は、同一の浮遊物に係る時系列データ２５０１に由来するものに限定されず、同じ容器４００内の互いに異なる浮遊物に係る複数の時系列データ２５０１に由来するものであってもよい。また、時系列データ２５０１を元の長さで学習する頻度が下がらないように、教師データ２５１に分割前の時系列データ２５０１を含めても良い。

【0064】

次に、教師データ２５０、２５１を用いて、識別モデル学習部２４２が識別モデル２３４を学習する方法について説明する。

【0065】

図１０は、識別モデル学習部２４２の学習処理の一例を示すフローチャートである。図１０を参照すると、識別モデル学習部２４２は、先ず、教師データ２５０および教師データ２５１を含んで構成される教師データ群の中の１つの教師データに注目する（ステップＳ２１）。次に、識別モデル学習部２４２は、内部変数ｍに値１を設定する（ステップＳ２２）。次に、識別モデル学習部２４２は、注目中の教師データに含まれる第ｍ（ｍはその時点の内部変数の値。従って、最初は１）番目の時系列データを識別モデル２３４に入力したときに識別モデル２３４の出力として得られる各クラスのソフトマックス値を取得する（ステップＳ２３）。次に、識別モデル学習部２４２は、注目中の教師データの正解ラベルと上記ソフトマックス値との誤差を、予め与えられた損失関数を用いて個別損失ｌ_mとして算出する（ステップＳ２４）。ここで、損失関数は、例えば、図１１の式１で与えられるクロスエントロピーｌ（ｑ，ｙ）＝－ｌｏｇ（ｑ_y）を使用してよい。なお、式１において、ｑはＮ成分ソフトマックス値、ｙは正解クラス成分である。次に、識別モデル学習部２４２は、内部変数ｍの値を１だけインクリメントする（ステップＳ２５）。次に、識別モデル学習部２４２は、内部変数ｍの値が注目中の教師データに含まれる時系列データの数を超えたか否かを判定する（ステップＳ２６）。識別モデル学習部２４２は、内部変数ｍの値が時系列データの数を超えていなければ、ステップＳ２３の処理に戻って、上述した処理と同様の処理を注目中の教師データに含まれる次の時系列データに対して繰り返す。一方、内部変数ｍの値が時系列データの数を超えていれば、注目中の教師データに含まれる全ての時系列データについて、識別モデル２３４の各クラスのソフトマックス値の取得および個別損失の算出が行われたことになる。この場合、識別モデル学習部２４２は、ステップＳ２７の処理へと進む。

【0066】

識別モデル学習部２４２は、ステップＳ２７において、注目中の教師データの時系列データ毎に、その重要度を表す重みを算出する。例えば、識別モデル学習部２４２は、識別スコアがより高い時系列データほど、より重要度が高いと判断し、より大きな重みを算出する。具体的には、識別モデル学習部２４２は、先ず、注目中の教師データに含まれる時系列データ毎に、図１１の式２で与えられる識別スコアｓを算出する。即ち、ｉ番目の時系列データ２５１１－ｉの識別スコアｓ_iは、時系列データ２５１１－ｉを識別モデル２３４に入力したときに得られるＮ成分ソフトマックス値ｑの最大値で与えられる。但し、識別スコアｓ_iは上記に限定されない。例えば、識別スコアｓ_iは、正解クラスのソフトマックス値であってもよい。次に、識別モデル学習部２４２は、時系列データ毎に、狭義単調増加関数ｆ（ｓ）（以下、単に関数ｆ（ｓ）と記す）の値を算出する。次に、識別モデル学習部２４２は、全ての時系列データの関数ｆ（ｓ）の値の総和を算出する。次に、識別モデル学習部２４２は、時系列データ毎に、全ての時系列データの関数（ｆ）の値の総和に対する、当該時系列データの関数ｆ（ｓ）の値の割合を、当該時系列データの重みｗ_iとして算出する。即ち、ｉ番目の時系列データ２５１１－ｉの重みｗ_iは、図１１の式３で与えられる。式３におけるＧは、注目中の教師データの時系列データからなるグループを意味する。このように、識別モデル学習部２４２は、時系列データ毎に、関数ｆ（ｓ）の値を注目中の教師データ内の合計値で正規化したものを重みｗとして算出する。

【0067】

関数ｆ（ｓ）は、例えば、図１１の式４に示されるものを使用してよい。或いは、関数ｆ（ｓ）は、図１１の式５に示されるようなものを使用してよい。或いは、関数ｆ（ｓ）は、図１１の式６に示されるものを使用してよい。或いは、関数ｆ（ｓ）は、式７に示されるものを使用してよい。式４の関数ｆ（ｓ）を基準にすると、式５の関数ｆ（ｓ）は、相対的に重要度の低いデータと高いデータとの間の重みを増大させる効果がある。また、式６の関数は、相対的に重要度の低いデータと高いデータとの間の重みの差を、式５の関数ｆ（ｓ）よりもより一層増大させる効果がある。一方、式７の関数ｆ（ｓ）は、式４の関数を基準にして、相対的に重要度の低いデータと高いデータとの間の重みの差を低減させる効果がある。

【0068】

次に、識別モデル学習部２４２は、ステップＳ２４で算出された個別損失毎に、個別損失に対してステップＳ２７で算出された対応する重みを乗じることにより、重み付き個別損失ｗ・ｌを算出する（ステップＳ２８）。次に、識別モデル学習部２４２は、全ての重み付き個別損失の総和を、教師データの重み付き損失Ｌとして算出する（ステップＳ２９）。重み付き損失Ｌは、図１１の式８で与えられる。以上のような重み付き個別損失や重み付き損失Ｌを用いることにより、以下のような効果（Ａ）、（Ｂ）、（Ｃ）が生じる。

【0069】

（Ａ）複数の時系列データ２５１１－１～２５１１－３（それぞれが１つの断片データに相当する）のうち異物クラスとして識別容易な時系列データは、その識別スコアが学習の早期に高くなり易いため、そのような時系列データ（に対応する断片データ）の重要度を上げる効果がある。識別容易な時系列データとは、クラスの識別の根拠となる特徴が顕著に含まれているデータである。例えば、容器４００の液体と比べて比重の大きな異物は落下速度が相対的に早い。そのため、急速に落下する特徴を有する時系列データは識別容易な時系列データの一例である。

【0070】

（Ｂ）複数の時系列データ２５１１－１～２５１１－３のうち、異物クラスの識別の根拠となる特徴が十分に含まれていない時系列データは、場合によっては異物クラス以外のクラス、例えば泡クラスとして誤識別される可能性がある。しかし、そのような時系列データを一部に含む教師データの正解クラスは異物クラスであるため、同じ教師データに属する他の時系列データの中に高い識別スコアを獲得するものが存在していることが多い。そのため、誤識別された時系列データの重要度は相対的に低下し、それに応じて損失は相対的に下がる。この結果、誤識別の場合の識別スコアを下げる効果がある。

【0071】

（Ｃ）重み付き個別損失や重み付き損失Ｌは、重み付け和により正規化されているため、複数の時系列データ２５１１－１～２５１１－３の全てを軽視することはない。

【0072】

再び図１０を参照すると、次に、識別モデル学習部２４２は、ステップＳ２９で算出した重み付き損失Ｌを最小化するように識別モデル２３４を学習する（ステップＳ３０）。具体的には、識別モデル学習部２４２は、例えば、勾配降下法と誤差逆伝搬法を用いて、重み付き損失Ｌが小さくなるように識別モデル２３４のパラメータをチューニングする。なお、ステップＳ３０において、識別モデル学習部２４２は、重み付き損失Ｌの代わりに、重み付きの個別損失ｗ₁・ｌ₁、ｗ₂・ｌ₂、ｗ₃・ｌ₃毎に、その重み付きの個別損失を最小化するように識別モデル２３４を学習してもよい。

【0073】

識別モデル学習部２４２は、注目中の教師データによる学習を終えると、教師データ群の中の次の１つの教師データに注目を移す（ステップＳ３１）。そして、識別モデル学習部２４２は、ステップＳ３２を経てステップＳ２２に戻り、前述した処理と同様の処理を新たに注目した教師データについて繰り返す。そして、教師データ群に含まれる全ての教師データについて注目し終えると（ステップＳ３２でＹＥＳ）、図１０の処理を終了する。

【0074】

以下、図１３に示される異物の移動軌跡ａ１、ａ２、ａ３に対応する教師データ２５１と、異物の移動軌跡Ａに対応する教師データ２５０とを例にして、識別モデル学習部２４２による処理をより具体的に説明する。なお、識別モデル２３４の識別クラス数は、説明の便宜上、異物クラスと泡クラスとノイズクラスとの３クラスとする。また、識別モデル２３４から出力される３クラスのソフトマックス値を、［異物クラスのソフトマックス値、泡クラスのソフトマックス値、ノイズクラスのソフトマックス値］で表記する。また、教師データ２５１の時系列データ２５１１－１は移動軌跡ａ１に、時系列データ２５１１－２は移動軌跡ａ２に、時系列データ２５１１－３は移動軌跡ａ３に、それぞれ対応しているものとする。

【0075】

先ず、教師データ２５１による学習について説明する。

【0076】

識別モデル学習部２４２は、最初に移動軌跡ａ１に対応する時系列データ２５１１－１に対する識別モデル２３４の各クラスのソフトマックス値を取得する（ステップＳ２３）。移動軌跡ａ１は、比重の重い異物は下方に移動するという異物の特徴を幾分備えているため、泡やノイズのクラスよりは異物のクラスのソフトマックス値の方が大きくなることが予想される。ここでは、例えば［０．５、０．４、０．１］が取得されたとする。識別モデル学習部２４２は、取得したソフトマックス値と正解ラベル２５１２（［１、０、０］）とから時系列データ２５１１－１に対応する個別損失ｌ₁を算出する（ステップＳ２４）。

【0077】

次に、識別モデル学習部２４２は、移動軌跡ａ２に対応する時系列データ２５１１－２に対する識別モデル２３４の各クラスのソフトマックス値を取得する（ステップＳ２３）。移動軌跡ａ２は、上方に移動するという泡の特徴を幾分備えているため、異物やノイズのクラスよりは泡のクラスのソフトマックス値の方が大きくなる可能性がある。ここでは、例えば［０．４、０．５、０．１］が取得されたとする。識別モデル学習部２４２は、取得したソフトマックス値と正解ラベル２５１２（［１、０、０］）とから時系列データ２５１１－２に対応する個別損失ｌ₂を算出する（ステップＳ２４）。

【0078】

次に、識別モデル学習部２４２は、移動軌跡ａ３に対応する時系列データ２５１１－３に対する識別モデル２３４の各クラスのソフトマックス値を取得する（ステップＳ２３）。移動軌跡ａ３は、下方に移動するという異物の特徴を顕著に備えているため、泡やノイズのクラスよりは異物のクラスのソフトマックス値の方が十分に大きくなることが予想される。ここでは、例えば［０．８、０．１、０．１］が取得されたとする。識別モデル学習部２４２は、取得したソフトマックス値と正解ラベル２５１２（［１、０、０］）とから時系列データ２５１１－３に対応する個別損失ｌ₃を算出する（ステップＳ２４）。

【0079】

次に、識別モデル学習部２４２は、時系列データ２５１１－１～２５１１－３それぞれの重みｗ₁、ｗ₂、ｗ₃を算出する（ステップＳ２７）。

【0080】

図１１の式４の関数ｆ（ｓ）を用いる場合、ｗ₁≒０.２７８、ｗ₂≒０.２７８、ｗ₃≒０.４４４になる。また、図１１の式５の関数ｆ（ｓ）を用いる場合、ｗ₁≒０.２０８、ｗ₂≒０.２０８、ｗ₃≒０.５８３になる。また、図１１の式６の関数ｆ（ｓ）を用いる場合、ｗ₁≒０.１０２、ｗ₂≒０.１０２、ｗ₃≒０.７９５になる。また、図１１の式７の関数ｆ（ｓ）を用いる場合、ｗ₁≒０.２９９、ｗ₂≒０.２９９、ｗ₃≒０．４０３になる。

【0081】

次に、識別モデル学習部２４２は、教師データ２５１に関して、重み付き損失Ｌを算出する（ステップＳ２８）。例えば、図１１の式５の関数ｆ（ｓ）を用いる場合、Ｌ＝０．２０８・ｌ₁＋０．２０８・ｌ₂＋０．５８３・ｌ₃になる。

【0082】

次に、識別モデル学習部２４２は、重み付き損失Ｌを最小化するように識別モデル２３４を学習する（ステップＳ３０）。ここで、重み付き損失Ｌでは、時系列データ２５１１－３の個別損失ｌ₃の重みが大きく、時系列データ２５１１－１、２５１１－２の個別損失ｌ₁、ｌ₂の重みは小さい。そのため、異物の特徴を顕著に備えている時系列データ２５１１－３は大きな重みで学習され、誤識別となった泡の特徴を備えている時系列データ２５１１－２や異物の特徴を僅かに備えている時系列データ２５１１－１は小さな重みで学習されることになる。その結果、図１３に示される移動軌跡ａ１（時系列データ２５１１－１に対応）に類似する泡の断片化した移動軌跡ｃ１が異物として識別される識別スコア、および、移動軌跡ａ２（時系列データ２５１１－２に対応）に類似する泡の断片化した移動軌跡ｃ２が異物として識別される識別スコアと、移動軌跡ａ３（時系列データ２５１１－３に対応）に類似する異物の移動軌跡Ｂが異物として識別される識別スコアとの差を拡大させるように、識別モデル２３４を学習することができる。

【0083】

これに対して、重み付けせずに、それぞれの時系列データ２５１１－１～２５１１－３を異物として学習すると、移動軌跡ａ１（時系列データ２５１１－１に対応）に類似する泡の断片化した移動軌跡ｃ１が異物として識別される識別スコア、および、移動軌跡ａ２（時系列データ２５１１－２に対応）に類似する泡の断片化した移動軌跡ｃ２が異物として識別される識別スコアと、移動軌跡ａ３（時系列データ２５１１－３に対応）に類似する異物の移動軌跡Ｂが異物として識別される識別スコアとの差を拡大させるように、識別モデル２３４を学習することが困難になる。その結果、泡の断片化した移動軌跡ｃ１、ｃ２を異物として高い識別スコアで誤検知する可能性が高くなる。

【0084】

続いて、教師データ２５０による学習について説明する。教師データ２５０は、唯１つの時系列データ２５０１を含む。

【0085】

識別モデル学習部２４２は、先ず時系列データ２５１１に対する識別モデル２３４の各クラスのソフトマックス値を取得する（ステップＳ２３）。異物の移動軌跡Ａは、比重の重い異物は最終的には下方に移動するという異物の特徴を備えているため、泡やノイズのクラスよりは異物のクラスのソフトマックス値の方が大きくなることが予想される。ここでは、例えば［０．７、０．２、０．１］が取得されたとする。識別モデル学習部２４２は、取得したソフトマックス値と正解ラベル２５０２（［１、０、０］）とから時系列データ２５１１に対応する個別損失ｌ₁を算出する（ステップＳ２４）。

【0086】

次に、識別モデル学習部２４２は、時系列データ２５１１の重みｗ₁を算出する（ステップＳ２７）。教師データ２５０には唯一つの時系列データしか含まれないので、重みは１になる。

【0087】

次に、識別モデル学習部２４２は、教師データ２５０に関して、重み付き損失Ｌを算出する（ステップＳ２８）。その結果、Ｌ＝ｌ₁になる。

【0088】

次に、識別モデル学習部２４２は、重み付き損失Ｌを最小化するように識別モデル２３４を学習する（ステップＳ２９）。

【0089】

以上のように構成され動作する識別モデル学習部２４２によれば、浮遊物の断片化した移動軌跡を表すデータが入力された場合であっても浮遊物のクラスを正しく識別することができる学習済みの識別モデル２３４を獲得することができる。その理由は、識別モデル学習部２４２は、断片化を想定した１つの教師データ２５１に属する複数の時系列データ２５１１－１～２５１１－３を用いて識別モデル２３４を学習するためである。

【0090】

また、識別モデル学習部２４２によれば、スコアの高い誤識別（Ｏｖｅｒｃｏｎｆｉｄｅｎｃｅ）を起こし難い学習済みの識別モデル２３４を獲得することができる。その理由は、識別モデル学習部２４２は、識別モデル２３４を用いて１つの教師データ２５１（グループに対応する）に属する複数の時系列データ２５１１のそれぞれに対する識別スコアを算出し、その識別スコアの教師データ２５１内での相対的な高さに依存する損失関数である重み付き損失関数Ｌを用いて識別モデル２３４を学習するためである。

【0091】

続いて、判定部２４３の詳細を説明する。

【0092】

図１２は、判定部２４３の処理の一例を示すフローチャートである。判定部２４３が図１２に示す処理を開始する時点では、検査対象に係る容器４００に封入された液体中に存在する浮遊物の移動軌跡を表す時系列データを含む追跡情報２３３が記憶部２３０に保存されている。追跡情報２３３は、図４を参照して説明したように浮遊物毎の追跡ＩＤ２３３２と、追跡ＩＤ２３３２に１対１に対応する移動軌跡情報２３３４とが記録されている。

【0093】

図１２を参照すると、判定部２４３は、検査対象の容器４００に係る追跡情報２３３中の１つの追跡ＩＤに注目する（ステップＳ４１）。次に、判定部２４３は、注目中の追跡ＩＤに対応する浮遊物の移動軌跡情報２３３４を学習済みの識別モデル２３４に入力したときに出力される各クラスのソフトマックス値から、当該浮遊物の識別クラスと識別スコアとを取得する（ステップＳ４２）。例えば、異物クラスと泡クラスとノイズクラスとの３クラスのうち、異物クラスのソフトマックス値が最大であり、その値が例えば０．８であれば、判定部２４３は、当該浮遊物のクラス＝異物クラス、識別スコア＝０．８を取得することになる。次に、判定部２４３は、追跡情報２３３中の次の１つの追跡ＩＤに注目を移す（ステップＳ４３）。次に、判定部２４３は、ステップＳ４４を経由してステップＳ４２に戻り、上述した処理と同様の処理を新たに注目した追跡ＩＤに対応する浮遊物の移動軌跡情報２３３４に対して繰り返す。そして、判定部２４３は、追跡情報２３３中の全ての追跡ＩＤに注目し終えると（ステップＳ４４でＹＥＳ）、ステップＳ４５の処理へと進む。

【0094】

判定部２４３は、ステップＳ４５において、ステップＳ４２で算出した全ての識別結果のうち、最大の異物クラスの識別スコアｓ_maxを取得する。次に、判定部２４３は、この識別スコアｓ_maxと予め定められた判定閾値ｓ_thとを比較し、識別スコアｓ_maxが判定閾値ｓ_thより大きければ、検査対象の容器４００には異物が混入しているとする検査結果情報２３５を作成する（ステップＳ４７）。一方、判定部２４３は、識別スコアｓ_maxが判定閾値ｓ_thより大きくなければ、検査対象の容器４００には異物が混入していないとする検査結果情報２３５を作成する（ステップＳ４８）。

【0095】

以上説明したように、本実施形態に係る検査システム１００によれば、容器４００に封入された液体中の異物の有無を精度良く検査することができる。その理由は、断片化に強く、且つ、スコアの高い誤識別を起こし難い学習済みの識別モデル２３４を用いて検査を行うためである。

【0096】

続いて、本実施形態の変形例について説明する。

【0097】

＜変形例１＞
図１１の式４に示される関数ｆ（ｓ）＝ｓを使用する場合、識別クラス数Ｎの識別モデル２３４にＮ＋１番目の余分なソフトマックス成分を持たせてよい。そして、識別スコアｓは、その余分なソフトマックス成分の値ｑ_N+1の低さに依存して決定してよい。即ち、識別スコアｓは、図１１の式９を用いて算出してよい。この変形例では、識別モデル２３４は、何れのクラスに分類してよいかどうかの確信がより持てないほど、余分なソフトマックス成分の値をより大きくするように学習される。これにより、例えば異物か否かを識別する場合、識別モデル２３４が異物か異物でないかが半々であると高い確信度で推定したときの識別スコアｓを、確信がないために異物か異物でないかは半々であると出力したときの識別スコアｓよりも高くすることができる。

【0098】

＜変形例２＞
上記実施形態では、識別モデル学習部２４２は、１つの教師データ毎に、それに対応する重み付き損失Ｌを最小化するように識別モデル２３４を学習させた。しかし、２以上の複数の教師データの集合毎に、その集合に属する教師データ毎に算出された重み付き損失Ｌの平均損失を最小化するように識別モデル２３４を学習させてもよい。

【0099】

＜変形例３＞
これまでは、液体中の浮遊物の移動軌跡を表す時系列データから浮遊物のクラスを識別する識別モデルの学習に対して、本発明を適用した。しかし、本発明は、この種の識別モデルに適用を限定されない。例えば、本発明は、動画データに写っている人物の動きから不審人物であるか否かを判定する識別モデルの学習に適用してよい。或いは、本発明は、コンピュータ等の情報処理装置から収集される何らかの時系列データから情報処理装置の異常を検出する識別モデルの学習に適用してよい。或いは、本発明は、静止画に写っているオブジェクトのクラスを識別する識別モデルの学習に適用してよい。

【0100】

［第２の実施の形態］
図１４は、本発明の第２の実施形態に係る学習装置５００のブロック図である。図１４を参照すると、学習装置５００は、学習手段５０１を備えている。

【0101】

学習手段５０１は、同一の対象に対応する複数の第１のデータを含むグループと当該グループに対する第１のデータラベルとを含む第１の教師データを用い、未知対象に対応する第２のデータが属するクラスを識別する識別モデル５０２を学習するように構成されている。また、学習手段５０１は、上記学習では、識別モデル５０２を用いて上記第１のデータに対する識別スコアを算出し、上記識別スコアの上記グループ内での相対的な高さに依存する重みによって重み付けされた損失を用いて識別モデル５０２を学習する、ように構成されている。学習手段５０１は、例えば、図２の識別モデル学習部２４２と同様に構成することができるが、それに限定されない。

【0102】

以上のように構成された学習装置５００は、以下のように動作する。即ち、学習手段５０１は、同一の対象に対応する複数の第１のデータを含むグループと当該グループに対する第１のデータラベルとを含む第１の教師データを用い、未知対象に対応する第２のデータが属するクラスを識別する識別モデル５０２を学習する。その学習では、学習手段５０１は、識別モデル５０２を用いて上記第１のデータに対する識別スコアを算出する。次に、学習手段５０１は、上記識別スコアの上記グループ内での相対的な高さに依存する重みを算出する。次に、学習手段５０１は、上記算出した重みを用いて重み付けされた損失を算出する。次に、学習手段５０１は、上記重み付けされた損失を用いて識別モデル５０２を学習する。

【0103】

以上のように構成され動作する学習装置５００によれば、断片化に強く、且つ、スコアの高い誤識別を起こし難い学習済みの識別モデル５０２を獲得することができる。その理由は、学習手段５０１は、識別モデル５０２を用いて上記第１のデータに対する識別スコアを算出し、上記識別スコアの上記グループ内での相対的な高さに依存する重みによって重み付けされた損失を用いて識別モデル５０２を学習するためである。

【0104】

以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。

【産業上の利用可能性】

【0105】

本発明は、識別モデルを学習する分野全般に利用できる。

【0106】

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
同一の対象に対応する複数の第１のデータを含むグループと前記グループに対する第１のデータラベルとを含む第１の教師データを用い、未知対象に対応する第２のデータが属するクラスを識別する識別モデルを学習する学習手段を備え、
前記学習手段は、前記識別モデルを用いて前記第１のデータに対する識別スコアを算出し、前記識別スコアの前記グループ内での相対的な高さに依存する重みによって重み付けされた損失を用いて前記識別モデルを学習する、
学習装置。
［付記２］
前記学習手段は、或る対象に対応する第３のデータと前記第３のデータに対する第２のデータラベルとを含む第２の教師データを入力し、前記第３のデータを複数に分割して得られる複数の部分データと前記第２のデータラベルとから前記第１の教師データを生成するデータ変換手段を有する、
付記１に記載の学習装置。
［付記３］
前記学習手段は、前記第１のデータに対する前記識別スコアの狭義単調増加関数ｆ（ｓ）を前記グループ内の合計値で正規化したものを、前記第１のデータの重みとして算出するように構成されている、
付記１または２に記載の学習装置。
［付記４］
前記狭義単調増加関数ｆ（ｓ）は、前記識別スコアをｓ、前記識別モデルの識別クラス数をＮとするとき、
ｆ（ｓ）＝ｓ－１／Ｎ
である、
付記３に記載の学習装置。
［付記５］
前記狭義単調増加関数ｆ（ｓ）は、前記識別スコアをｓ、前記識別モデルの識別クラス数をＮとするとき、
ｆ（ｓ）＝（ｓ－１／Ｎ）²
である、
付記３に記載の学習装置。
［付記６］
前記狭義単調増加関数ｆ（ｓ）は、前記識別スコアをｓ、前記識別モデルの識別クラス数をＮとするとき、
ｆ（ｓ）＝ｅｘｐ（ｓ－１／Ｎ）
である、
付記３に記載の学習装置。
［付記７］
前記識別モデルの識別クラス数をＮとするとき、前記学習手段は、前記識別モデルのＮ成分のソフトマックス出力の最大値を前記識別スコアに用いる、
付記１乃至６の何れかに記載の学習装置。
［付記８］
前記識別モデルは、何れのクラスであるか確信が持てない場合に値が増加するように学習する特定のソフトマックス出力を有し、前記学習手段は、前記特定のソフトマックス出力の低さの程度を前記識別スコアに用いる、
付記１乃至６の何れかに記載の学習装置。
［付記９］
前記第１のデータは、時系列データである、
付記１乃至８の何れかに記載の学習装置。
［付記１０］
前記第１のデータは、観測により得られた対象の移動軌跡を表す時系列データである、
付記１乃至９の何れかに記載の学習装置。
［付記１１］
同一の対象に対応する複数の第１のデータを含むグループと前記グループに対する第１のデータラベルとを含む第１の教師データを用い、未知対象に対応する第２のデータが属するクラスを識別する識別モデルを学習し、
前記学習では、前記識別モデルを用いて前記第１のデータに対する識別スコアを算出し、
前記識別スコアの前記グループ内での相対的な高さに依存する重みを算出し、
前記算出した重みを用いて重み付けされた損失を算出し、
前記重み付けされた損失を用いて前記識別モデルを学習する、
学習装置。
［付記１２］
コンピュータに、
同一の対象に対応する複数の第１のデータを含むグループと前記グループに対する第１のデータラベルとを含む第１の教師データを用い、未知対象に対応する第２のデータが属するクラスを識別する識別モデルを学習する処理、を行わせ、
前記学習では、
前記識別モデルを用いて前記第１のデータに対する識別スコアを算出する処理と、
前記識別スコアの前記グループ内での相対的な高さに依存する重みを算出する処理と、
前記算出した重みを用いて重み付けされた損失を算出する処理と、
前記重み付けされた損失を用いて前記識別モデルを学習する処理と、
を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

【符号の説明】

【0107】

１００ 検査システム
１１０ 把持装置
１２０ 照明装置
１３０ カメラ装置
２００ 検査装置
３００ 表示装置
４００ 容器
４０１ キャップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】