特許 7559923 検査装置、検査方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-24

(45)【発行日】2024-10-02

(54)【発明の名称】検査装置、検査方法、及び、プログラム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20240925BHJP

   G06T 7/00 20170101ALI20240925BHJP

【ＦＩ】

G01N21/88 J

G06T7/00 350B

【請求項の数】 6

(21)【出願番号】P 2023503286

(86)(22)【出願日】2021-03-04

(86)【国際出願番号】 JP2021008454

(87)【国際公開番号】W WO2022185481

(87)【国際公開日】2022-09-09

【審査請求日】2023-08-31

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(74)【代理人】

【識別番号】100131015

【弁理士】

【氏名又は名称】三輪 浩誉

(72)【発明者】

【氏名】並木 重哲

(72)【発明者】

【氏名】小川 拓也

(72)【発明者】

【氏名】井上 恵子

(72)【発明者】

【氏名】谷内田 尚司

(72)【発明者】

【氏名】細井 利憲

【審査官】小野寺 麻美子

(56)【参考文献】

【文献】国際公開第２０１７／１７５２８２（ＷＯ，Ａ１）

【文献】特開２０１５－０３８４４１（ＪＰ，Ａ）

【文献】特開２００４－２９４３６０（ＪＰ，Ａ）

【文献】特開平０４－１４２４１２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０３６２４８６（ＵＳ，Ａ１）

【文献】特開２０１１－００７５５３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

Ｇ０６Ｔ １／００ － Ｇ０６Ｔ １／４０

Ｇ０６Ｔ ３／００ － Ｇ０６Ｔ ９／４０

(57)【特許請求の範囲】

【請求項1】

対象物の一連の挙動を撮影した時系列の全体画像から、前記対象物の領域を抽出して前記時系列の撮影画像を生成し、前記時系列の撮影画像に含まれる個々の撮影画像に対して、前記全体画像における位置情報を付与する対象物抽出手段と、
前記全体画像における位置情報に基づいて、前記対象物を撮影した前記時系列の撮影画像を、グループ分けするグループ分け手段と、
各グループに属する撮影画像を、各グループに対応する認識モデルを用いて認識し、グループ毎の判定結果を出力する認識手段と、
前記グループ毎の判定結果を統合して最終判定結果を出力する統合手段と、
を備える検査装置。

【請求項2】

前記認識手段は、前記判定結果として前記対象物が正常であるか異常であるかを出力し、
前記統合手段は、グループ毎の判定結果に１つでも異常が含まれていれば、前記最終判定結果を異常とする請求項１に記載の検査装置。

【請求項3】

前記認識手段は、前記判定結果として前記対象物の異常度を出力し、
前記統合手段は、グループ毎の判定結果のうち最も高い異常度を前記最終判定結果とする請求項１又は２に記載の検査装置。

【請求項4】

前記グループ分け手段は、前記撮影画像を所定数のグループにグループ分けし、
前記所定数のグループのうちに、１つの撮影画像も属しないグループがある場合、検査が不十分と判定する判定手段を備える請求項１乃至３のいずれか一項に記載の検査装置。

【請求項5】

対象物の一連の挙動を撮影した時系列の全体画像から、前記対象物の領域を抽出して前記時系列の撮影画像を生成し、前記時系列の撮影画像に含まれる個々の撮影画像に対して、前記全体画像における位置情報を付与し、
前記全体画像における位置情報に基づいて、前記対象物を撮影した前記時系列の撮影画像を、複数のグループにグループ分けし、
各グループに属する撮影画像を、各グループに対応する認識モデルを用いて認識し、グループ毎の判定結果を出力し、
前記グループ毎の判定結果を統合して最終判定結果を出力する検査方法。

【請求項6】

対象物の一連の挙動を撮影した時系列の全体画像から、前記対象物の領域を抽出して前記時系列の撮影画像を生成し、前記時系列の撮影画像に含まれる個々の撮影画像に対して、前記全体画像における位置情報を付与し、
前記全体画像における位置情報に基づいて、前記対象物を撮影した前記時系列の撮影画像を、複数のグループにグループ分けし、
各グループに属する撮影画像を、各グループに対応する認識モデルを用いて認識し、グループ毎の判定結果を出力し、
前記グループ毎の判定結果を統合して最終判定結果を出力する処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像を利用した対象物の検査手法に関する。

【背景技術】

【0002】

製品の撮影画像を用いて異常検査を行う手法が提案されている。例えば、特許文献１は、検査対象物である錠剤の画像を３方向から撮影し、３方向の画像に対して形状検査、色彩検査、割り欠け検査を行って錠剤の良否を判定する外観検査装置を開示している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００５－１７２６０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の外観検査装置では、検査対象物の３方向の画像に対して同じ検査を行っている。しかし、現実には検査対象物の面や部分毎に異常の傾向が異なることが多い。

【0005】

本発明の１つの目的は、検査対象物の面や部分毎に適した画像認識方法で異常判定を行うことが可能な検査装置を提供することにある。

【課題を解決するための手段】

【0006】

本発明の一つの観点では、検査装置は、
対象物を撮影した時系列の撮影画像を、複数のグループにグループ分けするグループ分け手段と、
各グループに属する撮影画像を、各グループに対応する認識モデルを用いて認識し、グループ毎の判定結果を出力する認識手段と、
前記グループ毎の判定結果を統合して最終判定結果を出力する統合手段と、を備える。

【0007】

本発明の他の観点では、検査方法は、
対象物の一連の挙動を撮影した時系列の全体画像から、前記対象物の領域を抽出して前記時系列の撮影画像を生成し、前記時系列の撮影画像に含まれる個々の撮影画像に対して、前記全体画像における位置情報を付与し、
前記全体画像における位置情報に基づいて、前記対象物を撮影した前記時系列の撮影画像を、複数のグループにグループ分けし、
各グループに属する撮影画像を、各グループに対応する認識モデルを用いて認識し、グループ毎の判定結果を出力し、
前記グループ毎の判定結果を統合して最終判定結果を出力する。

【0008】

本発明のさらに他の観点では、プログラムは、
対象物の一連の挙動を撮影した時系列の全体画像から、前記対象物の領域を抽出して前記時系列の撮影画像を生成し、前記時系列の撮影画像に含まれる個々の撮影画像に対して、前記全体画像における位置情報を付与し、
前記全体画像における位置情報に基づいて、前記対象物を撮影した前記時系列の撮影画像を、複数のグループにグループ分けし、
各グループに属する撮影画像を、各グループに対応する認識モデルを用いて認識し、グループ毎の判定結果を出力し、
前記グループ毎の判定結果を統合して最終判定結果を出力する処理をコンピュータに実行させる。

【発明の効果】

【0009】

本発明によれば、検査対象物の面や部分毎に適した画像認識方法で異常判定を行うことが可能となる。

【図面の簡単な説明】

【0010】

【図1】検査装置を用いた検査の様子を示す。

【図2】第１実施形態に係る検査装置のハードウェア構成を示す。

【図3】第１実施形態に係る検査装置の機能構成を示す。

【図4】グループ識別部によるグループ分け方法の例を示す。

【図5】対象物体画像系列を取得するための構成を示す。

【図6】グループ識別部の学習のための構成を示す。

【図7】グループ識別部の学習処理のフローチャートである。

【図8】認識器の学習のための構成を示す。

【図9】認識器の学習処理のフローチャートである。

【図10】検査装置による検査時の構成を示す。

【図11】検査装置による検査処理のフローチャートである。

【図12】第２実施形態に係る検査装置の機能構成を示す。

【図13】第２実施形態に係る検査装置による検査処理のフローチャートである。

【発明を実施するための形態】

【0011】

以下、図面を参照して、本発明の好適な実施形態について説明する。
＜基本原理＞
まず、本発明に係る検査装置１００の基本原理について説明する。図１（Ａ）は、検査装置１００を用いた検査の様子を示す。本実施形態では、検査の対象物を錠剤５とする。錠剤５は、例えば矢印方向にエアーを送ることによりレール２内を矢印の方向に移動する。なお、図示の便宜上、図１（Ａ）ではレール２の側壁２ｘを破線で示している。

【0012】

レール２の上方には照明３と高速カメラ４が配置される。対象物の形状や検出すべき異常の種類に応じて、様々な強度及び照明範囲の照明が複数設置される。特に錠剤５などの小さい対象物の場合、微小な異常の種類、度合い、位置などは様々であるため、複数の照明を用いて照明条件を様々に変えて撮影を行ってもよい。

【0013】

高速カメラ４は、照明下の錠剤５を高速撮影し、撮影画像を検査装置１００へ出力する。錠剤５を移動させつつ高速カメラ４で撮影すると、錠剤５に存在する微小な異常個所を逃さず撮影することができる。具体的に、錠剤５に生じる異常としては、髪の毛の付着、微細な欠けなどがある。

【0014】

錠剤５は、レール２に設けた反転機構により反転する。図１（Ａ）では、便宜上、反転機構の図示を省略し、レール２上での錠剤の挙動のみを示している。以下、説明の便宜上、錠剤５の割線の設けられた面を「Ａ面」と呼び、割線の無い方の面を「Ｂ面」と呼び、錠剤５を側方から見た面を「側面」と呼ぶ。なお、「割線」とは、錠剤を半分に割るために、錠剤の片面に設けられた切り込みやくぼみを言う。

【0015】

図１（Ｂ）は、レール２に設けられた反転機構を模式的に示す。図示のように、レール２の側壁２ｘの内側には、反転機構として、レール２の幅を狭くした狭窄部７が設けられている。狭窄部７は、レール２の側壁２ｘを内側に張り出すように形成したものである。錠剤５は、狭窄部７以外の領域では基本的に倒れた状態で移動するが、狭窄部７を通過する際に立ち上がり、狭窄部７を通過した後に反対側に倒れる。こうして、錠剤５はレール２上で反転する。

【0016】

図１（Ｃ）は、高速カメラ４（以下、単に「カメラ４」とも呼ぶ。）による撮影画像の例を示す。なお、図１（Ｃ）は、カメラ４による撮影画像のうち、対象物体である錠剤５の領域のみを抽出した画像であり、後述する対象物体画像系列に相当する。錠剤５は、Ａ面が上側になるようにセットされて図１（Ｂ）の左側からレール２上を矢印方向に移動し、その間にカメラ４は錠剤の５のＡ面を撮影する。その後、錠剤５は狭窄部７で立ち上がり、そのときにカメラ４は錠剤５の側面を撮影する。狭窄部７を通過すると、錠剤５は反対側に倒れるので、その後カメラ４は錠剤のＢ面を撮影する。こうして、図１（Ｃ）に示すように、錠剤のＡ面、側面、Ｂ面を含む時系列画像（以下、「画像系列」とも呼ぶ。）が得られる。なお、錠剤５はエアーにより送られているため、狭窄部７では立ち上がり、周方向に回転しつつレール２上を移動する。よって、カメラ４は、錠剤５の側面の全周を撮影することができる。こうして、錠剤５のあらゆる面を撮影することができる。

【0017】

＜第１実施形態＞
［ハードウェア構成］
図２は、第１実施形態に係る検査装置１００のハードウェア構成を示すブロック図である。図示のように、検査装置１００は、インタフェース（Ｉ／Ｆ）１１と、プロセッサ１２と、メモリ１３と、記録媒体１４と、データベース（ＤＢ）１５と、入力部１６と、表示部１７と、を備える。

【0018】

インタフェース１１は、外部装置との間でデータの入出力を行う。具体的に、カメラ４により撮影された錠剤の画像系列（時系列画像）は、インタフェース１１を通じて入力される。また、検査装置１００により生成された異常の判定結果は、インタフェース１１を通じて外部の装置へ出力される。

【0019】

プロセッサ１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、検査装置１００の全体を制御する。なお、プロセッサ１２は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）であってもよい。プロセッサ１２は、後述する検査処理を実行する。

【0020】

メモリ１３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ１３は、プロセッサ１２による各種の処理の実行中に作業メモリとしても使用される。

【0021】

記録媒体１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、検査装置１００に対して着脱可能に構成される。記録媒体１４は、プロセッサ１２が実行する各種のプログラムを記録している。検査装置１００が各種の処理を実行する際には、記録媒体１４に記録されているプログラムがメモリ１３にロードされ、プロセッサ１２により実行される。

【0022】

ＤＢ１５は、必要に応じて、カメラから入力された画像系列を記憶する。入力部１６は、ユーザが指示や入力を行うためのキーボード、マウスなどにより構成される。表示部１７は、例えば液晶ディスプレイなどにより構成され、対象物の認識結果などを表示する。

【0023】

［機能構成］
図３は、第１実施形態に係る検査装置１００の機能構成を示すブロック図である。検査装置１００は、カメラ４から入力された画像系列（以下、「入力画像系列」と呼ぶ。）に基づいて錠剤５の異常を判定し、判定結果を出力する。図示のように、検査装置１００は、対象物体領域抽出部２１と、グループ識別部２２と、認識器２３ａ～２３ｃと、統合部２４とを備える。

【0024】

対象物体領域抽出部２１は、入力画像系列から、検査の対象物体である錠剤５の領域を抽出し、対象物体の領域を示す画像系列（以下、「対象物体画像系列」と呼ぶ。）を出力する。対象物体画像系列は、図１（Ｃ）に例示するように、カメラ４で撮影した画像のうち、対象物体の部分のみを抽出した画像の集合である。

【0025】

グループ識別部２２は、グループ識別モデルを用いて、対象物体画像系列を構成する複数のフレーム画像を、錠剤５の面に基づいてグループ分けする。本実施形態では、グループ識別部２２は、対象物体画像系列を、Ａ面画像、Ｂ面画像、側面画像の３つにグループ分けする。そして、グループ識別部２２は、Ａ面画像を認識器２３ａへ出力し、Ｂ面画像を認識器２３ｂへ出力し、側面画像を２３ｃへ出力する。

【0026】

図４（Ａ）は、グループ識別部２２によるグループ分け方法の一例を示す。この例では、グループ識別部２２は、対象物体画像系列の画像統計量をグルーピング評価値として算出し、その急峻な変化点でグループ分けを行う。図４（Ａ）の例では、グルーピング評価値として、対象物体である錠剤５の面積値を用いている。図１（Ｃ）に示すように錠剤５の対象物体画像系列が得られた場合、錠剤５のＡ面とＢ面の面積は大きく、側面の面積は小さいため、錠剤５の面積値は図４（Ａ）に示すように変化する。よって、グループ識別部２２は、錠剤５の面積値の変化点ｔ１、ｔ２で対象物体画像系列をＡ面画像、側面画像、Ｂ面画像の３つのグループに分ける。

【0027】

図４（Ｂ）は、グループ識別部２２によるグループ分け方法の他の例を示す。この例では、グループ識別部２２は、クラスタリングによりグループ分けを行う。具体的には、図４（Ｂ）に示すように、クラスタ数Ｋ＝３と設定し、グループ識別部２２は対象物体画像系列から得られる特徴量１、２を用いて、一般的なクラスタリングアルゴリズムでグループ分けを行う。クラスタリングにより、対象物体画像系列がＡ面画像、Ｂ面画像、側面画像の３つのグループに分けられる。なお、クラスタリングアルゴリズムとしては、例えば、Ｋ－ｍｅａｎｓ法、階層的クラスタリングなどを用いることができる。

【0028】

認識器２３ａ～２３ｃは、それぞれ各グループの画像系列に対して画像認識を行い、異常の有無を判定する。認識器２３ａは、Ａ面用認識モデルを用いてＡ面画像から異常の有無を判定する。認識器２３ｂは、Ｂ面用認識モデルを用いてＢ面画像から異常の有無を判定する。認識器２３ｃは、側面用認識モデルを用いて側面画像から異常の有無を判定する。なお、Ａ面用認識モデル、Ｂ面用認識モデル、側面用認識モデルは、それぞれ予め学習済みの画像認識モデルである。認識器２３ａ～２３ｃは、それぞれ判定結果を統合部２４へ出力する。

【0029】

統合部２４は、認識器２３ａ～２３ｃが出力した判定結果に基づいて、錠剤５の最終的な判定結果を生成する。例えば、認識器２３ａ～２３ｃが錠剤５の正常／異常を２値判定（０：正常、１：異常）する場合、統合部２４はｍａｘ関数を用いて、３つのグループの判定結果が１つでも異常を含めば、最終判定結果を異常とする。また、認識器２３ａ～２３ｃが錠剤５の異常度を「０」～「１」の値で出力する場合、統合部２４はｍａｘ関数を用いて、最も異常度の高かった画像の異常度を最終判定結果として出力する。

【0030】

上記の構成において、対象物体領域抽出部２１は対象物抽出手段の一例であり、グループ識別部２２はグループ分け手段の一例であり、認識器２３ａ～２３ｃは認識手段の一例であり、統合部２４は統合手段の一例である。

【0031】

［各部の処理］
（対象物体画像系列の取得）
図５は、対象物体画像系列を取得するための構成を示す。カメラ４の画角内で反転機構７により対象物体である錠剤５を反転させ、その様子をカメラ４で撮影することにより入力画像系列３１が得られる。対象物体領域抽出部２１は、入力画像系列３１から、対象物体の部分を示す対象物体画像系列３２を出力する。これにより、図１（Ｃ）に例示するような対象物体画像系列が得られる。

【0032】

（グループ識別部の学習）
図６は、グループ識別部２２の学習のための構成を示す。なお、本例ではグループ識別部２２は、図４（Ｂ）に示すようにクラスタリングによりグループ分けを行うものとする。カメラ４により撮影された入力画像系列は前述のように対象物体領域抽出部２１へ入力され、対象物体領域抽出部２１は対象物体画像系列３２をグループ学習部４１へ出力する。グループ学習部４１は、対象物体画像系列を用いてグループ識別部２２が使用するグループ識別モデルを学習し、グループ識別部２２のパラメータを出力する。

【0033】

図７は、グループ識別部２２の学習処理のフローチャートである。この処理は、図２に示すプロセッサ１２が予め用意されたプログラムを実行することにより実現される。まず、反転機構を通過する対象物体をカメラ４で撮影し、入力画像系列３１が生成される（ステップＳ１１）。次に、対象物体領域抽出部２１は、入力画像系列３１から背景差分等を用いて対象物体の画像領域を抽出し、追跡することで対象物体画像系列３２を出力する（ステップＳ１２）。

【0034】

次に、グループ学習部４１は、対象物体画像系列３２から特徴量を抽出し、クラスタリングを行い、グループ識別部２２のパラメータ（「グループ識別部パラメータ」と呼ぶ。）Ｐ１を得る（ステップＳ１３）。そして、処理は終了する。

【0035】

（認識器の学習）
図８は、認識器２３ａ～２３ｃの学習のための構成を示す。グループ識別部２２の学習時と同様に、対象物体領域抽出部２１は入力画像系列３１から対象物体画像系列３２を生成し、グループ識別部２２へ出力する。なお、認識器２３ａ～２３ｃの学習時には、対象物体画像系列３２に対する正解を示す入力ラベル系列３３が予め用意される。

【0036】

グループ識別部２２には、前述したグループ識別部２２の学習により得られたグループ識別部パラメータＰ１が設定される。グループ識別部２２は、入力された対象物体画像系列３２をグループ分けし、各グループの画像をＫ（＝３）個の認識器へ出力する。本実施形態では、グループ識別部２２は、対象物体画像系列３２をＡ面画像、Ｂ面画像、側面画像にグループ分けし、それぞれに対応する認識器２３ａ～２３ｃへ出力する。

【0037】

各認識器２３ａ～２３ｃは、入力された画像に対する認識結果をＫ（＝３）個の認識器学習部４２へ出力する。本実施形態では、認識器２３ａ～２３ｃに対応して、３つの認識器学習部４２が設けられる。各認識器学習部４２は、各認識器２３ａ～２３ｃから入力された認識結果と、入力ラベル系列３３とを比較して、各認識器２３ａ～２３ｃを最適化し、各認識器２３ａ～２３ｃの認識器パラメータＰ２を生成する。

【0038】

図９は、認識器の学習処理のフローチャートである。この処理は、図２に示すプロセッサ１２が予め用意されたプログラムを実行することにより実現される。なお、ステップＳ２１、Ｓ２２は、前述のグループ識別部の学習処理のステップＳ１１、Ｓ１２と同様であるので説明を省略する。

【0039】

グループ識別部２２は、対象物体画像系列３２から特徴量を抽出してグループ識別を行い、グループ毎に分けた画像を出力する（ステップＳ２３）。次に、グループ毎の認識器２３ａ～２３ｃを用いて、グループ毎の画像の推論が行われる（ステップＳ２４）。次に、認識器学習部４２は、グループ毎の認識器２３ａ～２３ｃの推論結果と、入力ラベル系列３３とにより認識器２３ａ～２３ｃを最適化し、各認識器２３ａ～２３ｃのパラメータを得る（ステップＳ２５）。そして、処理は終了する。

【0040】

（検査時の処理）
図１０は、検査装置１００による検査時（推論時）の構成を示す。検査時においては、実際の検査対象物を撮影した入力画像系列３５が入力される。また、グループ識別部２２には、前述の学習により得られたグループ識別部パラメータＰ１が設定される。さらに、各認識器２３ａ～２３ｃには、前述の学習により得られた認識器パラメータＰ２が設定される。

【0041】

まず、対象物体領域抽出部２１は、入力画像系列３５から対象物体画像系列３６を生成し、グループ識別部２２へ出力する。グループ識別部２２は、対象物体画像系列３６を３つのグループに分け、Ａ面画像、Ｂ画像及び側面画像を認識器２３ａ～２３ｃへ出力する。認識器２３ａ～２３ｃは、それぞれ入力された画像における異常の有無を判定し、判定結果を統合部２４へ出力する。統合部２４は、入力された判定結果を統合し、最終判定結果を出力する。

【0042】

図１１は、検査装置１００による検査処理のフローチャートである。この処理は、図２に示すプロセッサ１２が予め用意されたプログラムを実行することにより実現される。まず、反転機構を通過する対象物体をカメラ４で撮影し、入力画像系列３５が生成される（ステップＳ３１）。この入力画像系列３５は、実際の検査対象物を撮影した画像である。次に、対象物体領域抽出部２１は、入力画像系列３５から背景差分等を用いて対象物体の画像領域を抽出し、追跡することで対象物体画像系列３６を出力する（ステップＳ３２）。

【0043】

次に、グループ識別部２２は、対象物体画像系列３６から特徴量を抽出してグループ識別を行い、グループ毎の画像を出力する（ステップＳ３３）。次に、認識器２３ａ～２３ｃは、対応するグループの画像の異常判定を行う（ステップＳ３４）。次に、統合部２４は、グループ毎の認識器２３ａ～２３ｃの判定結果を統合して最終判定を行う（ステップＳ３５）。そして、処理は終了する。

【0044】

［変形例］
（変形例１）
上記の例では、グループ識別部２２は、図４に例示するように対象物体の画像から特徴量を抽出してグループ分けを行っているが、特徴抽出を行うことなく、対象物体画像系列における時間的な位置を示すインデックス情報（例えばフレーム番号など）を用いてグループ分けを行ってもよい。具体的に、図１（Ｂ）に示す反転機構を使用し、各錠剤５が同じような挙動を示すとすると、１つの錠剤について得られる対象物体画像系列のうち、初期の所定枚数の画像はＡ面画像であり、その後の所定枚数の画像は側面画像であり、そこから最後までの画像はＢ面画像となる。よって、例えば１つの錠剤について１００枚の画像（フレーム画像）が撮影される場合、グループ識別部２２は、単純に最初から３５枚の画像をＡ面画像と判定し、それに続く３０枚の画像を側面画像と判定し、最後の３５枚の画像をＢ面画像と判定してグループ分けしてもよい。

【0045】

また、対象物体画像系列中における時間的位置を示すインデックス情報を使用する代わりに、グループ識別部２２は、入力画像系列における撮影位置に基づいてグループ分けを行ってもよい。いま、図１（Ｂ）に示すように、錠剤５のＡ面が上を向いた状態から、反転機構により反転し、Ｂ面が上になるまでの一連の挙動全体を含む領域をカメラ４が撮影するとする。この場合、カメラ４の全撮影領域における左側の領域にはＡ面画像が含まれ、中央の領域には側面画像が含まれ、右側の領域にはＢ面画像が含まれることになる。よって、グループ識別部２２は、カメラ４の全撮影領域における位置座標に基づいて、対象物体の画像をグループ分けすることができる。

【0046】

具体的な処理としては、対象物体領域抽出部２１は、入力画像系列から対象物体の画像を抽出する際に、抽出した各画像に対して、カメラ４の全撮影領域における対象物体の位置座標を付加して出力する。グループ識別部２２は、入力された対象物体の画像に付加されている位置座標が全撮影領域における左側領域であればその画像をＡ面画像とし、中央領域であればその画像を側面画像とし、右側であればその画像をＢ面画像とすればよい。

【0047】

（変形例２）
グループ識別部２２は、対象物体画像系列を所定数（本実施形態では３個）のグループにグループ分けするが、所定数のグループのうちに、１つの撮影画像も属しないグループがある場合、検査装置１００は検査が不十分と判定し、最終判定結果として出力してもよい。例えば、本実施形態において、グループ分けの結果、Ａ面画像とＢ面画像はあるが、側面画像が１つも無いことがわかった場合、検査装置１００は正しい判定が行えないため検査不十分と判定し、入力系列画像の取得からやり直すこととしてもよい。

【0048】

＜第２実施形態＞
図１２は、第２実施形態に係る検査装置の機能構成を示すブロック図である。検査装置７０は、グループ分け手段７１と、認識手段７２と、統合手段７３とを備える。

【0049】

図１３は、検査装置７０による検査処理のフローチャートである。まず、グループ分け手段７１は、対象物を撮影した時系列の撮影画像を、複数のグループにグループ分けする（ステップＳ４１）。次に、認識手段７２は、各グループに属する撮影画像を、各グループに対応する認識モデルを用いて認識し、グループ毎の判定結果を出力する（ステップＳ４２）。そして、統合手段は、グループ毎の判定結果を統合して最終判定結果を出力する（ステップＳ４３）。そして、処理は終了する。第２実施形態によれば、グループ分けした画像を、各グループに対応する認識モデルを用いて認識し、異常の判定を行うので、対象物体の面や部位などの特徴に応じた適切な手法で異常の判定を行うことができる。

【0050】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0051】

（付記１）
対象物を撮影した時系列の撮影画像を、複数のグループにグループ分けするグループ分け手段と、
各グループに属する撮影画像を、各グループに対応する認識モデルを用いて認識し、グループ毎の判定結果を出力する認識手段と、
前記グループ毎の判定結果を統合して最終判定結果を出力する統合手段と、
を備える検査装置。

【0052】

（付記２）
前記グループ分け手段は、前記撮影画像における前記対象物の面積の変化に基づいてグループ分けを行う付記１に記載の検査装置。

【0053】

（付記３）
前記グループ分け手段は、前記撮影画像における特徴量を用いたクラスタリングによりグループ分けを行う付記１に記載の検査装置。

【0054】

（付記４）
前記撮影画像は、撮影装置の画角内で反転する対象物を撮影した画像であり、
前記グループ分け手段は、前記時系列の撮影画像における時間的な位置を示す情報に基づいてグループ分けを行う付記１に記載の検査装置。

【0055】

（付記５）
前記対象物の一連の挙動を撮影した時系列の全体画像から、前記対象物の領域を抽出して前記時系列の撮影画像を生成する対象物抽出手段を備え、
前記対象物抽出手段は、前記時系列の撮影画像に含まれる個々の撮影画像に対して、前記全体画像における位置情報を付与し、
前記グループ分け手段は、前記全体画像における位置情報に基づいてグループ分けを行う付記１に記載の検査装置。

【0056】

（付記６）
前記認識手段は、前記判定結果として前記対象物が正常であるか異常であるかを出力し、
前記統合手段は、グループ毎の判定結果に１つでも異常が含まれていれば、前記最終判定結果を異常とする付記１乃至５のいずれか一項に記載の検査装置。

【0057】

（付記７）
前記認識手段は、前記判定結果として前記対象物の異常度を出力し、
前記統合手段は、グループ毎の判定結果のうち最も高い異常度を前記最終判定結果とする付記１乃至５のいずれか一項に記載の検査装置。

【0058】

（付記８）
前記グループ分け手段は、前記撮影画像を所定数のグループにグループ分けし、
前記所定数のグループのうちに、１つの撮影画像も属しないグループがある場合、検査が不十分と判定する判定手段を備える付記１乃至７のいずれか一項に記載の検査装置。

【0059】

（付記９）
対象物を撮影した時系列の撮影画像を、複数のグループにグループ分けし、
各グループに属する撮影画像を、各グループに対応する認識モデルを用いて認識し、グループ毎の判定結果を出力し、
前記グループ毎の判定結果を統合して最終判定結果を出力する検査方法。

【0060】

（付記１０）
対象物を撮影した時系列の撮影画像を、複数のグループにグループ分けし、
各グループに属する撮影画像を、各グループに対応する認識モデルを用いて認識し、グループ毎の判定結果を出力し、
前記グループ毎の判定結果を統合して最終判定結果を出力する処理をコンピュータに実行させるプログラムを記録した記録媒体。

【0061】

以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【符号の説明】

【0062】

４ 高速カメラ
５ 錠剤
７ 反転機構
１２ プロセッサ
２１ 対象物体領域抽出部
２２ グループ識別部
２３ 認識部
２４ 統合部
４１ グループ学習部
４２ 認識器学習部
１００ 検査装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】