特許 5854553 目視検査支援装置及び目視検査支援装置の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5854553

(24)【登録日】2015年12月18日

(45)【発行日】2016年2月9日

(54)【発明の名称】目視検査支援装置及び目視検査支援装置の制御方法

(51)【国際特許分類】

   G01N 21/84 20060101AFI20160120BHJP

   H05K 13/08 20060101ALI20160120BHJP

【ＦＩ】

   G01N21/84 D

   H05K13/08 U

【請求項の数】11

【全頁数】18

(21)【出願番号】特願2011-229058(P2011-229058)

(22)【出願日】2011年10月18日

(65)【公開番号】特開2013-88291(P2013-88291A)

(43)【公開日】2013年5月13日

【審査請求日】2014年6月27日

(73)【特許権者】

【識別番号】000005234

【氏名又は名称】富士電機株式会社

(73)【特許権者】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】110000176

【氏名又は名称】一色国際特許業務法人

(72)【発明者】

【氏名】吉田 ▲収▼志

(72)【発明者】

【氏名】佐藤 洋一

【審査官】 小野寺 麻美子

(56)【参考文献】

【文献】 特開２００９−１５０８６６（ＪＰ，Ａ）

【文献】 特開２００８−１１１６８７（ＪＰ，Ａ）

【文献】 特開２００６−２７１５２８（ＪＰ，Ａ）

【文献】 特開２００７−１７８１２９（ＪＰ，Ａ）

【文献】 特開平１１−２４６０３（ＪＰ，Ａ）

【文献】 特開２００２−５８６４４（ＪＰ，Ａ）

【文献】 特開２０１０−２９２６２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ２１／８４ − Ｇ０１Ｎ ２１／９５８

Ｈ０５Ｋ １３／０８

Ａ６１Ｂ ３／１０

Ｇ０１Ｂ １１／００ − Ｇ０１Ｂ １１／３０

(57)【特許請求の範囲】

【請求項1】

検査対象物の撮影画像を目視する検査者の目視検査を支援する目視検査支援装置であって、
前記検査者の視線を検出し、視線の向きのオフセットを調整する視線調整部と、
前記検査者の視線を検出することにより、前記検査者の前記撮影画像上における注視点の位置を算出する注視点算出部と、
前記撮影画像上における前記注視点の分布に基づいて、前記検査者が目視検査を行った領域を目視領域として特定する目視領域特定部と、
前記目視領域を示す画像を生成する目視領域画像生成部と、
前記目視領域を示す画像と、前記検査対象物の前記撮影画像と、を重ね合わせて表示する画像表示部と、
を備えることを特徴とする目視検査支援装置。

【請求項2】

請求項１に記載の目視検査支援装置であって、
前記目視領域特定部は、前記注視点の分布密度が所定値以上である領域を前記目視領域として特定する
ことを特徴とする目視検査支援装置。

【請求項3】

請求項１または２に記載の目視検査支援装置であって、
前記目視領域特定部は、所定時間内に特定された前記注視点の分布密度が所定値以上である領域を前記目視領域として特定する
ことを特徴とする目視検査支援装置。

【請求項4】

請求項２または３に記載の目視検査支援装置であって、
前記目視領域特定部は、前記注視点の分布密度が所定値以上である領域を新たに検出する毎に、前記領域を前記目視領域として新たに特定し、
前記目視領域画像生成部は、新たに前記目視領域が特定される毎に、前記目視領域を示す画像を更新する
ことを特徴とする目視検査支援装置。

【請求項5】

請求項１に記載の目視検査支援装置であって、
前記検査者が目視検査をすべき領域として事前に定められた指定領域を示す情報を記憶する指定領域情報記憶部と、
前記指定領域を示す情報に基づいて、前記指定領域を示す画像を生成する指定領域画像生成部と、
を備え、
前記画像表示部は、前記指定領域を示す画像を、前記撮影画像に重ね合わせて表示し、
前記目視領域特定部は、前記指定領域内の前記注視点の分布密度が所定値以上である場合に、前記指定領域を前記目視領域として特定する
する
ことを特徴とする目視検査支援装置。

【請求項6】

請求項５に記載の目視検査支援装置であって、
前記目視領域特定部は、前記指定領域内において、所定時間以内に特定された前記注視点の分布密度が所定値以上である場合に、前記指定領域を前記目視領域として特定する
ことを特徴とする目視検査支援装置。

【請求項7】

請求項５または６に記載の目視検査支援装置であって、
前記検査者が目視検査をすべき領域として、複数の前記指定領域が事前に定められており、
前記目視領域特定部が前記各指定領域を前記目視領域として特定するための前記所定値は、前記指定領域毎にそれぞれ定められている
ことを特徴とする目視検査支援装置。

【請求項8】

請求項５〜７のいずれかに記載の目視検査支援装置であって、
全ての前記指定領域が前記目視領域として特定された場合に、前記検査対象物に対する目視検査が終了した旨の情報を出力する検査終了通知部と、
を備えることを特徴とする目視検査支援装置。

【請求項9】

請求項１〜８のいずれかに記載の目視検査支援装置であって、
前記検査対象物の所定部位を前記撮影画像から認識し、前記所定部位の前記撮影画像内の位置を示す位置情報を出力する所定部位認識部と、
を備え、
前記画像表示部は、前記撮影画像と前記目視領域を示す画像とを重ね合わせて表示する際に、前記位置情報に基づいて、前記撮影画像に重ね合わせる前記目視領域を示す画像の位置を定める
ことを特徴とする目視検査支援装置。

【請求項10】

請求項１〜８のいずれかに記載の目視検査支援装置であって、
位置を調整可能に設置され、前記検査対象物を載置するための載置台と、
前記載置台に載置された前記検査対象物を撮影し、前記撮影画像を出力する撮影部と、
前記載置台の位置を示す位置情報を出力する位置情報出力部と、
を備え、
前記画像表示部は、前記撮影画像と前記目視領域を示す画像とを重ね合わせて表示する際に、前記位置情報出力部から出力された前記載置台の位置情報に基づいて、前記撮影画像に重ね合わせる前記目視領域を示す画像の位置を定める
ことを特徴とする目視検査支援装置。

【請求項11】

検査対象物の撮影画像を目視する検査者の目視検査を支援する目視検査支援装置の制御方法であって、
前記目視検査支援装置が、前記検査者の視線を検出し、視線の向きのオフセットを調整し、
前記目視検査支援装置が、前記検査者の視線を検出することにより、前記検査者の前記撮影画像上における注視点の位置を算出し、
前記目視検査支援装置が、前記撮影画像上における前記注視点の分布に基づいて、前記検査者が目視検査を行った領域を目視領域として特定し、
前記目視検査支援装置が、前記目視領域を示す画像を生成し、
前記目視検査支援装置が、前記目視領域を示す画像と、前記検査対象物の前記撮影画像と、を重ね合わせて表示する
ことを特徴とする目視検査支援装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、目視検査支援装置及び目視検査支援装置の制御方法に関する。

【背景技術】

【0002】

機械加工品や電子製品等を生産する工場などでは、生産品の出荷前や次工程に進む前などに、傷や汚れの付着や部品欠落等が生じた不良品を排除するために、目視検査が行われている。
目視検査は、検査者が検査対象物を直接手に取って外観を確かめることにより行われる場合もあるし、例えば、ウェハやＩＣチップ、電子基板などの微細加工品に対する目視検査に対しては、拡大鏡や顕微鏡を用いて検査対象物の拡大像を目視することにより行われる場合や、あるいは検査対象物をカメラで撮影した撮影画像をモニタに出力して、その撮影画像を目視することにより行われる場合もある。
また検査対象物の撮影画像をモニタに出力して目視検査を行う場合には、スケール等の様々な情報をモニタ上にオーバーレイして表示し、目視検査を支援することも行われている。

【0003】

このような目視検査を支援する技術としては、例えば特許文献１に示すように、様々な技術が開発されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９−１５０８６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

目視検査を行う検査者は、次々に生産されてくる検査対象物に対する目視検査を滞りなくしかも正確に行わなければならない。
しかしながら、検査者の体調や疲労の度合いなどによっては、目視検査の最中に、どこまで目視したのかわからなくなり、何度か同じ箇所を見直すこともある。また不良箇所の見落としや見逃しが発生することもある。
このため、目視検査の作業効率を向上させることを可能にする技術が求められている。

【0006】

本発明はこのような課題を鑑みてなされたものであり、目視検査の作業効率を向上させることが可能な目視検査支援装置及び目視検査支援装置の制御方法を提供することを一つの目的とする。

【課題を解決するための手段】

【0007】

本発明は、検査対象物の撮影画像を目視する検査者の目視検査を支援する目視検査支援装置であって、前記検査者の視線を検出し、視線の向きのオフセットを調整する視線調整部と、前記検査者の視線を検出することにより、前記検査者の前記撮影画像上における注視点の位置を算出する注視点算出部と、前記撮影画像上における前記注視点の分布に基づいて、前記検査者が目視検査を行った領域を目視領域として特定する目視領域特定部と、前記目視領域を示す画像を生成する目視領域画像生成部と、前記目視領域を示す画像と、前記検査対象物の前記撮影画像と、を重ね合わせて表示する画像表示部と、を備えることを特徴とする。

【0008】

その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄の記載、及び図面の記載等により明らかにされる。

【発明の効果】

【0009】

本発明によれば、目視検査の作業効率を向上させることができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る目視検査支援装置の外観構成例を示す図である。

【図2】本実施形態に係る目視検査支援装置の構成例を示す図である。

【図3】本実施形態に係る目視検査支援装置の機能ブロック図である。

【図4】本実施形態に係る目視検査支援装置のモニタに表示画像が表示されている様子を示す図である。

【図5】本実施形態に係る注視点分布テーブルを示す図である。

【図6】本実施形態に係る目視領域情報を示す図である。

【図7】本実施形態に係る目視検査支援装置のモニタに表示画像が表示されている様子を示す図である。

【図8】本実施形態に係る指定領域情報記憶部を示す図である。

【図9】本実施形態に係る目視検査支援装置のモニタに表示画像が表示されている様子を示す図である。

【図10】本実施形態に係る目視検査支援装置の処理の流れを示すフローチャートである。

【図11】本実施形態に係る目視検査支援装置の処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0011】

＝＝目視検査支援装置の概要＝＝
本発明の実施形態に係る目視検査支援装置１０００の概要について、図１及び図２を参照しながら説明する。

【0012】

本実施形態に係る目視検査支援装置１０００は、筐体１０８の中に、モニタ１０７、ステージ（載置台）１０２、視線計測部１１１、撮影部１０４、照明１０３、位置情報出力部３１０、画像処理部２００を収容して構成される。

【0013】

また筐体１０８には、ステージ１０２に載置される検査対象物１０１を出し入れするための挿入取出口１０９、及び検査対象物１０１に対する目視検査を行う検査者がモニタ１０７に表示された検査対象物１０１の撮影画像４１０（図７）を目視するための観察窓１１０が設けられている。

【0014】

撮影部１０４は、ステージ１０２に載置された検査対象物１０１を撮影する装置である。撮影部１０４は、例えばＣＣＤ（Charge Coupled Device）カメラ等の光学系装置により構成することができる。撮影部１０４は、検査対象物１０１を撮影し、撮影画像４１０を画像処理部２００に出力する。また撮影部１０４は、検査対象物１０１を所定の倍率で拡大あるいは縮小して撮影することも可能である。この場合、撮影部１０４は、倍率を示す情報も画像処理部２００に出力するようにしても良い。

【0015】

照明１０３は、ステージ１０２に載置された検査対象物１０１を照らす装置である。照明１０３は、例えば可視光の蛍光灯やＬＥＤ等により構成される。

【0016】

視線計測部１１１は、モニタ１０７を目視する検査者の視線を検出する装置である。視線計測部１１１は、例えば、赤外線カメラと赤外線光源とを備えて構成することができる。この場合、視線計測部１１１は、モニタ１０７を目視する検査者の目に向けて、赤外線光源から赤外線のビームを照射する。そして視線計測部１１１は、所定時間毎に検査者の目を赤外線カメラで撮影し、検査者の目に映る赤外線ビームのスポットの位置と、検査者の瞳孔の中心位置と、の関係から、検査者の視線の向きを計測し、この視線の向きを示す情報を視線情報として画像処理部２００に出力する。

【0017】

画像処理部２００は、撮影部１０４から出力された検査対象物１０１の撮影画像４１０を取得し、モニタ１０７に表示すると共に、視線計測部１１１から所定時間毎に出力される視線情報に基づいて、モニタ１０７に表示された撮影画像４１０上の注視点の分布を求め、この注視点の分布に基づいて、検査者が目視検査を行った領域を表す画像を生成し、撮影部１０４から取得した検査対象物１０１の撮影画像４１０に重ね合わせて表示画像４００としてモニタ１０７に出力する。

【0018】

モニタ１０７は、筐体１０８の観察窓１１０を通じて、外部から目視可能な位置に設置されている。検査対象物１０１の目視検査を行う検査者は、モニタ１０７に表示された表示画像４００を、観察窓１１０を通じて目視することにより、検査対象物１０１に対する目視検査を行う。

【0019】

ステージ１０２は、検査対象物１０１に合わせて位置を調整することができるように構成されている。ステージ１０２の位置調整は、図示しない例えばステップモータを回転させることにより行うことができる。

【0020】

位置情報出力部３１０は、ステージ１０２の位置を示す位置情報を画像処理部２００に出力する。例えば、位置情報出力部３１０は、上記ステップモータを回転させるためのパルス数を、ステージの位置を示す位置情報として画像処理部２００に出力する。

【0021】

画像処理部２００は、この位置情報に基づいて、モニタ１０７に表示されている検査対象物１０１のモニタ１０７上での位置の変化量を求め、この変化量に合わせて上記目視検査を行った領域を表す画像の位置を移動させることにより、これらの画像を重ね合わせて表示する。

【0022】

＝＝目視検査支援装置の詳細説明＝＝
次に、本実施形態に係る目視検査支援装置１０００の詳細な構成について、図３〜図９を参照しながら説明する。
図３に示すように、目視検査支援装置１０００は、モニタ１０７、視線計測部１１１、撮影部１０４、位置情報出力部３１０、画像処理部２００を備えて構成される。
なお説明の都合上、モニタ１０７と、画像処理部２００の構成要素である画像合成部２１１と、を画像表示部２１０としても説明する。また同様に、視線計測部１１１と、画像処理部２００の構成要素である注視点特定部２２１と、を注視点算出部２２０としても説明する。

【0023】

＜撮影部＞
撮影部１０４は、ステージ１０２に載置された検査対象物１０１を撮影する光学系装置を有して構成される。撮影部１０４は、検査対象物１０１の撮影画像４１０を画像処理部２００に出力する。また撮影部１０４は、検査対象物１０１を撮影する際の拡大縮小率を示す倍率情報も画像処理部２００に出力するようにしても良い。

【0024】

＜モニタ＞
モニタ１０７は、画像処理部２００から出力される表示画像４００を表示する装置である。モニタ１０７には、図４に示すように、(i,j)の２値によりモニタ１０７上の位置が特定可能な２次元座標が事前に定められており、表示画像４００を構成する各画素は、この座標により特定される位置に表示される。

【0025】

図４に示す例では、モニタ１０７の表示範囲は、座標(0,0)から座標(1747,1239)で示される長方形の範囲であり、そして検査対象物１０１の左下角部の画素が、座標(20,20)の位置に表示されていることが例示されている。

【0026】

＜視線計測部＞
視線計測部１１１は、モニタ１０７を目視する検査者の視線を所定時間ごと（例えば１６．７ミリ秒ごとまたは６０Ｈｚの周期）に検出し、視線の向きを示す視線情報を出力する。

【0027】

上述したように視線計測部１１１は、一例として、所定時間毎に検査者の目を赤外線カメラで撮影し、検査者の目に映る赤外線ビームのスポットの位置と、検査者の瞳孔の中心位置と、の関係から、検査者の視線の向きを計測し、この視線の向きを示す情報を視線情報として画像処理部２００に出力する。

【0028】

＜位置情報出力部＞
位置情報出力部３１０は、ステージ１０２の位置を示す位置情報を画像処理部２００に出力する。例えば位置情報出力部３１０は、ステージ１０２の位置を移動させるためにステップモータに与えられたパルスの数を、ステージの位置を示す位置情報として画像処理部２００に出力する。

【0029】

＜画像処理部＞
本実施形態に係る画像処理部２００は、注視点特定部２２１と、注視点分布テーブル２８０と、目視領域特定部２６０と、目視領域画像生成部２３０と、画像合成部２１１と、指定領域情報記憶部２７０と、指定領域画像生成部２４０と、検査終了通知部２９０と、視線調整部２５０と、所定部位認識部３００と、の各機能を有して構成される。

【0030】

画像処理部２００は、例えばＣＰＵ（Central Processing Unit）やメモリを備えて構成され、ＣＰＵがメモリに記憶されている各種プログラムを実行することにより、本実施形態に係る上記各機能が実現される。もちろん、画像処理部２００の少なくとも一部の機能は、ハードウェア回路により実現することもできる。

【0031】

（視線調整部）
視線調整部２５０は、モニタ１０７を目視する検査者の実際の視線の向きと、視線計測部１１１が出力する視線情報と、の対応関係を検出する。

【0032】

このために、まず視線調整部２５０は、検査者の視線の向きと視線情報との対応関係を取得するためのテスト画像を、画像合成部２１１を通じてモニタ１０７に表示する。テスト画像には、例えば、検査者に注視してもらうための所定の目印が所定位置に点灯あるいは点滅して表示されている。

【0033】

そして視線計測部１１１が、このテスト画像に表示されている目印を注視している検査者の視線を検出し、視線の向きを示す視線情報を出力すると、視線調整部２５０は、その視線情報を取得する。このようにして視線調整部２５０は視線の向きと視線情報との対応関係を取得する。そして視線調整部２５０は、この視線情報と、事前に設定された標準値と、の差分をオフセット情報として注視点特定部２２１に出力する。

【0034】

このように、事前に検査者にテスト画像を目視させ、そのときの検査者の視線情報を計測し、標準値との差分をオフセット情報として求めることにより、視線計測部１１１から得られる視線情報を各検査者の個人差に応じて補正することができ、視線の検出精度を高めることができる。

【0035】

なおこのオフセット情報の算出は、少なくとも、検査者がこの目視検査支援装置１０００を初めて使用する際に１回行えばよい。

【0036】

（注視点特定部）
注視点特定部２２１は、視線計測部１１１から出力された視線情報を取得し、上記オフセット情報によって検査者ごとの個人差を補正した上で、検査者のモニタ１０７上における注視点の位置を求める。

【0037】

注視点の位置は、上記補正後の視線情報と、モニタ１０７と検査者の目との間の距離や角度等の位置関係を示す情報とから、算出することができる。モニタ１０７と検査者の目との位置関係を示す情報は、事前に設定値として記憶しておくようにすることもできるし、上記視線調整部２５０が検査者の視線の向きを調整する際に、合わせて計測しておくようにしても良い。

【0038】

注視点特定部２２１は、視線計測部１１１から所定時間毎に視線情報を取得する毎に、モニタ１０７における注視点の位置を算出し、注視点分布テーブル２８０に記録する。

【0039】

（注視点分布テーブル）
注視点分布テーブル２８０は、上記注視点特定部２２１が算出した、検査者の注視点の位置を記憶するテーブルである。注視点分布テーブル２８０の一例を図５に示す。

【0040】

図５に示すように、注視点分布テーブル２８０は、Ｎｏ欄と、注視点位置欄とを含む。
注視点位置欄には、注視点特定部２２１によって算出された注視点の位置を示す情報が記載される。注視点の位置は、モニタ１０７上の位置を表す(i,j)の座標値により特定される。
またＮｏ欄には、注視点位置欄に注視点の位置を示す情報が記録された順序を示す情報が記録される。

【0041】

このように所定時間毎に注視点分布テーブル２８０に記録される注視点の位置情報を、順序情報と共に記憶しておくことにより、検査者がモニタ１０７上を目視した際の移動経路を特定することもできる。

【0042】

なお、Ｎｏ欄に記録される値は、視線計測部１１１が視線情報を計測した時刻としてもよいし、あるいは注視点特定部２２１が注視点を算出した時刻としてもよいし、あるいは、注視点分布テーブル２８０に注視点が記録された時刻を示す情報としても良い。

【0043】

（目視領域特定部）
目視領域特定部２６０は、注視点分布テーブル２８０に記録されている各注視点の位置の分布に基づいて、検査者が目視検査を行った領域を目視領域として特定する。
目視領域特定部２６０は、様々な方法により目視領域を特定することが可能である。

【0044】

例えば、目視領域特定部２６０は、注視点分布テーブル２８０から、順序が連続する注視点を最初に２個取り出し、それらの注視点同士の距離が所定値以下に収まる場合に、それらの注視点間を直線でつないだ際に形成される線分に沿った所定幅の領域を目視領域として特定すると共に、以下、順次一つずつ連続する注視点を取り出し、連続する注視点の距離が所定値以下に収まっている間、目視領域を順次拡大していくようにして、目視領域を特定していくことができる。

【0045】

あるいはまた、例えば、目視領域特定部２６０は、注視点の分布密度が所定値以上である領域を目視領域として特定することができる。この場合、目視領域特定部２６０は、例えば、モニタ１０７上における注視点の密度が相対的に高い微小な領域をまず特定し、この微小領域内の注視点の密度が上記所定値以上である場合には、この微小領域を核にして、徐々に領域を周囲に広げながら、注視点の密度が所定値を下回らない最大の領域を求める。そして目視領域特定部２６０はこの領域を目視領域として定める。

【0046】

あるいは目視領域特定部２６０は、例えば、モニタ１０７上における注視点の密度が相対的に高い微小領域をまず特定し、この微小領域内の注視点の密度が上記所定値以上である場合には、この微小領域を含む所定形状及び所定面積の領域を仮定し、この所定領域内の注視点の密度が上記所定値以上である場合に、この所定領域を目視領域として定める。この場合、目視領域特定部２６０は、上記所定領域として例えば所定半径の円内の領域とすることもできるし、所定サイズの方形領域とすることもできる。あるいは、任意形状の領域としても良い。

【0047】

また、目視領域特定部２６０は、所定時間内に特定された注視点の分布密度が所定値以上である領域を目視領域として特定するようにすることもできる。例えば、目視領域特定部２６０は、まず、直近に特定された所定個数（例えば５個）の注視点を抽出し、これらの注視点のうち任意の２個の注視点間の距離の最大値が所定値よりも小さい場合に、これら所定個数の注視点を内包する最小の領域（微小領域）を求め、この微小領域内の注視点（すなわち上記所定個数の注視点）の密度が所定値以上である場合には、この微小領域を含む所定形状及び所定面積の領域を仮定し、その後上記所定時間以上連続して、新たに特定される全ての注視点が、この所定領域内で特定された場合に、この所定領域を目視領域として定める。

【0048】

あるいは、目視領域特定部２６０は、例えば、直近に特定された所定個数（例えば５個）の注視点をまず抽出し、これらの注視点のうち任意の２個の注視点間の距離の最大値が所定値よりも小さい場合に時間計測を開始し、計測開始後例えば３秒以内に特定された全ての注視点を内包する最小の領域の面積を求め、この領域内の注視点の密度が所定値以上である場合に、この領域を目視領域として特定する。

【0049】

このように、所定時間内に特定された注視点の分布密度が所定値以上の領域を目視領域として定めるようにすることにより、検査者が、モニタ１０７上のある領域を集中的に目視した場合に、注視点が所定時間以上滞留した領域を目視領域として特定することができる。

【0050】

一方、所定時間以内か否かによらず、注視点の分布密度が所定値以上となる領域を目視領域として定めるようにした場合には、例えば検査者がモニタ１０７の全体を満遍なく目視した場合であっても、最終的に一定量以上の視線が注がれた領域を目視領域として特定することができる。

【0051】

目視領域特定部２６０は、このようにして目視領域を特定すると、目視領域を示す目視領域情報を出力する。目視領域情報を図６に例示する。
図６（Ａ）は、円の中心位置と半径とにより目視領域を特定する場合の目視領域情報を示す。Ｎｏ欄は、複数の目視領域が特定された場合に、それらの目視領域を識別するための識別情報である。
図６（Ｂ）は、i軸方向の一辺の長さと、j軸方向の一辺の長さとにより方形の目視領域を特定する場合の目視領域情報を示す。
図６（Ｃ）は、多角形の頂点で囲まれる領域を目視領域とする場合の目視領域情報を示す。
図６（Ｄ）は、順序が連続する複数の注視点を結ぶ所定幅の線分を目視領域とする場合の目視領域情報を示す。

【0052】

また詳細は後述するが、指定領域情報記憶部２７０に指定領域情報が記憶されている場合には、この指定領域情報により特定される指定領域内の注視点の分布に基づいて、目視領域を判定することもできる。

【0053】

なお、注視点特定部２２１は、視線計測部１１１から新たな視線情報を取得する毎に、その視線情報に基づいて新たな注視点を算出し、注視点分布テーブル２８０に記録している。

【0054】

そのため目視領域特定部２６０は、所定時間毎に繰り返し注視点分布テーブル２８０の内容を取得し、例えば、注視点の分布密度が所定値以上である領域を新たに検出する毎に、この領域を新たな目視領域として特定し、そして、新たな目視領域を表す目視領域情報を出力する。

【0055】

（目視領域画像生成部）
目視領域画像生成部２３０は、目視領域特定部２６０から目視領域情報を取得すると、この目視領域情報に基づいて目視領域を視覚的に表す目視領域画像４２０を生成する。

【0056】

また目視領域画像生成部２３０は、目視領域特定部２６０によって新たな目視領域が特定され、新たな目視領域情報を取得すると、上記生成した目視領域画像４２０を更新して、新たな目視領域を追加していくようにする。

【0057】

（画像合成部）
画像合成部２１１は、目視領域画像生成部２３０から目視領域画像４２０を取得し、撮影部１０４から検査対象物１０１の撮影画像４１０を取得し、これらの画像を重ね合わせた表示画像４００をモニタ１０７に出力する。

【0058】

画像合成部２１１は、撮影部１０４から撮影画像４１０を取得した際に、この撮影画像４１０を構成する各画素がモニタ１０７上のどの位置に表示されるかを(i,j)の座標値で特定する一方で、目視領域画像生成部２３０から取得した目視領域画像４２０についても、モニタ１０７上のどの位置に表示されるかを(i,j)の座標値で特定することにより、これらの画像を重ね合わせる。

【0059】

検査対象物１０１の撮影画像４１０に目視領域画像４２０を重ね合わせた表示画像４００がモニタ１０７に表示されている様子を、図７に示す。図７に示す例では、目視領域は所定半径の円により特定されている。

【0060】

なお、検査対象物１０１を載置したステージ１０２の位置が移動した場合には、撮影画像４１０に映し出されている検査対象物１０１のモニタ１０７上での表示位置が移動するため、目視領域画像４２０内の目視領域の表示位置とずれるが、その場合、画像合成部２１１は、位置情報出力部３１０から出力される位置情報に基づいて、検査対象物１０１のモニタ１０７上での表示位置の変化量を算出し、その変化量に合わせて目視領域画像４２０の表示位置をモニタ１０７上で移動させるようにする。

【0061】

このようにして、画像合成部２１１は、撮影画像４１０と目視領域画像４２０とを重ね合わせて表示する際に、位置情報出力部３１０から出力されたステージ１０２の位置情報に基づいて、撮影画像４１０に重ね合わせる目視領域画像４２０の位置を定める。

【0062】

これにより、検査対象物１０１を移動させた場合であっても、モニタ１０７に表示される目視領域画像も検査対象物１０１に追従して移動するので、検査者が、どこまで目視したか、どこを目視していないかを、正確に表示することができる。

【0063】

あるいは、画像合成部２１１は、後述する所定部位認識部３００から出力される検査対象物１０１の所定部位の撮影画像４１０内の位置情報の変化量に合わせて、目視領域画像４２０の表示位置をモニタ１０７上で移動させるようにする。

【0064】

このようにして、画像合成部２１１は、撮影画像４１０と目視領域画像４２０とを重ね合わせて表示する際に、上記所定部位の撮影画像４１０内の位置情報に基づいて、撮影画像４１０に重ね合わせる目視領域画像４２０の位置を定める。

【0065】

このようにしても、検査対象物１０１を移動させた場合であっても、モニタ１０７に表示される目視領域画像も検査対象物１０１に追従して移動するので、検査者が、どこまで目視したか、どこを目視していないかを、正確に表示することができる。

【0066】

（所定部位認識部）
所定部位認識部３００は、撮影部１０４から出力される撮影画像４１０を取得し、撮影画像４１０内に映し出されている検査対象物１０１の画像から、所定部位を画像認識する。この所定部位は、例えば、検査対象物１０１の形状が長方形である場合には、その四隅の位置とすることができる。あるいは、検査対象物１０１上に特定形状の目印やパターンを印刷しておくようにし、この目印やパターンを所定部位として認識するようにすることもできる。
所定部位認識部３００は、認識した所定部位の撮影画像４１０内における位置を示す位置情報を出力する。

【0067】

（指定領域情報記憶部）
指定領域情報記憶部２７０は、検査者が目視検査を行うべき領域が、指定領域として事前に定められている場合に、その指定領域を示す指定領域情報を記憶する。指定領域情報記憶部２７０の一例を図８に示す。

【0068】

図８に示す例では、モニタ１０７に表示される表示画像４００において、i方向の幅及びj方向の幅によって特定される方形領域が指定領域として定められていることが示されている。

【0069】

また目視判定密度欄には、指定領域に対して検査者が目視を行ったか否かを目視領域特定部２６０が判定するための判定条件が、指定領域毎に記載されている。図８に示す例では、指定領域内の注視点の数が目視判定密度欄に記載されている値以上になった場合、すなわち指定領域内の注視点の分布密度が所定値以上になった場合に、その指定領域に対する目視が行われたと判定される。

【0070】

（指定領域画像生成部）
指定領域画像生成部２４０は、指定領域情報記憶部２７０から指定領域情報を取得し、この指定領域情報に基づいて指定領域を視覚的に表す指定領域画像４３０を生成する。

【0071】

そして、画像合成部２１１は、指定領域画像生成部２４０から指定領域画像４３０を取得し、撮影部１０４から取得した検査対象物１０１の撮影画像４１０に重ね合わせた表示画像４００をモニタ１０７に出力する。
画像合成部２１１は、撮影部１０４から取得した撮影画像４１０を構成する各画素がモニタ１０７上のどの位置に表示されるかを示す(i,j)の座標値と、指定領域画像生成部２４０から取得した指定領域画像４３０がモニタ１０７上のどの位置に表示されるかを示す(i,j)の座標値と、を合わせることにより、これらの画像を重ね合わせる。

【0072】

検査対象物１０１の撮影画像４１０に、指定領域画像４３０及び目視領域画像４２０を重ね合わせた表示画像４００がモニタ１０７に表示されている様子を図９に示す。
図９に示す例では、撮影画像４１０の全面に亘り、升目状に複数の長方形の指定領域が指定されており、そのうち、図９に示す表示画像４００において左上付近の指定領域が目視領域として特定されたことが示されている。

【0073】

（検査終了通知部）
検査終了通知部２９０は、指定領域情報記憶部２７０から指定領域情報を取得し、目視領域特定部２６０から目視領域情報を取得し、目視領域特定部２６０が、全ての指定領域を目視領域として特定したか否かを検知する。
そして検査終了通知部２９０は、目視領域特定部２６０が、全ての指定領域を目視領域として特定したことを検知した場合に、検査対象物１０１に対する目視検査が終了した旨の情報を出力する。
この通知は、例えば、図示しないチャイムやブザー等からの音声出力により行ってもよいし、モニタ１０７にその旨のメッセージを表示するようにしてもよいし、モニタ１０７を点滅させる等としても良い。

【0074】

＝＝目視検査支援装置の処理の流れ＝＝
次に、本実施形態に係る目視検査支援装置１０００の処理の流れについて、図１０〜図１１のフローチャートを参照しながら説明する。

【0075】

＜指定領域が指定されていない場合＞
検査者が目視すべき指定領域が事前に設定されていない場合のフローチャートを図１０に示す。

【0076】

まず、目視検査支援装置１０００は、モニタ１０７の表示画像４００を初期化する（S1000）。表示画像４００の初期化は、具体的には、例えば画像メモリ２１２をクリアすることにより行う。またこのとき、目視検査支援装置１０００は、注視点分布テーブル２８０の内容も初期化する。この初期化処理は、例えば図示しないスイッチを検査者が操作して、目視検査支援装置１０００に初期化の指示入力を行うことにより行うようにすることができる。

【0077】

次に目視検査支援装置１０００は、撮影部１０４から撮影画像４１０を取得し（S1010）、表示画像４００をモニタ１０７に出力する（S1020）。
続いて目視検査支援装置１０００は、モニタ１０７の表示画像４００を目視している検査者が目視した領域である目視領域を特定する（S1030）。
具体的には、注視点特定部２２１が、視線計測部１１１により計測された検査者の視線情報に基づいてモニタ１０７上の注視点を求め、注視点分布テーブル２８０に記録していく。そして目視領域特定部２６０が、注視点の分布に基づいて目視領域を特定する。
そして目視検査支援装置１０００は、目視領域画像生成部２３０が生成した目視領域画像４２０と、撮影画像４１０とを重ね合わせて、表示画像４００としてモニタ１０７に出力する（S1040）。

【0078】

以上の処理を、検査対象物１０１に対する目視検査が終了するまで繰り返す（S1050）。この場合、目視検査が終了したか否かの判定は、モニタ１０７に表示されている目視領域画像４２０を見ながら、検査者自らが行う。
目視検査が終了した場合には、検査者は次の検査対象物１０１をステージ１０２に載置して、目視検査支援装置１０００が、S1000からの処理を繰り返し行う（S1060）。

【0079】

＜指定領域が指定されている場合＞
次に、検査者が目視すべき指定領域が事前に設定されている場合のフローチャートを図１１に示す。

【0080】

まず、目視検査支援装置１０００は、モニタ１０７の表示画像４００を初期化する（S2000）。表示画像４００の初期化は、具体的には、例えば画像メモリ２１２をクリアすることにより行う。またこのとき、目視検査支援装置１０００は、注視点分布テーブル２８０の内容も初期化する。この初期化処理は、例えば図示しないスイッチを検査者が操作して、目視検査支援装置１０００に初期化の指示入力を行うことにより行うようにすることができる。

【0081】

次に目視検査支援装置１０００は、撮影部１０４から撮影画像４１０を取得し（S2010）、表示画像４００をモニタ１０７に出力する（S2020）。
そして目視検査支援装置１０００は、指定領域画像生成部２４０が生成した指定領域画像４３０を撮影画像４１０と重ね合わせて、表示画像４００としてモニタ１０７に出力する（S2030）。
続いて目視検査支援装置１０００は、モニタ１０７の表示画像４００を目視している検査者が目視した領域である目視領域を特定する（S2040）。

【0082】

具体的には、注視点特定部２２１が、視線計測部１１１により計測された検査者の視線情報に基づいてモニタ１０７上の注視点を求め、注視点分布テーブル２８０に記録していく。そして目視領域特定部２６０が、注視点の分布に基づいて目視領域を特定する。このとき、目視領域特定部２６０は、各指定領域内の注視点の分布に基づいて、指定領域毎に目視が行われたか否かを判定することにより、目視領域を特定する。
そして目視検査支援装置１０００は、目視領域画像生成部２３０が生成した目視領域画像４２０と、撮影画像４１０と、指定領域画像４３０と、を重ね合わせて、表示画像４００としてモニタ１０７に出力する（S2050）。

【0083】

以上の処理を、検査対象物１０１に対する目視検査が終了するまで繰り返す（S2060）。目視検査が終了したか否かの判定は、検査終了通知部２９０が、指定領域情報と、目視領域情報と、に基づいて、全ての指定領域が目視領域として特定されたか否かを判定することにより行う。
目視検査が終了した場合には、検査者は次の検査対象物１０１をステージ１０２に載置して、目視検査支援装置１０００が、S2000からの処理を繰り返し行う（S2070）。

【0084】

以上のように、本実施形態に係る目視検査支援装置１０００によれば、目視検査の作業効率を向上させることができる。

【0085】

検査者は、モニタ１０７を通じて検査対象物１０１の目視検査を行う際に、自分が既に目視した領域を確認することが可能となる。これにより、目視検査の作業効率を向上させることができる。
例えば、検査者は検査対象物１０１に対して観察あるいは検査していない領域を容易に知ることができるので、観察や検査が効率よくすすめることができ、疲労も軽減することができる。

【0086】

また、観察画面上に視線があった領域を表示できるようにしたので、どこが観察あるいは検査していないか、容易に知ることができ、また、どのあたりにどの程度視線があったかなども計測、そして表示できるようにしたので、観察や検査を効率よくすすめることができ、疲労も軽減することができる。さらには信頼性の向上も可能である。

【0087】

さらに、視線の動きや観察および検査の順番なども確認しながらすすめることができ、見逃しや繰り返し何度もみなおすことがなくなり、観察や検査が効率よくすすめることが可能となり、観察や検査のための時間も短縮できる。さらには信頼性の向上また生産性の向上も可能である。

【0088】

なお、撮影部１０４及びステージ１０２、位置情報出力部３１０は、筐体１０８の内部に収容される構成を説明したが、筐体１０８の外部にあっても良い。この場合、ステージ１０２や撮影部１０４、位置情報出力部１０４が遠隔地にあって、撮影部１０４が撮影した撮影画像を、通信回線を通じて目視検査支援装置１０００が受信し、モニタ１０７に表示するようにしても良い。このような場合、検査者による目視検査は、場所を選ばずに行うことができるので目視検査の作業効率を向上させることができる。

【0089】

また、検査対象物１０１は、挿入取出口１０９から検査者によって出し入れされる構成を説明したが、たとえば検査対象物１０１がベルトコンベア上を搬送されてきて、撮影部１０４により撮影される位置で停止するような構成でもよい。このような場合、検査者は、検査対象物１０１の出し入れを行わずに済むので、目視検査に集中して作業を行うことが可能となり、目視検査の作業効率を向上させることができる。

【0090】

また、上記実施形態では、目視領域画像４２０は、検査者が目視検査を行っている間に表示され、目視領域特定部２６０が新たな目視領域を特定する毎に新たな目視領域が追加されていく構成を説明したが、例えば、検査者が、図示しないスイッチを操作して、目視領域画像４２０を表示させる指示入力を行った場合にだけ、目視領域画像４２０をモニタ１０７に重ねて表示させるようにすることもできる。このような場合、目視検査の工程において、検査者が目視し忘れた領域がないかのチェックを最後に行う際に、目視領域画像４２０を利用することが可能となる。これにより、たとえば目視検査中に目視領域画像４２０を見ないほうが作業を行いやすいと考える検査者に対しても、作業効率を向上させることが可能となる。

【0091】

また検査者は、例えば検査対象物１０１の中の一部の微細な部位に対して目視検査を行いたい場合に、撮影部１０４の倍率を変える指示入力を行い、モニタ１０７に拡大像を表示させるようにすることもできる。この場合、倍率を示す情報を、撮影部１０４から画像合成部２１１に入力するようにすることで、モニタ１０７に表示される撮影画像４００の表示倍率に合わせて、目視領域画像及び指定領域画像の表示倍率を変更して、これらの画像を重ね合わせて表示することができる。

【0092】

また、撮影部１０４は、可視光により検査対象物１０１を撮影する場合について説明したが、紫外線、赤外線、Ｘ線等の可視光以外の波長の領域で検査対象物１０１を撮影するものであっても良い。

【0093】

以上、本発明の好適な実施形態を説明したが、これらは本発明の説明のための例示であって、本発明の範囲を上記実施形態のみに限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。

【符号の説明】

【0094】

１０１ 検査対象物
１０２ ステージ
１０３ 照明
１０４ 撮影部
１０７ モニタ
１０８ 筐体
１０９ 挿入取出口
１１０ 観察窓
１１１ 視線計測部
２００ 画像処理部
２１０ 画像表示部
２１１ 画像合成部
２１２ 画像メモリ
２２０ 注視点算出部
２２１ 注視点特定部
２３０ 目視領域画像生成部
２４０ 指定領域画像生成部
２５０ 視線調整部
２６０ 目視領域特定部
２７０ 指定領域情報記憶部
２８０ 注視点分布テーブル
２９０ 検査終了通知部
３００ 所定部位認識部
３１０ 位置情報出力部
４００ 表示画像
４１０ 撮影画像
４２０ 目視領域画像
４３０ 指定領域画像
１０００ 目視検査支援装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図8】

【図10】

【図11】

【図7】

【図9】