特開 2024-42183 視線検出システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024042183

(43)【公開日】2024-03-28

(54)【発明の名称】視線検出システム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240321BHJP

   G06F 3/0346 20130101ALI20240321BHJP

   A61B 3/113 20060101ALI20240321BHJP

【ＦＩ】

G06F3/01 510

G06F3/0346 423

A61B3/113

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022146718

(22)【出願日】2022-09-15

(11)【特許番号】

(45)【特許公報発行日】2024-01-12

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和４年８月３１日から令和４年９月２日までの間に幕張メッセで開催された第１回スマート工場ＥＸＰＯ（秋）にて展示

(71)【出願人】

【識別番号】311007039

【氏名又は名称】ＮＶデバイス株式会社

(74)【代理人】

【識別番号】100087480

【弁理士】

【氏名又は名称】片山 修平

(72)【発明者】

【氏名】河野 晋太郎

(72)【発明者】

【氏名】渡部 豊

【テーマコード（参考）】

4C316

5B087

5E555

【Ｆターム（参考）】

4C316AA21

4C316FB26

4C316FC28

4C316FZ01

5B087AA10

5B087AB09

5B087AC04

5B087BB20

5B087BC32

5B087DD03

5E555AA05

5E555AA11

5E555AA12

5E555AA54

5E555AA76

5E555BA33

5E555BA36

5E555BA38

5E555BB33

5E555BB36

5E555BB38

5E555BC04

5E555CA42

5E555CB56

5E555CB65

5E555CC01

5E555CC03

5E555DA01

5E555DB16

5E555DB18

5E555DB20

5E555DC05

5E555EA03

5E555EA05

5E555EA08

5E555EA10

5E555EA14

5E555FA00

(57)【要約】

【課題】安定した操作性を確保しつつ、操作速度の向上を図る視線検出システムを提供することを目的とする。
【解決手段】視線検出システムは、対象範囲に赤外線を照射する照射装置と、前記対象範囲から反射された前記赤外線の画像を撮像する撮像装置と、前記画像に基づいて、前記対象範囲内の人の視線を検出する検出部と、前記視線が特定する位置に表示される操作ボタンの種別に応じて、前記操作ボタンの押下判定に異なる時間を適用する制御部と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

対象範囲に赤外線を照射する照射装置と、
前記対象範囲から反射された前記赤外線の画像を撮像する撮像装置と、
前記画像に基づいて、前記対象範囲内の人の視線を検出する検出部と、
前記視線が特定する位置に表示される操作ボタンの種別に応じて、前記操作ボタンの押下判定に異なる時間を適用する制御部と、
を備える視線検出システム。

【請求項2】

前記制御部は、前記操作ボタンの１度目の第１押下判定と２度目以降の第２押下判定に異なる時間を適用する、
ことを特徴とする請求項１に記載の視線検出システム。

【請求項3】

前記制御部は、前記操作ボタンが連続的に押下される傾向にある特定の操作ボタンである場合、前記第１押下判定に適用する時間より短い時間を前記第２押下判定に適用する、
ことを特徴とする請求項２に記載の視線検出システム。

【請求項4】

前記制御部は、前記操作ボタンが前記操作ボタンと共に表示される目視検査対象を拡大表示する拡大ボタンである場合、前記第１押下判定に適用する時間より短い時間を前記第２押下判定に適用する、
ことを特徴とする請求項２に記載の視線検出システム。

【請求項5】

前記制御部は、前記操作ボタンが前記操作ボタンと共に表示される目視検査対象を縮小表示する縮小ボタンである場合、前記第１押下判定に適用する時間より短い時間を前記第２押下判定に適用する、
ことを特徴とする請求項２に記載の視線検出システム。

【請求項6】

前記検出部は、前記画像に現れる角膜反射と瞳孔との位置関係に基づいて、前記対象範囲内の人の視線を検出する、
ことを特徴とする請求項１又は２に記載の視線検出システム。

【請求項7】

前記制御部は、目視検査の手順に沿った前記操作ボタンの押下傾向に基づいて、前記押下傾向から外れる所定の操作ボタンを特定し、前記所定の操作ボタンを一定時間が経過するまで押下不能に制御する、
ことを特徴とする請求項１又は２に記載の視線検出システム。

【請求項8】

前記制御部は、前記操作ボタンの押下履歴が所定の条件を満たすか否かに基づいて、前記検出部が検出する前記視線の正誤を判定し、判定結果に基づいて、前記操作ボタンの押下判定に異なる時間を適用するか否かを決定する、
ことを特徴とする請求項１に記載の視線検出システム。

【請求項9】

前記制御部は、前記視線が正常であると判定した場合、前記視線による前記操作ボタンの第１押下頻度を計測し、前記第１押下頻度と第１閾値頻度との第１比較結果に基づいて、前記操作ボタンの押下判定に異なる時間を適用するか否かを決定する、
ことを特徴とする請求項８に記載の視線検出システム。

【請求項10】

前記制御部は、前記視線が異常であると判定した場合、前記視線により前記操作ボタンを誤って押下した第２押下頻度を計測し、前記第２押下頻度と第２閾値頻度との第２比較結果に基づいて、前記操作ボタンの押下判定に異なる時間を適用するか否かを決定する、
ことを特徴とする請求項８に記載の視線検出システム。

【請求項11】

前記制御部は、前記第２押下頻度に基づいて特定した所定の操作ボタンを一定時間が経過するまで押下不能に制御する、
ことを特徴とする請求項１０に記載の視線検出システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視線検出システムに関し、例えば赤外線を用いた視線検出システムに関する。

【背景技術】

【0002】

対象となる範囲に赤外線を照射し、赤外線撮像装置で対象となる範囲を撮像し撮像された画像を解析することにより、対象となる範囲内の人の視線方向を検出する方法が知られている（例えば特許文献１および２参照）。

【0003】

また、製品の外観に基づき品質を検査する外観検査装置等を用いて、目視検査の一部を自動化することで、品質検査の効率を向上させることも知られている。例えば、画像を表示する表示部と、表示部に表示された画像を目視する対象者の視線を検出する視線検出部と、画像と対象者の視線を重畳させた分析結果画像の画像データを出力する出力部と、を有する視線分析システムが知られている（例えば特許文献３参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５－０００１５６号公報

【特許文献2】特開２０１９－１６９００４号公報

【特許文献3】国際公開第２０１９／０４４２６４号

【発明の概要】

【発明が解決しようとする課題】

【0005】

、
ところで、目視検査は検査スピード向上の観点から大量の検査対象物を迅速に検査して検査結果を得ていくことが望ましい。しかしながら、上述したような視線を利用した目視検査では、視線が安定しないことにより、対象者の意図しない画像に視線が注がれ、結果的に、誤った操作がなされる場合がある。すなわち、視線を利用した目視検査においては、安定した操作性を確保しつつ、操作速度の向上を図って迅速な検査を進行させることが要求される。

【0006】

そこで、１つの側面では、安定した操作性を確保しつつ、操作速度の向上を図る視線検出システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、対象範囲に赤外線を照射する照射装置と、前記対象範囲から反射された前記赤外線の画像を撮像する撮像装置と、前記画像に基づいて、前記対象範囲内の人の視線を検出する検出部と、前記視線が特定する位置に表示される操作ボタンの種別に応じて、前記操作ボタンの押下判定に異なる時間を適用する制御部と、を備える視線検出システムである。

【0008】

上記構成において、前記制御部は、前記操作ボタンの１度目の第１押下判定と２度目以降の第２押下判定に異なる時間を適用する構成とすることができる。

【0009】

上記構成において、前記制御部は、前記操作ボタンが連続的に押下される傾向にある特定の操作ボタンである場合、前記第１押下判定に適用する時間より短い時間を前記第２押下判定に適用する構成とすることができる。

【0010】

上記構成において、前記制御部は、前記操作ボタンが前記操作ボタンと共に表示される目視検査対象を拡大表示する拡大ボタンである場合、前記第１押下判定に適用する時間より短い時間を前記第２押下判定に適用する構成とすることができる。

【0011】

上記構成において、前記制御部は、前記操作ボタンが前記操作ボタンと共に表示される目視検査対象を縮小表示する縮小ボタンである場合、前記第１押下判定に適用する時間より短い時間を前記第２押下判定に適用する構成とすることができる。

【0012】

上記構成において、前記検出部は、前記画像に現れる角膜反射と瞳孔との位置関係に基づいて、前記対象範囲内の人の視線を検出する構成とすることができる。

【0013】

上記構成において、前記制御部は、目視検査の手順に沿った前記操作ボタンの押下傾向に基づいて、前記押下傾向から外れる所定の操作ボタンを特定し、前記所定の操作ボタンを一定時間が経過するまで押下不能に制御する構成とすることができる。

【0014】

上記構成において、前記制御部は、前記操作ボタンの押下履歴が所定の条件を満たすか否かに基づいて、前記検出部が検出する前記視線の正誤を判定し、判定結果に基づいて、前記操作ボタンの押下判定に異なる時間を適用するか否かを決定する構成とすることができる。

【0015】

上記構成において、前記制御部は、前記視線が正常であると判定した場合、前記視線による前記操作ボタンの第１押下頻度を計測し、前記第１押下頻度と第１閾値頻度との第１比較結果に基づいて、前記操作ボタンの押下判定に異なる時間を適用するか否かを決定する構成とすることができる。

【0016】

上記構成において、前記制御部は、前記視線が異常であると判定した場合、前記視線により前記操作ボタンを誤って押下した第２押下頻度を計測し、前記第２押下頻度と第２閾値頻度との第２比較結果に基づいて、前記操作ボタンの押下判定に異なる時間を適用するか否かを決定する構成とすることができる。

【0017】

上記構成において、前記制御部は、前記第２押下頻度に基づいて特定した所定の操作ボタンを一定時間が経過するまで押下不能に制御する構成とすることができる。

【発明の効果】

【0018】

安定した操作性を確保しつつ、操作速度の向上を図ることができる。

【図面の簡単な説明】

【0019】

【図1】図１は第１実施例における視線検出システムの模式図である。

【図2】図２は第１実施例に係る視線検出システムのブロック図である。

【図3】図３は第１実施例におけるプロセッサ等の処理を示す機能ブロック図である。

【図4】図４は第１実施例におけるプロセッサの処理を示すフローチャートである。

【図5】図５は第１実施例における画面遷移を説明する図である。

【図6】図６は第１実施例における制御テーブルである。

【図7】図７は第２実施例におけるプロセッサの処理を示すフローチャートである。

【図8】図８は第２実施例における制御テーブルである。

【発明を実施するための形態】

【0020】

以下、本件を実施するための形態について図面を参照して説明する。

【0021】

（第１実施例）
図１に示すように、視線検出システム５０の前に仮想の対象範囲５２が設けられいる。また、視線検出システム５０の後ろに仮想の視線検出範囲５８が設けられている。人５４の視線方向５６を矢印で示している。視線検出システム５０は、対象範囲５２内の人５４の視線方向５６（例えば視線方向５６における視線検出範囲５８内の点６０の座標）を検出する。なお、視線検出範囲５８は、例えば液晶ディスプレイやデジタルサイネージ等の表示装置５１に表示される画面等の２次元の平面である。

【0022】

詳細は後述するが、視線検出システム５０は表示装置５１が備える制御装置（図１において不図示）と接続されている。制御装置は表示装置５１と別体であってもよい。制御装置は少なくともプロセッサおよびメモリなどを含んでいる。制御装置は画面を表示装置５１に表示させると共に、視線検出システム５０で検出された視線方向５６を含む検出情報に基づき、表示されている画面を別の画面（例えば検査結果を記録する画面など）に遷移させる。

【0023】

人５４は、視線検出範囲５８に現れる目視検査対象５３を手順や確認事項に沿って確認する。図１では、目視検査対象５３の一例として回路基板が示されているが、目視検査対象５３は回路基板に限定されない。目視検査対象５３が回路基板であれば、人５４は回路基板に実装される電子部品の不足や実装不良等を確認する。目視検査対象５３に問題がない場合、人５４は視線を動かして点６０を文字列「ＯＫ」が記載された画像である操作ボタンＢ１１に重畳させる。目視検査対象５３に問題がある場合、人５４は視線を動かして点６０を文字列「ＮＧ」が記載された画像である操作ボタンＢ１４に重畳させる。点６０が操作ボタンＢ１１又は操作ボタンＢ１４に所定の判定時間を経過するまで重畳されていると、視線検出システム５０は検出情報を制御装置に出力する。制御装置は、視線検出システム５０から出力された検出情報に基づいて、画面を遷移させる。

【0024】

図２を参照して、第１実施例に係る視線検出システム５０の構成について説明する。

【0025】

図２に示すように、視線検出システム５０は、照射装置１０、撮像装置１２、プロセッサ１４およびメモリ１６を備えている。照射装置１０は、例えば赤外線を出射するＬＥＤ（Light Emitting Diode）であり、赤外線を対象範囲５２に向けて出射する。撮像装置１２は、例えばＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を含む赤外線カメラであり、対象範囲５２の赤外線の画像を撮像する。

【0026】

プロセッサ１４は、例えばＣＰＵ（Central Processing Unit）であり、プログラム等のソフトウェアと協働し検出部および制御部として機能する。プロセッサ１４は、検出された視線方向を含む検出情報を表示装置５１が備える制御装置５５に出力する。制御装置５５は検出情報に基づいて表示装置５１に表示されている画面を別の画面に遷移させる。メモリ１６は、例えばＲＡＭ（Random Access Memory）といった揮発性メモリおよびＲＯＭ（Read Only Memory）といった不揮発性メモリを含み、プログラムおよび／またはデータを記憶する。

【0027】

図３を参照して、検出部３２の機能について説明する。

【0028】

図３に示すように、プロセッサ１４はプログラムと協働し検出部３２および制御部３４として機能する。検出部３２の視線検出方法は、例えば特許文献１と同じである。検出部３２は、撮像装置１２が撮像した画像から対象範囲５２内の人５４の眼を認識し、眼内の瞳孔の中心位置を認識する。瞳孔の中心位置の認識には対象範囲５２内の可視光の画像を用いてもよい。検出部３２は、対象範囲５２内の赤外線の画像を用い、人の眼の角膜からの赤外線の反射を認識する。例えば、眼の中の所定閾値以上の赤外線強度を有する範囲を角膜と認識する。角膜は例えば円形状として認識される。検出部３２は、瞳孔の中心位置と角膜との距離および角膜の曲率半径に基づき、人５４の視線方向５６を算出する。

【0029】

このように、検出部３２は赤外線の画像に現れる角膜反射と角膜反射に対する瞳孔との位置関係に基づいて、対象範囲５２内の人５４の視線を検出する。これにより、可視光を撮影する可視カメラを利用し、可視カメラの撮影画像に現れる目頭と目頭に対する光彩との位置関係に基づいて、対象範囲５２内の人５４の視線を検出する場合に比べて、視線の検出精度を向上させることができる。

【0030】

図４乃至図６を参照して、第１実施例におけるプロセッサ１４（具体的には検出部３２および制御部３４）の処理について説明する。なお、プロセッサ１４は図４に示す処理を定期的に（例えば数ミリ秒から数ミリ秒から数秒単位で）実行して、検出部３２および制御部３４の機能を発揮する。

【0031】

まず、図４に示すように、制御部３４は照射装置１０に赤外線を照射（すなわち点灯）させる（ステップＳ１）。具体的には、制御部３４は赤外線の照射を指示する制御信号を照射装置１０に出力する。照射装置１０は制御信号に基づき赤外線を対象範囲５２に照射する。

【0032】

次に、制御部３４は撮像装置１２に対象範囲５２を撮像させる（ステップＳ２）。具体的には、制御部３４は撮像を指示する制御信号を撮像装置１２に出力する。撮像装置１２は制御信号に基づき対象範囲５２から反射された赤外線を撮像することで対象範囲５２の画像を撮像する。撮像装置１２は、撮像した画像に関する画像情報を検出部３２に出力する。

【0033】

次に、検出部３２は対象範囲５２内の人５４の視線方向５６を検出する（ステップＳ３）。具体的には、まず、検出部３２は撮像装置１２から画像情報を取得する。検出部３２は、例えば撮像装置１２が撮像した画像に基づき人５４の視線方向５６を算出する。検出情報には視線方向５６を示す情報（例えば視線検出範囲５８内の座標）が含まれている。対象範囲５２内で視線方向を検出できなかった場合は、視線方向が検出できないことを示す情報が含まれる。

【0034】

次に、制御部３４は検出情報に基づきいずれかの操作ボタンが押下されたか否かを判定する（ステップＳ４）。例えば、図５の上段に示すように、表示装置５１に目視検査対象５３を確認するための第１画面が視線検出範囲５８として表示されている状態で、文字列「詳細」が記載された画像である操作ボタンＢ１２の座標領域に点６０が重畳している場合、制御部３４は操作ボタンが押下されたと判定する（ステップＳ４：ＹＥＳ）。一方、第１画面が表示されている状態で、操作ボタンＢ１１や操作ボタンＢ１２といったどの操作ボタンの座標領域にも点６０が重畳していない場合、制御部３４は操作ボタンが押下されていないと判定する（ステップＳ４：ＮＯ）。この場合、プロセッサ１４は処理を終了する。

【0035】

操作ボタンが押下された場合、制御部３４は操作ボタンのボタン種別等を特定する（ステップＳ５）。具体的には、制御部３４はボタン種別を特定するとともに、操作ボタンの押下時間を計測する。ボタン種別等を特定すると、制御部３４は同じ画面内で同じ操作ボタンが連続して押下されたか否かを判定する（ステップＳ６）。例えば、図５の上段に示す第１画面内において、操作ボタンＢ１２が初めて押下された場合には、制御部３４は同じ画面内で同じ操作ボタンが連続して押下されていないと判定する（ステップＳ６：ＮＯ）。

【0036】

この場合、制御部３４は初期判定を実行する（ステップＳ７）。初期判定は第１押下判定の一例である。具体的には、制御部３４は制御テーブルに基づいて初期判定を実行する。制御テーブルは、図６に示すように、画面種別、ボタン種別、初期判定、連続判定、押下不能ボタンといった複数の項目を含んでいる。

【0037】

画面種別の項目には、表示装置５１に表示されている画面の種別が登録される。例えば、上述した第１画面のほか、図５の中段に示すように、目視検査対象５３を拡大表示したり縮小したりするための第２画面が画面の種別として登録されている。また、図５の下段に示すように、目視検査対象５３をスクロール表示するための第３画面が画面の種別として登録されている。ボタン種別の項目には、例えば第１画面が有する操作ボタンＢ１１や操作ボタンＢ１２などが登録される。第２画面や第３画面が有する各種の操作ボタンについても第１画面の場合と同様に登録される。

【0038】

初期判定の項目には、操作ボタンの押下がその画面が表示されてから初めての押下である場合に参照される判定時間が登録される。初期判定を実行する際、制御部３４は、初期判定の項目に登録された時間の長さに基づいて、初期判定を実行する。

【0039】

例えば画面種別「第１画面」とボタン種別「戻る」の組み合わせに対し、初期判定「長時間」が登録されている。これは、第１画面が表示された直後に、文字列「戻る」が記載された画像である操作ボタンＢ１３を人５４が視線で押下する場合は少なく、むしろ、人５４の視線が偶発的に操作ボタンＢ１３に重畳した可能性が高いと想定されるためである。したがって、制御部３４は、第１画面が表示された直後に操作ボタンＢ１３が押下された場合には、長時間にわたって判定（言い換えれば低速判定）を行い、人５４が意図的に１つ前の画面に戻る操作を行っているか否かを判定する。

【0040】

例えば人５４の不安定な視線により操作ボタンＢ１３が短時間に限り偶発的に押下された場合には、制御部３４は１つ前の画面に切り替えずに第１画面を表示し続ける。画面種別「第１画面」とボタン種別「戻る」の組み合わせに対し、初期判定「長時間」が登録されることで、人５４が意図しない誤操作を回避することができる。なお、長時間は、例えば数百ミリ秒から数千ミリ秒の範囲に属する時間であるが、当該時間に限定されず、設計や実験等に応じて適宜定めることができる。

【0041】

一方で、画面種別「第１画面」とボタン種別「ＯＫ」の組み合わせに対しては、初期判定「短時間」が登録されている。これは、第１画面が表示された直後に目視検査対象５３に問題がなければ、すぐに操作ボタンＢ１１が押下され、次の目視検査対象５３を示す第１画面に移行させるためである。第１画面表示中に操作ボタンＢ１１が押下された際の判定時間として、初期判定「短時間」が登録されることで、制御部３４は、第１画面表示中に操作ボタンＢ１１が押下された場合には、短時間で判定（言い換えれば高速判定）を行う。これにより、画面遷移が円滑に行われ、迅速な目視検査を実現することができる。なお、短時間は、例えば短時間は数ミリ秒から数十ミリ秒の範囲に属する時間であるが、当該時間に限定されず、設計や実験等に応じて適宜定めることができる。

【0042】

その他、画面種別「第１画面」とボタン種別「詳細」の組み合わせに対し、初期判定「通常時間」が登録されている。通常時間は短時間と長時間の間に属する時間を定めればよい。上述したように、長時間にわたる判定、および短時間での判定が不要である場合には、通常時間を設定すればよい。詳細は後述するが、操作ボタンＢ１２が押下された場合には、制御部３４は第１画面を第２画面に切り替える。なお、第１実施例では、一例として画面ごとに３種類の判定時間のいずれかが初期判定の項目に登録されているが、４種類以上の判定時間のいずれかが登録されていてもよい。

【0043】

連続判定の項目には、操作ボタンの押下がその画面が表示されてから再度の押下である場合に参照される判定時間が登録される。例えば、第２画面が表示された直後に第２画面が有するいずれかの操作ボタンが人５４の視線が重畳することにより押下され、視線が安定しないことにより一旦その操作ボタンから視線が外れ、再び同じ操作ボタンが押下される場合がある。このような場合、制御部３４は、連続判定の項目に登録された時間の長さに基づいて、連続判定を実行する。

【0044】

例えば、画面種別「第２画面」とボタン種別「拡大」の組み合わせに対し、連続判定「短時間」が登録されている。これは、目視検査対象５３を拡大表示する際、文字列「拡大」が記載された画像である操作ボタンＢ２１を連続して押下する場合が想定されるが、連続判定の項目に通常時間や長時間が登録されていると、操作ボタンＢ２１に対する操作性が低下するおそれがある。すなわち、目視検査対象５３を拡大表示する際には、操作ボタンＢ２１に視線を重畳する操作と操作ボタンＢ２１から視線を外す操作が短時間で交互に（すなわち、繰り返し連続的に）行われるが、通常時間や長時間が登録されていると、目視検査対象５３を円滑に拡大表示する操作が難しくなる可能性がある。操作ボタンＢ２１が押下された際の判定時間として、連続判定の項目に短時間が登録されることで、目視検査対象５３の円滑な拡大表示を実現することができる。操作ボタンＢ２２や後述する操作ボタンＢ３１については、基本的に操作ボタンＢ２１と同様の理由により連続判定の項目に短時間が登録されているため、詳細な説明は省略する。このように、操作ボタンＢ２１，Ｂ２２，Ｂ３１といった、連続的に押下される傾向にある特定の操作ボタンについては、制御部３４は制御テーブルに基づいて初期判定に適用する時間より短い時間を連続判定に適用する。

【0045】

なお、画面種別「第２画面」とボタン種別「戻る」の組み合わせに対し、連続判定「長時間」が登録されている。これは、第１画面が表示されている状態で操作ボタンＢ１３が押下された場合の理由と同様の理由により長時間が登録されている。操作ボタンＢ２３が押下された場合、制御部３４は第２画面を第１画面に切り替える。一方、画面種別「第２画面」とボタン種別「スクロール」の組み合わせに対し、連続判定「通常時間」が登録されている。これは、第１画面が表示されている状態で操作ボタンＢ１２が押下された場合の理由と同様の理由により通常時間が登録されている。文字列「スクロール」が記載された画像である操作ボタンＢ２４が押下された場合、制御部３４は第２画面を第３画面に切り替える。なお、第１実施例では、一例として画面ごとに３種類の判定時間のいずれかが連続判定の項目に登録されているが、４種類以上の判定時間のいずれかが登録されていてもよい。

【0046】

押下不能ボタンの項目には、ボタン種別の項目に登録された操作ボタンの押下に起因して一定時間が経過するまで押下不能に制御する操作ボタンが登録されている。例えば、第２画面において操作ボタンＢ２４が押下された場合、制御部３４は＊＊ミリ秒（＊は数字）が経過するまで操作ボタンＢ２３を押下不能に制御する。これは、例えば第３画面に遷移するための操作ボタンＢ２４が押下された後に、人５４の不安定な視線により偶発的に押下傾向から外れた第１画面に遷移するための操作ボタンＢ２３が押下されると、制御部３４は、人５４の意図とは無関係に、第２画面を第１画面に切り替える。このような第２画面から第３画面に切り替えることを望む人５４の意図とは異なる誤操作を回避するため、制御部３４は操作ボタンＢ２４が押下された場合、押下傾向から外れる操作ボタンＢ２３を特定し、一定時間が経過するまで操作ボタンＢ２３を押下不能に制御する。これにより、第２画面から第１画面に切り替える人５４の誤操作を抑制することができる。

【0047】

同様に、第３画面において、スクロールの最中に人５４の不安定な視線により偶発的に文字列「終了」が記載された画像である操作ボタンＢ３２が押下されると、第３画面から第２画面に切り替えられる可能性がある。このような可能性を抑制するために、制御部３４は操作ボタンＢ３１のいずれかが押下された場合、一定時間が経過するまで操作ボタンＢ３２を押下不能に制御する。

【0048】

図４に戻り、初期判定を実行すると、制御部３４はステップＳ５の処理で計測した押下時間が判定時間を経過したか否かを判定する（ステップＳ８）。例えば、初期判定「短時間」が登録されていれば、制御部３４は押下時間が短時間を経過したか否かを判定する。初期判定「長時間」が登録されていれば、制御部３４は押下時間が長時間を経過したか否かを判定する。初期判定「通常時間」が登録されていれば、制御部３４は押下時間が通常時間を経過したか否かを判定する。

【0049】

押下時間が判定時間を経過した場合（ステップＳ８：ＹＥＳ）、制御部３４は画面遷移や拡大表示などを制御装置５５に指示し（ステップＳ９）、処理を終了する。これにより、例えば操作ボタンＢ１２（図５上段参照）が押下された場合、制御装置５５は表示装置５１の第１画面を第２画面に切り替える。操作ボタンＢ２４（図５中段参照）が押下された場合、制御装置５５は表示装置５１の第２画面を第３画面に切り替える。操作ボタンＢ２１（図５中段参照）が押下された場合、制御装置５５は目視検査対象５３を拡大表示する。

【0050】

その他、第３画面において互いに異なる４方向の矢印で示された画像である４種類の操作ボタンＢ３１（図５下段参照）のいずれかが押下された場合、制御装置５５は目視検査対象５３の表示位置を押下された操作ボタンＢ３１が示す矢印の方向にスクロールする。第３画面において文字列「終了」が記載された画像である操作ボタンＢ３３（図５下段参照）が押下された場合、制御装置５５は第３画面を第２画面に切り替える。

【0051】

ところで、上述したステップＳ６の処理が実行される際に、例えば図５の中段に示す第２画面内において、操作ボタンＢ２１が再び押下された場合には、制御部３４は同じ画面内で同じ操作ボタンが連続して押下されたと判定する（ステップＳ６：ＹＥＳ）。この場合、制御部３４は連続判定を実行する（ステップＳ１０）。連続判定は第２判定の一例である。具体的には、制御部３４は、制御テーブルにおける連続判定の項目に登録された時間の長さに基づいて、連続判定を実行する。

【0052】

連続判定を実行すると、制御部３４は、制御テーブルを確認し、マスク対象の有無を判定する（ステップＳ１１）。例えば、制御テーブルにおける押下不能ボタンの項目に、ボタン種別の項目に登録された操作ボタンの押下に起因して一定時間が経過するまで押下不能に制御する操作ボタンが登録されていれば、制御部３４はマスク対象があると判定する（ステップＳ１１：ＹＥＳ）。この場合、制御部３４は押下不能制御を実行し（ステップＳ１２）、ステップＳ８の処理に移行する。これにより、マスク対象の操作ボタンが一定時間にわたって押下不能に制御される。

【0053】

一方、制御テーブルにおける押下不能ボタンの項目に、ボタン種別の項目に登録された操作ボタンの押下に起因して一定時間が経過するまで押下不能に制御する操作ボタンが登録されていなければ、制御部３４はマスク対象がないと判定する（ステップＳ１１：ＮＯ）。この場合、制御部３４はステップＳ１２の処理をスキップして、ステップＳ８の処理に移行する。

【0054】

以上説明したように、第１実施例によれば、安定し難い人５４の視線検出において、視線が特定する位置に表示される操作ボタンの種別に応じて、操作ボタンの押下判定の時間として短時間や長時間といった異なる時間を適用することで、安定した操作性を確保しつつ、操作速度の向上を図ることができる。

【0055】

（第２実施例）
次に、図７および図８を参照して、本発明の第２実施例について説明する。上述した第１実施例では、初期判定および連続判定の判定時間などは登録作業によってマニュアル的に登録されるが、第２実施例では、上述した制御テーブルの一部が目視検査の手順に沿った操作ボタンの統計的な押下傾向（具体的には押下履歴）に基づいて動的に生成又は更新される。このように、第２実施例は第１実施例と相違する。なお、図７に示すフローチャートの一部は、図４を参照して説明したフローチャートの一部と重複するため、詳細な説明は省略する。

【0056】

まず、図７に示すように、ステップＳ５の処理が終了すると、制御部３４は視線検出正誤判定を実行する（ステップＳ２１）。視線検出正誤判定は検出した視線の正誤を判定する処理である。視線の正誤は所定の条件に基づいて判定される。所定の条件は、例えばいずれかの操作ボタンが押下された後、その操作ボタンに対する判定時間が経過する前に、文字列「戻る」が記載された操作ボタンＢ１３や操作ボタンＢ２３が押下されたか否かといった条件を含んでいる。その他、所定の条件は、画面を繰り返し切り替える操作があったか否かといった条件や、平均的な検査時間に対し一定時間以上の検査時間が発生したか否かといった条件を含んでいる。このように、視線の正誤は操作ボタンの押下履歴が所定の条件を満たすか否かに基づいて判定される。

【0057】

視線検出正誤判定を実行した結果、視線が正常である場合（ステップＳ２２：ＹＥＳ）、制御部３４は第１押下頻度を計測する（ステップＳ２３）。例えば、上述した所定の条件において、判定時間経過前に、操作ボタンＢ１３，Ｂ２３がいずれも押下されておらず、画面を繰り返し切り替える操作がなく、かつ、平均的な検査時間に対し一定時間以上の検査時間が発生していない場合、制御部３４は視線が正常であると判定する。これにより、制御部３４は第１押下頻度を計測する。押下頻度は一定時間における押下回数を含んでいる。

【0058】

なお、第１押下頻度は視線が正常であると判定した場合における視線による操作ボタンの押下頻度を表している。具体的には、第１押下頻度は連続で同じ操作ボタンが押下された押下頻度であってもよいし、押下された操作ボタンの前に押下された操作ボタンの押下頻度であってもよい。

【0059】

第１押下頻度を計測すると、制御部３４は第１押下頻度と第１閾値とを比較し、第１押下頻度が第１閾値以上であるか否かを判定する（ステップＳ２４）。第１閾値は制御テーブルを更新するか否かを判定するための閾値である。比較した結果、第１押下頻度が第１閾値以上である場合（ステップＳ２４：ＹＥＳ）、制御部３４は制御テーブルを更新し（ステップＳ２５）、処理を終了する。比較した結果、第１押下頻度が第１閾値未満である場合（ステップＳ２４：ＮＯ）、制御部３４はステップＳ２５の処理をスキップし、処理を終了する。

【0060】

例えば、第１画面において第２画面に切り替えるべく操作ボタンＢ１２が押下された場合、第２画面において人５４が操作ボタンＢ２３を押下して第２画面から第１画面に戻る可能性は低いと想定される。このような操作は人５４の誤操作に起因するためである。人５４が第２画面に切り替える理由は、第２画面において操作ボタンＢ２１や操作ボタンＢ２２を押下して目視検査対象５３を拡大表示したり縮小表示したりするためである。または、人５４が第２画面に切り替える理由は、第２画面において操作ボタンＢ２４を押下して第２画面から第３画面に切り替えるためである。

【0061】

このため、制御部３４は制御テーブルを更新し、図８に示すように、画面種別「第１画面」とボタン種別「詳細」の組み合わせに対し、操作ボタンＢ２１，Ｂ２２，Ｂ２４に対応する次押下予測ボタン「拡大／縮小／スクロール」を登録する。次押下予測ボタンは次に押下されると予測される操作ボタンを表している。次押下予測ボタン「拡大／縮小／スクロール」として登録された操作ボタンＢ２１，Ｂ２２，Ｂ２４については、制御部３４は通常時間に比べて短い判定時間で判定を行う。これにより、迅速な目視検査を実現することができる。

【0062】

同様の理由により、制御部３４は制御テーブルを更新し、画面種別「第２画面」とボタン種別「スクロール」の組み合わせに対し、４種類の操作ボタンＢ３１に対応する次押下予測ボタン「←／↑／→／↓」を登録する。また、制御部３４は制御テーブルを更新し、画面種別「第２画面」とボタン種別「拡大」の組み合わせに対し、操作ボタンＢ２１に対応する次押下予測ボタン「拡大」を登録する。次押下予測ボタンのその他の登録についても、基本的に上述した理由と同様であるため、詳細な説明は省略する。

【0063】

図７に戻り、視線検出正誤判定を実行した結果、視線が異常である場合（ステップＳ２２：ＮＯ）、制御部３４は第２押下頻度を計測する（ステップＳ２６）。例えば、上述した所定の条件において、判定時間経過前に、操作ボタンＢ１３，Ｂ２３のいずれかが押下されている場合、画面を繰り返し切り替える操作があった場合、または、平均的な検査時間に対し一定時間以上の検査時間が発生していた場合、制御部３４は視線が異常であると判定する。これにより、制御部３４は第２押下頻度を計測する。

【0064】

なお、第２押下頻度は視線が異常であると判定した場合における視線による操作ボタンの押下頻度を表している。具体的には、第２押下頻度は操作ボタンが誤って押下された押下頻度であってもよいし、誤って押下された操作ボタンの前に押下された操作ボタンの押下頻度であってもよい。

【0065】

第２押下頻度を計測すると、制御部３４は第２押下頻度と第２閾値とを比較し、第２押下頻度が第２閾値以上であるか否かを判定する（ステップＳ２７）。第２閾値も制御テーブルを更新するか否かを判定するための閾値である。比較した結果、第２押下頻度が第２閾値以上である場合（ステップＳ２７：ＹＥＳ）、制御部３４はステップＳ２５の処理を実行し、処理を終了する。比較した結果、第２押下頻度が第２閾値未満である場合（ステップＳ２７：ＮＯ）、制御部３４はステップＳ２５の処理をスキップし、処理を終了する。

【0066】

例えば、第１画面において目視検査対象５３に問題がなく、次の目視検査対象５３の目視検査に移るべく操作ボタンＢ１１が押下された場合、次の第１画面において人５４が直ちに操作ボタンＢ１２を押下して第１画面から第２画面に移る可能性は低いと想定される。人５４が第１画面に切り替えた後に行うことは、次の目視検査対象５３を確認することであり、問題がなければ、その第１画面において操作ボタンＢ１１を押下する可能性が高いと想定される。

【0067】

このため、制御部３４は制御テーブルを更新し、図８に示すように、画面種別「第１画面」とボタン種別「ＯＫ」の組み合わせに対し、操作ボタンＢ１２に対応する次誤押下回避ボタン「次画面の詳細」を登録する。次誤押下回避ボタンは次に誤って押下されることを回避するための操作ボタンを表している。次誤押下回避ボタン「次画面の詳細」として登録された操作ボタンＢ１２については、制御部３４は押下不能制御を実行する。これにより、第１画面から次の第１画面に遷移しても、次の第１画面において誤って第２画面に遷移することが抑制される。次誤押下回避ボタンのその他の登録についても、基本的に上述した理由と同様であるため、詳細な説明は省略する。

【0068】

以上説明したように、第２実施例によれば、人５４の押下傾向に応じた制御テーブルを生成することができる。制御テーブルにより、押下不能制御の対象となる操作ボタンが動的に決定されるため、誤操作が低減し、安定した操作性を確保することができる。また、制御テーブルにより、操作ボタンの一部について操作ボタンが押下されたか否かを動的に短時間で判定することができ、操作速度の向上を図ることができる。

【0069】

以上、本発明の好ましい実施例について詳述したが、本発明に係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、制御部３４は上述した第１押下頻度や第２押下頻度を機械学習し、第１閾値や第２閾値を動的に決定するようにしてもよい。

【符号の説明】

【0070】

１０ 照射装置
１２ 撮像装置
３２ 検出部
３４ 制御部
５０ 視線検出システム
５３ 目視検査対象
５４ 人
Ｂ１１～Ｂ３２ 操作ボタン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2023-12-01

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

対象範囲に赤外線を照射する照射装置と、
前記対象範囲から反射された前記赤外線の画像を撮像する撮像装置と、
前記画像に基づいて、前記対象範囲内の人の視線を検出する検出部と、
前記視線が特定する位置に表示される操作ボタンの種別に応じて、前記操作ボタンの押下判定に異なる時間を適用する制御部と、を備え、
前記制御部は、前記操作ボタンの１度目の第１押下判定と２度目以降の第２押下判定に異なる時間を適用する、
ことを特徴とする視線検出システム。

【請求項2】

前記制御部は、前記操作ボタンが連続的に押下される傾向にある特定の操作ボタンである場合、前記第１押下判定に適用する時間より短い時間を前記第２押下判定に適用する、
ことを特徴とする請求項１に記載の視線検出システム。

【請求項3】

前記制御部は、前記操作ボタンが前記操作ボタンと共に表示される目視検査対象を拡大表示する拡大ボタンである場合、前記第１押下判定に適用する時間より短い時間を前記第２押下判定に適用する、
ことを特徴とする請求項１に記載の視線検出システム。

【請求項4】

前記制御部は、前記操作ボタンが前記操作ボタンと共に表示される目視検査対象を縮小表示する縮小ボタンである場合、前記第１押下判定に適用する時間より短い時間を前記第２押下判定に適用する、
ことを特徴とする請求項１に記載の視線検出システム。

【請求項5】

前記検出部は、前記画像に現れる角膜反射と瞳孔との位置関係に基づいて、前記対象範囲内の人の視線を検出する、
ことを特徴とする請求項１に記載の視線検出システム。

【請求項6】

前記制御部は、目視検査の手順に沿った前記操作ボタンの押下傾向に基づいて、前記押下傾向から外れる所定の操作ボタンを特定し、前記所定の操作ボタンを一定時間が経過するまで押下不能に制御する、
ことを特徴とする請求項１に記載の視線検出システム。

【請求項7】

対象範囲に赤外線を照射する照射装置と、
前記対象範囲から反射された前記赤外線の画像を撮像する撮像装置と、
前記画像に基づいて、前記対象範囲内の人の視線を検出する検出部と、
前記視線が特定する位置に表示される操作ボタンの種別に応じて、前記操作ボタンの押下判定に異なる時間を適用する制御部と、を備え、
前記制御部は、前記操作ボタンの押下履歴が所定の条件を満たすか否かに基づいて、前記検出部が検出する前記視線の正誤を判定し、判定結果に基づいて、前記操作ボタンの押下判定に異なる時間を適用するか否かを決定する、
ことを特徴とする視線検出システム。

【請求項8】

前記制御部は、前記視線が正常であると判定した場合、前記視線による前記操作ボタンの第１押下頻度を計測し、前記第１押下頻度と第１閾値頻度との第１比較結果に基づいて、前記操作ボタンの押下判定に異なる時間を適用するか否かを決定する、
ことを特徴とする請求項７に記載の視線検出システム。

【請求項9】

前記制御部は、前記視線が異常であると判定した場合、前記視線により前記操作ボタンを誤って押下した第２押下頻度を計測し、前記第２押下頻度と第２閾値頻度との第２比較結果に基づいて、前記操作ボタンの押下判定に異なる時間を適用するか否かを決定する、
ことを特徴とする請求項７に記載の視線検出システム。

【請求項10】

前記制御部は、前記第２押下頻度に基づいて特定した所定の操作ボタンを一定時間が経過するまで押下不能に制御する、
ことを特徴とする請求項９に記載の視線検出システム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００５

【補正方法】変更

【補正の内容】

【0005】

ところで、目視検査は検査スピード向上の観点から大量の検査対象物を迅速に検査して検査結果を得ていくことが望ましい。しかしながら、上述したような視線を利用した目視検査では、視線が安定しないことにより、対象者の意図しない画像に視線が注がれ、結果的に、誤った操作がなされる場合がある。すなわち、視線を利用した目視検査においては、安定した操作性を確保しつつ、操作速度の向上を図って迅速な検査を進行させることが要求される。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】削除

【補正の内容】

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】変更

【補正の内容】

【0008】

本発明は、対象範囲に赤外線を照射する照射装置と、前記対象範囲から反射された前記赤外線の画像を撮像する撮像装置と、前記画像に基づいて、前記対象範囲内の人の視線を検出する検出部と、前記視線が特定する位置に表示される操作ボタンの種別に応じて、前記操作ボタンの押下判定に異なる時間を適用する制御部と、を備え、前記制御部が、前記操作ボタンの１度目の第１押下判定と２度目以降の第２押下判定に異なる時間を適用することを特徴とする視線検出システムである。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００１４

【補正方法】変更

【補正の内容】

【0014】

本発明は、対象範囲に赤外線を照射する照射装置と、前記対象範囲から反射された前記赤外線の画像を撮像する撮像装置と、前記画像に基づいて、前記対象範囲内の人の視線を検出する検出部と、前記視線が特定する位置に表示される操作ボタンの種別に応じて、前記操作ボタンの押下判定に異なる時間を適用する制御部と、を備え、前記制御部が、前記操作ボタンの押下履歴が所定の条件を満たすか否かに基づいて、前記検出部が検出する前記視線の正誤を判定し、判定結果に基づいて、前記操作ボタンの押下判定に異なる時間を適用するか否かを決定することを特徴とする視線検出システムである。