特許 6096069 瞳の動きを利用した命令入力装置及び命令入力方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6096069

(24)【登録日】2017年2月24日

(45)【発行日】2017年3月15日

(54)【発明の名称】瞳の動きを利用した命令入力装置及び命令入力方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20170306BHJP

   G06F 3/0346 20130101ALI20170306BHJP

【ＦＩ】

   G06F3/01 510

   G06F3/0346 423

【請求項の数】10

【全頁数】8

(21)【出願番号】特願2013-128852(P2013-128852)

(22)【出願日】2013年6月19日

(65)【公開番号】特開2014-106962(P2014-106962A)

(43)【公開日】2014年6月9日

【審査請求日】2016年4月4日

(31)【優先権主張番号】10-2012-0135334

(32)【優先日】2012年11月27日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】591251636

【氏名又は名称】現代自動車株式会社

【氏名又は名称原語表記】ＨＹＵＮＤＡＩ ＭＯＴＯＲ ＣＯＭＰＡＮＹ

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100117787

【弁理士】

【氏名又は名称】勝沼 宏仁

(74)【代理人】

【識別番号】100127465

【弁理士】

【氏名又は名称】堀田 幸裕

(74)【代理人】

【識別番号】100124372

【弁理士】

【氏名又は名称】山ノ井 傑

(72)【発明者】

【氏名】パク、スン、ミン

【審査官】 円子 英紀

(56)【参考文献】

【文献】 国際公開第２００９／１５０７４７（ＷＯ，Ａ１）

【文献】 国際公開第２００９／０９３４３５（ＷＯ，Ａ１）

【文献】 特開２０００−０１０７２２（ＪＰ，Ａ）

【文献】 特開２００８−２０６８３０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３４６

(57)【特許請求の範囲】

【請求項1】

各物体の周波数に対応する命令を格納する情報格納部；
各物体が当該周波数で動くように各物体を画面上に表示する表示部；
時間帯別ユーザーの瞳の位置を検出する瞳位置検出部；
上記瞳位置検出部が検出した時間帯別ユーザーの瞳の位置に基づいて周波数を検出する周波数検出部；及び
上記情報格納部に格納されている各周波数に対応する命令に基づいて、上記周波数検出部が検出した周波数に対応する命令を認識する制御部；
を含む瞳の動きを利用した命令入力装置。

【請求項2】

上記制御部は、
上記画面上の一側と他側で物体が周期的に交替して現われるように上記表示部を制御する、ことを特徴とする請求項１記載の瞳の動きを利用した命令入力装置。

【請求項3】

上記制御部は、
上記画面上で物体の動きが正弦波形（sine wave）を有するように上記表示部を制御する、ことを特徴とする請求項１記載の瞳の動きを利用した命令入力装置。

【請求項4】

上記制御部は、
上記画面上で物体の動きが三角波形（triangular wave）を有するように上記表示部を制御する、ことを特徴とする請求項１記載の瞳の動きを利用した命令入力装置。

【請求項5】

上記制御部は、
上記画面上で一つ以上の物体が当該周波数を有するように上記表示部を制御する、ことを特徴とする請求項１記載の瞳の動きを利用した命令入力装置。

【請求項6】

情報格納部が、各物体の周波数に対応する命令を格納する段階；
表示部が、各物体が当該周波数で動くように各物体を画面上に表示する段階；
瞳位置検出部が、時間帯別ユーザーの瞳の位置を検出する段階；
周波数検出部が、上記検出された時間帯別ユーザーの瞳の位置に基づいて周波数を検出する段階；及び
制御部が、上記情報格納部に格納されている各周波数に対応する命令に基づいて、上記検出された周波数に対応する命令を認識する段階；
を含む瞳の動きを利用した命令入力方法。

【請求項7】

上記表示段階は、
上記画面上の一側と他側で物体が周期的に交替して現われるように各物体を画面上に表示する、ことを特徴とする請求項６記載の瞳の動きを利用した命令入力方法。

【請求項8】

上記表示段階は、
上記画面上で物体の動きが正弦波形（sine wave）を有するように各物体を画面上に表示する、ことを特徴とする請求項６記載の瞳の動きを利用した命令入力方法。

【請求項9】

上記表示段階は、
上記画面上で物体の動きが三角波形（triangular wave）を有するように各物体を画面上に表示する、ことを特徴とする請求項６記載の瞳の動きを利用した命令入力方法。

【請求項10】

上記表示段階は、
上記画面上で一つ以上の物体が当該周波数を有するように各物体を画面上に表示する、ことを特徴とする請求項６記載の瞳の動きを利用した命令入力方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、瞳の動きを利用した命令入力装置及び命令入力方法に関し、より詳しくは、ユーザーの瞳の機械的な動きから検出した周波数に基づいて命令の入力を認識する技術に関する。

【背景技術】

【0002】

最近、人間の視線追跡技術を利用した多様なアプリケーションなどが開発されたり産業的に実施されたりしており、今後ともその応用方式は無限に拡散するものと予想される。併せて、視線追跡方式に対しては、特に視覚と関連した多様なデバイスが開発され、２次元的に視線を追跡する方式から３次元的に視線を追跡する方式に変化しており、上記の背景に応じて多様な３次元的視線追跡技術が開発されたり研究中であったりする。

【0003】

３次元的視線追跡技術は、深さ方向（遠近）を含む視線追跡方式とも言い表すことができるが、これは、モニターのような平面上の視線の位置だけではなく、ユーザーの目からどれほど遠く離れた物体を見つめているかも共に把握することにより（すなわち、視線位置の遠近も把握することにより）、２次元座標で表現される視線の位置ではない３次元座標で表現可能な視線の位置を把握する方式を意味する。

【0004】

このような視線追跡技術を利用して各種機器を制御する方法では、画面上でユーザーの視線が指す地点（位置）を検出した後、当該地点に設定されている命令に対応する動作を行う。

【0005】

しかしながら、従来の機器制御方法は、具現化の複雑度が高く、且つ、誤謬確率の高い視線追跡技術を利用するため、機器制御の正確性を保証することができないという問題点がある。

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記のような従来技術の問題点を解決するため、本発明は、画面上で動く物体の周波数及びそれに対応する命令を格納し、上記物体を見つめる瞳の動きから検出した周波数を当該物体の周波数と比べ、検出した周波数が一定範囲に含まれる場合に上記命令の入力と判断することで、画面上でユーザーの視線が指す地点を検出する方式に比べて誤謬率が非常に少ない、瞳の動きを利用した命令入力装置及び命令入力方法を提供することにその目的がある。

【課題を解決するための手段】

【0007】

上記目的を果たすための本発明の装置は、瞳の動きを利用した命令入力装置において、各物体の周波数に対応する命令を格納する情報格納部；各物体が当該周波数で動くように各物体を画面上に表示（display）する表示部；時間帯別ユーザーの瞳の位置を検出する瞳位置検出部；上記瞳位置検出部が検出した時間帯別ユーザーの瞳の位置に基づいて周波数を検出する周波数検出部；及び上記情報格納部に格納されている各周波数に対応する命令に基づき、上記周波数検出部が検出した周波数に対応する命令を認識する制御部；を含む。

【0008】

また、上記目的を達成するための本発明の方法は、瞳の動きを利用した命令入力方法において、情報格納部が、各物体の周波数に対応する命令を格納する段階；表示部が、各物体が当該周波数で動くように各物体を画面上に表示する段階；瞳位置検出部が、時間帯別ユーザーの瞳の位置を検出する段階；周波数検出部が、上記検出された時間帯別ユーザーの瞳の位置に基づいて周波数を検出する段階；及び制御部が、上記情報格納部に格納されている各周波数に対応する命令に基づき、上記検出された周波数に対応する命令を認識する段階；を含む。

【発明の効果】

【0009】

上記のような本発明は、画面上で動く物体の周波数及びそれに対応する命令を格納し、上記物体を見つめる瞳の動きから検出した周波数を当該物体の周波数と比べ、検出した周波数が一定範囲に含まれる場合に上記命令の入力と判断することにより、画面上でユーザーの視線が指す地点を検出する方式に比べて誤謬率が非常に少ないという効果がある。

【図面の簡単な説明】

【0010】

【図1】図１は、本発明に係る瞳の動きを利用した命令入力装置に対する一実施例の構成図である。

【図2a】図２ａないし図２ｃは、物体が所定の周波数を有するように各物体を画面上に表示する方式に対する一例示図である。

【図2b】図２ａないし図２ｃは、物体が所定の周波数を有するように各物体を画面上に表示する方式に対する一例示図である。

【図2c】図２ａないし図２ｃは、物体が所定の周波数を有するように各物体を画面上に表示する方式に対する一例示図である。

【図3】図３は、本発明に係る瞳の動きを利用した命令入力方法に対する一実施例のフロー図である。

【発明を実施するための形態】

【0011】

以下、添付の図面を参照して、本発明による好ましい実施例を詳しく説明するようにする。

【0012】

図１は、本発明による瞳の動きを利用した命令入力装置に対する一実施例の構成図である。

【0013】

図１に示すように、本発明による瞳の動きを利用した命令入力装置は、情報格納部１０、表示部２０、瞳位置検出部３０、周波数検出部４０、及び制御部５０を含む。

【0014】

上記の各構成要素などに関し、先ず、情報格納部１０は、各物体の周波数に対応する命令を格納する。この際、各物体は既設定された周波数とマッチングされており、各周波数は各命令とマッチングされている。

【0015】

表示部２０は、制御部５０の制御の下、各物体が当該周波数で動くように各物体を画面上に表示する。この際、周波数の範囲は、瞳の動きから導出することが可能な０．０５Ｈｚ〜５Ｈｚが好ましい。

【0016】

一般に、物体が機械的に（例えば、周期的繰り返し）動いているとき、ユーザー（運転者）が上記物体を見つめることになった場合には、瞳は上記物体の動きと類似に動く。したがって、各対象物の動き（周波数）が分かっているとき、瞳の動きを検出してその周波数を確認すれば、如何なる対象物を見つめているのかが分かることになる。

【0017】

本発明は、画面上で動く物体が特定周波数を有するようにするため、図２ａないし図２ｃに示されたように下記の３つの方式を利用する。この際、画面上で動く物体は一つ以上である。
１）図２ａに示すように、画面上の一側に位置する物体２１０と他側に位置する物体２２０を周期的に互いに交替して見せる方式。したがって、ユーザーの瞳は、周期的に一側の物体２１０と他側の物体２２０を交替して見つめることになり周波数検出が可能である。
２）図２ｂに示すように、画面上で特定物体の動きが正弦波形（sine wave）を有するように連続的に動く方式。
３）図２ｃに示すように、画面上で特定物体の動きが三角波形（triangular wave）を有するように連続的に動く方式。

【0018】

次に、瞳位置検出部３０は、時間帯別ユーザーの瞳の位置、すなわち、ユーザーの瞳の動きを検出する。この際、瞳位置検出部３０は、「Adaboost」アルゴリズムを通じて瞳の位置を検出することが好ましい。

【0019】

一実施例として、瞳位置検出部３０は、顔領域検出器、類似度計算機、目位置計算機を含む。

【0020】

先ず、顔領域検出器は、映像データの入力を受け、上記映像データで顔領域を検出して、その顔領域に該当する顔映像を類似度計算機へ伝達する。

【0021】

この場合、類似度計算機は、顔領域検出器から伝達を受けた顔映像と瞳ディスクリプタを利用して瞳類似度を計算する。

【0022】

そして、類似度計算機は、瞳類似度のうち瞳の位置に該当するピクセルを全ての確率に基づいて計算する。この際、瞳ディスクリプタは、データベースに格納されている。

【0023】

次いで、瞳位置計算機は、類似度計算機で計算された瞳の位置に該当するピクセルが含まれた地点を利用して、ユーザーの瞳が実際に位置した地点の幾何学的な瞳の位置（例えば、瞳の３次元座標）を計算する。すなわち、瞳位置計算機は、カメラから両側瞳方向の角度と両側瞳の間の距離などを利用して幾何学的な瞳の位置を計算する。そして、瞳位置計算機は、計算された実際の幾何学的な瞳の位置に対する瞳の位置データを出力する。

【0024】

次に、周波数検出部４０は、瞳位置検出部３０で検出された時間帯別ユーザーの瞳の位置に基づいて周波数を検出する。すなわち、周波数検出部４０は、unequally spaced FFT（Fast Fourier Transform）を利用して瞳の動きでDC（Direct Current）成分を除いた０．０５〜５Ｈｚの間のピーク値を検出する。

【0025】

次に、制御部５０は、画面上で動く物体が所定の周波数を有するように表示部２０を制御する。

【0026】

また、制御部５０は、瞳位置検出部３０で検出された時間帯別ユーザーの瞳の位置に基づいて周波数を検出するように周波数検出部４０を制御する。

【0027】

また、制御部５０は、情報格納部１０に格納されている各周波数に対応する命令に基づいて、周波数検出部４０から検出された周波数に対応する命令を認識する。すなわち、制御部５０は、瞳の動きによる周波数を検出して当該周波数に対応する命令の入力及び入力された命令を判別する。

【0028】

このような本発明は、入力装置を要する全ての機器に適用されることができ、本発明が適用される場合、目の動きによる周波数検出過程だけで容易に命令を入力することができる長所がある。

【0029】

図３は、本発明による瞳の動きを利用した命令入力方法に対する一実施例のフロー図である。

【0030】

先ず、情報格納部１０が、各物体の周波数に対応する命令を格納する（３０１）。

【0031】

次に、表示部２０が、各物体が当該周波数で動くように各物体を画面上に表示する（３０２）。これにより、ユーザーは画面上の物体を見つめることになり、ユーザーの瞳は物体の動きに沿って移動する。

【0032】

次に、瞳位置検出部３０が、時間帯別ユーザーの瞳の位置を検出する（３０３）。

【0033】

次に、周波数検出部４０が、瞳位置検出部３０で検出された時間帯別ユーザーの瞳の位置に基づいて周波数を検出する（３０４）。

【0034】

次に、制御部５０が、情報格納部１０に格納されている各周波数に対応する命令に基づいて、周波数検出部４０で検出された周波数に対応する命令を認識する（３０５）。

【符号の説明】

【0035】

１０：情報格納部 ２０：表示部
３０：瞳位置検出部 ４０：周波数検出部
５０：制御部

【図1】

【図2a】

【図2b】

【図2c】

【図3】