特許 7627946 視点位置表示マークの位置維持装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-30

(45)【発行日】2025-02-07

(54)【発明の名称】視点位置表示マークの位置維持装置

(51)【国際特許分類】

   G06F 3/0484 20220101AFI20250131BHJP

【ＦＩ】

G06F3/0484

【請求項の数】 3

(21)【出願番号】P 2021097677

(22)【出願日】2021-06-11

(65)【公開番号】P2022189214

(43)【公開日】2022-12-22

【審査請求日】2024-03-07

(73)【特許権者】

【識別番号】396020132

【氏名又は名称】株式会社システック

(72)【発明者】

【氏名】香高 孝之

(72)【発明者】

【氏名】大城 巧

(72)【発明者】

【氏名】太田 偉喜

(72)【発明者】

【氏名】坂田 全弘

【審査官】田中 洋行

(56)【参考文献】

【文献】米国特許第０９３３５８１９（ＵＳ，Ｂ１）

【文献】特開平０８－２９０７２６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０１４７２９８（ＵＳ，Ａ１）

【文献】特開２０２０－１５４９０７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９５

(57)【特許請求の範囲】

【請求項1】

制御手段と、前記制御手段に制御される、
閲覧者の顔面を撮影するカメラと、撮影された前記顔面の像から前記閲覧者が見ている表示面上の視点の位置又は視線を検出する視点又は視線検出手段と、前記視点又は視線検出手段の検出結果を視点位置表示マークの位置データに変換する視点位置表示マークの位置データ変換手段と、前記視点位置表示マークの位置データを格納する視点位置表示マークの位置データメモリと、視点位置マーク維持処理手段と、表示手段と、前記表示手段上に表示する表示データを格納する表示データメモリと、前記表示データメモリ内の前記表示データを前記表示手段の表示面に配置し、前記視点位置表示マークを前記視点位置表示マークの位置データに基づいて前記表示手段の前記表示面に配置するデータ合成手段と、を備え、
前記視点位置マーク維持処理手段は、前記カメラからの顔面の像から前記閲覧者が入眠していないか、入眠したかを判別する条件別処理手段を有し、入眠していないと判別した場合は、前記視点位置表示マークを前記閲覧者の視点の位置又は視線の動きに追従して配置し、入眠したと判別した場合は、前記視点位置表示マークの入眠前の時点の位置を覚醒した閲覧者に示すように表示する処理を行うものであり、
前記視点位置マーク維持処理手段は、前記カメラの像から瞼を検出する瞼検出手段と前記瞼の開閉を判断する瞼開閉判断手段を有し、前記条件別処理手段に、前回及び今回の前記瞼の開か閉かの条件を用いて判別処理を行わせるか、又は／及び、前記カメラの像から顔面を検出する顔面検出手段と前記顔面の動きを判断する顔面動き判断手段を有し、前記条件別処理手段に、前記顔面の動きの条件を用いて判別処理を行わせ、
前記視点位置表示マークの複数の時点の位置のデータを更新しながら保存維持することで、前回及び今回の前記瞼の開か閉かの条件により、前記入眠したと判別した場合は、前記視点位置表示マークの入眠前の時点の位置を、前記保存維持された前記位置のデータに基づき覚醒した閲覧者に示し、
前記入眠前の時点の前記位置を覚醒した前記閲覧者に示す場合において、前記視点位置表示マークの外れた位置から前記入眠前の時点の前記位置までの軌跡を表示することを特徴とする視点位置表示マークの位置維持装置。

【請求項2】

前記条件別処理手段は、前記入眠していると判別することにおいて、前記瞼の閉の時間閾値を、０．３秒以上に設定したことを特徴とする請求項１記載の視点位置表示マークの位置維持装置。

【請求項3】

前記条件別処理手段は、前記瞼の開か閉かの条件により前記入眠していると判別することにおいて、
カメラ画像による目の部分の領域の画像の白黒度合いに設けた閾値により行うことを特徴とする請求項１記載の視点位置表示マークの位置維持装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、居眠りにより不明になった表示面上の視点をカーソル等の視点位置表示マークにより維持・回復して表示する視点位置表示マークの位置維持装置に関するものである。

【背景技術】

【0002】

特許文献１から特許文献１４に示す先行技術は、いずれも、表示面を見る閲覧者の視点を検出して、表示面の視点位置にカーソルを配置し、視点の移動に応じてカーソルを移動するものである。技術の初期には、検出するためのカメラは高価であり、容積も大きなものであったので、タッチセンサ等の新たな技術の進歩とともに、使われることなく終ってしまった感がある。その影響もあって、タッチセンサでカーソルを移動することがあっても、視点に応じてカーソルが移動する装置は見かけない。そのような背景の中で、表示面内の文章や図面、表などの表示を見ている場合に、気付いたときにどこを見ていたかが不明になることがよくあり、その結果、何度も読み返したり無駄が多いことがある。これは難しい内容をみていたり、疲労が有ったりするとよく起こる。即ち、一瞬の入眠（居眠り始め）により、記憶を失ってしまい、気が付いても見ていた元の視点位置が分からないのである。
このような不具合を救済して閲覧の効率を挙げる観点の先行技術は見当たらなかった。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－７３１４７

【文献】特開２０１８－１３９２６

【文献】特開２０１５－１１８５３１

【文献】特開２０１４－２３５７２９

【文献】特開２０１４－６６４０

【文献】特開２０１３－２５５７８１

【文献】特表２０１４－５１４６６１

【文献】特表２０１３－５０６２０９

【文献】特開２０００－１８７５５２

【文献】特開Ｈ１０－３１５４９

【文献】特開Ｈ４－３５０７１５

【文献】特開Ｈ４－２０５６１７

【文献】特開Ｈ２－２１６５２０

【文献】特開Ｓ６２－１９６７２３

【発明の概要】

【発明が解決しようとする課題】

【0004】

本願の課題は、入眠から覚醒した時に、入眠前にあった視点位置を維持するようにカーソル等の視点位置表示マークで示すことで、閲覧者が、覚醒時に無駄無く閲覧を続行することができる視点位置表示マークの位置維持装置を提供することである。

【課題を解決するための手段】

【0005】

以下請求項に沿い記述する。
請求項１記載の発明は、視点位置表示マークの位置維持装置であって、
制御手段と、前記制御手段に制御される、
閲覧者の顔面を撮影するカメラと、撮影された前記顔面の像から前記閲覧者が見ている表示面上の視点の位置又は視線を検出する視点又は視線検出手段と、前記視点又は視線検出手段の検出結果を視点位置表示マークの位置データに変換する視点位置表示マークの位置データ変換手段と、前記視点位置表示マークの位置データを格納する視点位置表示マークの位置データメモリと、視点位置マーク維持処理手段と、表示手段と、前記表示手段上に表示する表示データを格納する表示データメモリと、前記表示データメモリ内の前記表示データを前記表示手段の表示面に配置し、前記視点位置表示マークを前記視点位置表示マークの位置データに基づいて前記表示手段の前記表示面に配置するデータ合成手段と、を備え、
前記視点位置マーク維持処理手段は、前記カメラからの顔面の像から前記閲覧者が入眠していないか、入眠したかを判別する条件別処理手段を有し、入眠していないと判別した場合は、前記視点位置表示マークを前記閲覧者の視点の位置又は視線の動きに追従して配置し、入眠したと判別した場合は、前記視点位置表示マークの入眠前の時点の位置を覚醒した閲覧者に示すように表示する処理を行うものであり、
前記視点位置マーク維持処理手段は、前記カメラの像から瞼を検出する瞼検出手段と前記瞼の開閉を判断する瞼開閉判断手段を有し、前記条件別処理手段に、前回及び今回の前記瞼の開か閉かの条件を用いて判別処理を行わせるか、又は／及び、前記カメラの像から顔面を検出する顔面検出手段と前記顔面の動きを判断する顔面動き判断手段を有し、前記条件別処理手段に、前記顔面の動きの条件を用いて判別処理を行わせ、
前記視点位置表示マークの複数の時点の位置のデータを更新しながら保存維持することで、前回及び今回の前記瞼の開か閉かの条件により、前記入眠したと判別した場合は、前記視点位置表示マークの入眠前の時点の位置を、前記保存維持された前記位置のデータに基づき覚醒した閲覧者に示し、
前記入眠前の時点の前記位置を覚醒した前記閲覧者に示す場合において、前記視点位置表示マークの外れた位置から前記入眠前の時点の前記位置までの軌跡を表示することを特徴とする。

【0006】

請求項２記載の発明は、請求項１記載の視点位置表示マークの位置維持装置において、
前記条件別処理手段は、前記入眠していると判別することにおいて、前記瞼の閉の時間閾値を、０．３秒以上に設定したことを特徴とする。

【0007】

請求項３記載の発明は、請求項１記載の視点位置表示マークの位置維持装置において、
前記条件別処理手段は、前記瞼の開か閉かの条件により前記入眠していると判別することにおいて、
カメラ画像による目の部分の領域の画像の白黒度合いに設けた閾値により行うことを特徴とする。

【発明の効果】

【0008】

以上の様に構成されているので、本発明による視点位置表示マークの位置維持装置では、入眠から覚醒した時に、入眠前にあった視点位置を維持するようにカーソル等の視点位置表示マークで示すことで、閲覧者が、覚醒時に無駄無く閲覧を続行することができる。

【図面の簡単な説明】

【0009】

【図1】本発明にかかる視点位置表示マークの位置維持装置の構成の一実施態様を示す図である。

【図2】本発明にかかる視点位置表示マークの位置維持装置の動作フローの一実施態様を示す図である。

【図3】本発明にかかる視点位置表示マークの位置維持装置の条件別処理手段の動作の一実施態様を説明する図である。

【図4】本発明にかかる視点位置表示マークの位置維持装置の動作による表示面上の視点位置表示マークの動きを説明する図である。

【図5】本発明にかかる視点位置表示マークの位置維持装置の構成の一部を変更した他の実施態様を示す図である。

【図6】本発明にかかる視点位置表示マークの位置維持装置の動作フローで図５の例に対応した他の実施態様を示す図である。

【発明を実施するための形態】

【0010】

図１は、本発明にかかる視点位置表示マークの位置維持装置の構成の一実施態様を示す図である。視点位置表示マークの位置維持装置１００は、閲覧者の顔面を撮影するカメラ１１０と、顔面の像から閲覧者の目が見ている表示面上の位置又は視線を検出する視点又は視線検出手段１２０と、視点又は視線検出手段１２０の検出結果を視点位置表示マークの位置データに変換する視点位置表示マークの位置データ変換手段１３０と、視点位置表示マークの位置データを格納する視点位置表示マークの位置データメモリ１４０と、視点位置マーク維持処理手段１５０と、表示手段１６０と、表示手段１６０上に表示する表示内容を格納する表示データメモリ１７０と、表示データメモリ内のデータを表示手段１６０の表示面に配置し、視点位置表示マークを視点位置表示マークの位置データに基づいて表示手段１６０の表示面に配置するデータ合成手段１８０と、これらを制御する制御手段１９０と、を備えている。

【0011】

ここで、 目の位置又は視線検出手段１２０と視点位置表示マークの位置データ変換手段１３０は、特許文献１から特許文献１４に沢山の例を見ることができ、先行技術が使用できるので、詳しい説明を省くが、１つの例を挙げると、準備操作として、表示面中央、両端、上下端に視点位置表示マークを一旦表示しておいて、それを閲覧者に見て貰い、カメラ１１０で撮影した各位置毎の顔面の特徴点（目や口、鼻、眉毛、顔自体など）のわずかな動きによる位置を基準にして、実際の各顔面位置に対する視点位置表示マークの位置を決めるという手段により構成が可能である。なお、都合がよいことに、視点位置表示マークの位置の維持は、その特徴としてどの辺りを見ていたかが分かればよいので、少々の位置誤差は問題にならないのである。

【0012】

視点位置マーク維持処理手段１５０は、カメラ１１０からの顔面の像から閲覧者の瞼を検出する瞼検出手段１５１と、瞼検出手段１５１で検出した閲覧者の瞼の開閉の判断と閉時間または開→閉→開の往復時間を判断する瞼開閉判断手段１５２と、瞼開閉判断手段１５２の判断結果と前回の判断結果の条件を用いて条件別処理手段１５３に視点位置表示マークの位置の判断処理を行わせている。
更に、視点位置マーク維持処理手段１５０は、閲覧者の顔面を検出する顔面検出手段１５５と顔面動き判断手段１５６を備えて、その結果として顔面の動きの条件を用いて条件別処理手段１５３に視点位置表示マークの位置の判断処理を行わせている。
条件別処理手段１５３の動作は、条件とともに後述される。
尚、図１の例では、瞼開閉判断データメモリ１５４を有して、
瞼開閉判断手段１５２の判断結果である、瞼が「開」か「閉」かのデータを格納しているので、瞼開閉判断手段１５２は１つ（又は１回の処理）でよく、又、格納データも開閉に対応して「１」か「０」のデータでよいので、前の開閉データを利用するに好都合である。
これに対して、後述する図６も可能である。

【0013】

図３は、本発明にかかる視点位置表示マークの位置維持装置の条件別処理手段１５３の動作の一実施態様を説明する図である。３－Ａでは、瞼の開閉のみで条件別処理を行う場合、３－Ｂでは、瞼の開閉と顔面の動きをもとに条件別処理を行う場合である。
尚、図では、示さないが、当然ながら、顔面の動きのみで条件別処理を行う場合も可能である。
両者において共通して、０．３秒未満の瞼閉は瞬きとして、入眠していないとして扱うことである。従って、入眠と判断する瞼閉の時間閾値を０．３秒以上に設定することが好ましい。当然ながら、カメラは、時間閾値を考慮して適当な時間間隔（０．１秒、１秒など）又は常時（連続で）撮影して瞼開閉を判断している。
尚、時間閾値設定の代わりに、以下の対応も可能である。瞼開閉の判断は、例えば、カメラ画像による目の部分の領域の瞼開閉による白黒（明暗）の度合いで判断することができるが、適当な時間間隔で、適当な時間のみカメラのシャッタを開け撮影した場合、目の部分の領域において、瞼開の条件では、黒目が支配的で黒さが勝り、瞼閉の条件では、黒目が瞼で隠されるので、白さが勝ることになる。この結果、単なる瞬きよりも入眠では、白黒の度合いが白い方に大きいことになる。このことを利用すると、単なる時間閾値ではなく、カメラ画像による目の部分の領域の画像の白黒度合いに閾値（第一の白黒度合い閾値と呼称）を設けることも可能であり、時間閾値と同じ作用が可能である。
又、同様に、適当な時間間隔で撮影するカメラのシャッタスピードを瞬きより速くする（例、１／１００秒）と、瞬きの動きは、それより遅い動きになり解像が十分でなく(映らない）なるが、入眠の瞼閉状態では、閉状態が十分ながく解像するため、白黒度合いに上記とは別の閾値（第二の白黒度合い閾値と呼称）を設けることも可能である。尚、請求項に記述の白黒度合いに設けた閾値は、第一の白黒度合い閾値、第二の白黒度合い閾値のいずれかをさすものとする。
３－Ａにおいて、瞼の開閉（時間を含めて）を今回と前回の状態から、１）から４）の場合に応じて右の条件別処理を行うものとする。例えば、２）では、前回が瞼開、今回は、５秒の瞼閉だとすると、瞬き（０．３秒未満）ではない入眠行動と判断し、視点位置表示マークの位置保存を行う。覚醒した場合に後で位置を回復や維持することに使用するためである。
３－Ｂにおいて、Ａ．視点が入眠（眠気）で外れた場合と意図的に外した場合の特徴的差異として、入眠（眠気）で視点が外れた場合と意図的に視点を外した場合に分けて、差異をまとめた。さらに、瞬間睡眠と入眠の特徴を種々の研究結果を参照した。Ｂにはその結果として判断条件と条件別処理を示した。３－Ａの瞼の開閉だけの判断と処理より、３－Ｂの瞼の開閉に顔面の動きが加わった判断と処理の方が細やかな対応が可能であることは当然である。（２）の「ガクン」と急激に顔面を落とす行動があった場合を除き、瞼開では入眠行動としない記述や、偶々横をみるとかで視線が外れた場合の記述、（３）の記述などは、顔面の動きを考慮した条件となっている。なお、瞼の開閉を条件に入れず、顔面が「ガクン」と急激に落ちることだけを条件とすることもできるが、落ちないで入眠する場合も多いので、精度は悪い。

【0014】

図２は、本発明にかかる視点位置表示マークの位置維持装置の動作フローの一実施態様を示す図である。図２は、特に図１に対応したフローとなっている。
＃１ 顔面のカメラ撮影に基づいて、＃２ａ 瞼検出から ＃３ａ瞼開閉判断 ＃４ａ瞼開閉判断データ格納、
同様に、＃１ 顔面のカメラ撮影に基づいて、＃２ｂ視点検出から＃３ｂ視点位置表示マークの位置変換、＃４ｂ視点位置表示マークの位置データ格納、
顔面の動きを考慮した場合には、同様に、＃１ 顔面のカメラ撮影に基づいて、＃２ｃ顔面検出から＃３ｃ顔面動き判断を実施し、
各結果により＃５条件別処理（条件判断による視点位置表示マークの位置表示と維持処理）を行う。このフローに基づき適時の間隔で繰り返し行われる。

【0015】

図４は、本発明にかかる視点位置表示マークの位置維持装置の動作による表示面上の視点位置表示マークの動きを説明する図である。４－Ａ、４－Ｂ、４－Ｃでは横書きの文章の場合での例であり、４－Ａでは、本願の技術を適用しない場合に対応する。〇で囲まれた視点位置表示マークは点線で示したが、実際には何も表示されていない。視点とは無関係にカーソルが位置している。４－Ａ以外は、本願を適用した場合に対応する。４－Ｂでは、正常時の視点位置表示マークと示したように、行に沿って見ている場合に、最後に、行を下に外れてしまった場合の例である。意図的に下を見るため下に外した場合は、意識があるため、閲覧者は、自らの意志でどこにでも視点を移動させることができ、戻ることが可能である。又、視点の移動により、視点位置表示マークも視点に対応してどこにでも復帰する。
ところが、行を下に外れたことが、意図しない睡眠が原因の場合は、意識がないので、従来だと、戻り先が分からない。
どこを見ていたか分からずに、あっちこっちを読む無駄が多くなる。このような場合も容易に戻れるように、本願の技術では、視点の戻り先（その経過点を含むと認識容易となる）を示してくれる。特に、視線の意図的移動と入眠の意図しない移動では、前者は、「ガクン」と急激に動く後者に比べ、ゆっくりしていることもあり、また、自己復元可能なので、対処は特別不要だが、後者は、自己復元が不能なので、視点位置表示マークの位置データメモリ１４０に格納された正常時の視点位置表示マークの位置を示して閲覧者に提供することは、有益である。尚、４－Ｃのように、正常時の視点位置表示マークの位置を保留維持して、入眠時の視点位置表示マークの移動を表示しないことも可能である。さらに、顔面の移動がない場合は、４－Ｃのように視点位置表示マークの位置が維持されているので、自己復元でき支障がない。

【0016】

４－Ｄと４－Ｅは、縦書きの文章の場合の例である。４－Ｄは、４－Ｂに対応し、４－Ｅは、４－Ｃに対応している。４－Ｄと４－Ｅにおいて、
横書きの場合との差異は、正常時の支点の移動が縦方向に動いていることで、入眠よる「ガクン」と急激に下への速い動きも、その他の説明も同じなので他の説明は省く。
尚、視点位置表示マークの位置が維持の為には、視点位置表示マークの複数の時点の位置のデータを更新しながら常時保存維持することを行い、入眠した場合は、何時でも復元できるようにすることが好ましい。
更に、視点位置表示マークは、表示面で何かの操作を行う場合の所謂カーソルであってもよいし、視点を表示するのが目的なので、カーソルとは別にあってもよいことは当然である。図４では、別にある場合を示している。

【0017】

図５は、本発明にかかる視点位置表示マークの位置維持装置の構成の一部を変更した他の実施態様を示す図である。視点位置マーク維持処理手段１５０内の構成において、５－Ａは、図１に示した構成の部分と同じであり、その部分を変形したのが５－Ｂである。瞼開閉判断データメモリ１５４に代わり瞼データメモリ１５４ｂがあり、瞼検出手段１５１の結果をそのまま格納する。両者を比較すると、５－Ｂでは前回瞼開閉判断手段１５２ｂを追加したように、瞼開閉判断手段１５２と同じ処理を前回データに行うことになること、メモリ内に格納されるデータは、５－Ａでは、１か０の値、５－Ｂででは、瞼データであるため、ややデータ量が多いことで、５－Ａの方が利点がある。

【0018】

図６は、本発明にかかる視点位置表示マークの位置維持装置の動作フローで図５の例に対応した他の実施態様を示す図である。＃２ａ瞼検出の後、＃３ｄの瞼データ格納、＃４ｄ瞼開閉判断／前回・今回があるところが、図２との違いである。

【0019】

尚、本願視点位置表示マークの位置維持装置は、閲覧者が表示位置を所用により席を外す場合に、視点を保持して、瞼を入眠に対応する時間だけ閉じて（装置に仮想的に入眠と判断させ）、目を外し、席を外して、復帰すると、席を外す前の視点位置が回復するので、入眠時以外での効果も期待できる。
更に、パーソナルコンピュータ（ＰＣ）やタブレットＰＣのように、スマートフォンも表示面側にカメラを備えるか、表示面の裏側を向いているカメラを表裏反転する手段を備えると、このカメラをカメラ１１０として使用できる。

【産業上の利用可能性】

【0020】

以上のように本発明にかかる視点位置表示マークの位置維持装置は、入眠から覚醒した時に、入眠前にあった視点位置を維持するようにカーソル等の視点位置表示マークで示すことで、閲覧者が、覚醒時に無駄無く閲覧を続行することができるので産業上利用して極めて好都合である。

【0021】

１００ 視点位置表示マークの位置維持装置
１１０ カメラ
１２０ 視点又は視線検出手段
１３０ 視点位置表示マークの位置データ変換手段
１４０ 視点位置表示マークの位置データメモリ
１５０ 視点位置マーク維持処理手段
１５１ 瞼検出手段
１５２ 瞼開閉判断手段
１５２ｂ 前回瞼開閉判断手段
１５３ 条件別処理手段
１５４ 瞼開閉判断データメモリ
１５４ｂ 瞼データメモリ
１５５ 顔面検出手段
１５６ 顔面動き判断手段
１６０ 表示手段
１７０ 表示データメモリ
１８０ データ合成手段
１９０ 制御手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】