知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-29
(45)【発行日】2024-02-06
(54)【発明の名称】表示面内の表示位置移動指示システム
(51)【国際特許分類】
G06F 3/0485 20220101AFI20240130BHJP
G06F 3/0346 20130101ALI20240130BHJP
G06F 3/01 20060101ALI20240130BHJP
G06T 7/20 20170101ALI20240130BHJP
【ＦＩ】
G06F3/0485
G06F3/0346 422
G06F3/01 510
G06T7/20 300Z
【請求項の数】
3
(21)【出願番号】P 2021082052
(22)【出願日】2021-05-14
(65)【公開番号】P2022175546
(43)【公開日】2022-11-25
【審査請求日】2023-01-16
(73)【特許権者】
【識別番号】396020132
【氏名又は名称】株式会社システック
(72)【発明者】
【氏名】香高 孝之
(72)【発明者】
【氏名】大城 巧
(72)【発明者】
【氏名】太田 偉喜
【審査官】田川 泰宏
(56)【参考文献】
【文献】特開２００８－０１５９４２（ＪＰ，Ａ）
【文献】特開２０１６－０９９９５９（ＪＰ，Ａ）
【文献】特開２０２１－０３６３０４（ＪＰ，Ａ）
【文献】特開２００９－０３１３６８（ＪＰ，Ａ）
【文献】特開平０５－１４３２７３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１－３／０４８９５
Ｇ０６Ｔ ７／２０
(57)【特許請求の範囲】
【請求項1】
利用者の身体と別体に利用者の前にある表示装置の画面の切り替え操作と画面内のスクロール操作を手指を使わないで行うシステムであって、前記表示装置は、表示内容を表示する表示手段と、表示内容構造データ格納手段と、前記利用者の動きを検出する動き検出手段であるカメラと、前記カメラで常時取り込んだ画面内の前記利用者の顔面から特徴点を抽出する特徴点抽出手段と、
前記抽出した前記特徴点をもとに前記利用者の動きを判定する動き判定手段と、前記判定の結果により、前記表示内容構造データ格納手段の表示内容構造データを参照して、前記表示手段に表示された前記表示内容を移動し、又は、表示内容を表示するウィンドウを移動することを行う表示移動手段と、これら全ての動作を制御する制御手段と、を備え、
前記動き判定手段は、前記利用者の顔面の動きが、上下又は左右の動きの１回半又は２回の連続繰り返し、且つ、２秒以内、且つ、前記利用者の顔面の動きに対応する前記画面上での前記利用者が見ている視点間の距離が動き方向の画面幅の１／８以上である動きを単位にした判定の条件として、前記表示移動手段を駆動していることを特徴とする表示面内の表示位置移動指示システム。
【請求項2】
前記判定の条件は、連続しない１回の顔面の動きは、前記駆動をしないで前記顔面の動きが無かったものとし、又は、前記単位の顔面の動きに最後に１回の顔面の動きが加わった場合、最後の１回の顔面の動きでは前記駆動をしないで顔面の動きは無かったものとすることを特徴とする請求項１記載の表示面内の表示位置移動指示システム。
【請求項3】
前記判定条件の顔面の動き以外の意図的動きの付加の有無により、前記画面の切り替え操作と前記画面内の前記スクロール操作を区別したことを特徴とする請求項１又は請求項２に記載の表示面内の表示位置移動指示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示面内の表示位置移動指示システムに関するものである。
【背景技術】
【0002】
表示に関する先願として、以下記述する。
特許文献１は、表示面内に複数のウィンドウ（画面）があり、重なっているときにおいて、下にあるウィンドウを一時上にもってきて処理し、再度、上にあったもので一時的に上でなくなったウィンドウを上に戻すなどのウィンドウの上下操作を容易にするとき、操作者の頭部の位置と表示面の位置範囲とウィンドウを対応させる定義を行うことで、座標範囲▲１▼では、ウィンドウ１が注目物体に、座標範囲▲２▼では、ウィンドウ２が注目物体に、座標範囲▲３▼では、ウィンドウ３が注目物体に、座標範囲▲４▼では、ウィンドウ４が注目物体に、して、表示面の一番前に出す指示を行うものである。頭部動作検出装置で検出した頭部の位置に対応した座標範囲が▲２▼では、ウィンドウ２が前面に出される処理が行われる。頭部動作検出装置は、頭部に付けた、磁気センサ、超音波センサ、ジャイロセンサ、光学センサで構成されるが、カメラで頭部の撮影でもよく、頭部の位置や角度を検出できればよい主旨が記述されている。頭部動作検出装置によって、頭部がどの座標範囲に向いているかを検出して、注目のウィンドウを特定し、前面にだす技術である。目的と技術内容が本願とは違うので当然であるが、本願の意図は、頭部の位置や角度を検出しても達成されない。また、これでは、不用意に見ている場合でもウィンドウが選出されてしまう欠点がある。
特許文献１は、表示面内に複数のウィンドウ（画面）があり、重なっているときにおいて、下にあるウィンドウを一時上にもってきて処理し、再度、上にあったもので一時的に上でなくなったウィンドウを上に戻すなどのウィンドウの上下操作を容易にするとき、操作者の頭部の位置と表示面の位置範囲とウィンドウを対応させる定義を行うことで、座標範囲▲１▼では、ウィンドウ１が注目物体に、座標範囲▲２▼では、ウィンドウ２が注目物体に、座標範囲▲３▼では、ウィンドウ３が注目物体に、座標範囲▲４▼では、ウィンドウ４が注目物体に、して、表示面の一番前に出す指示を行うものである。頭部動作検出装置で検出した頭部の位置に対応した座標範囲が▲２▼では、ウィンドウ２が前面に出される処理が行われる。頭部動作検出装置は、頭部に付けた、磁気センサ、超音波センサ、ジャイロセンサ、光学センサで構成されるが、カメラで頭部の撮影でもよく、頭部の位置や角度を検出できればよい主旨が記述されている。頭部動作検出装置によって、頭部がどの座標範囲に向いているかを検出して、注目のウィンドウを特定し、前面にだす技術である。目的と技術内容が本願とは違うので当然であるが、本願の意図は、頭部の位置や角度を検出しても達成されない。また、これでは、不用意に見ている場合でもウィンドウが選出されてしまう欠点がある。
【0003】
特許文献２、特許文献３は、利用者の頭部に付けて使用するＨＭＤ（ヘッドマウントディスプレー）の画面の切り替え操作と画面のスクロール操作を行わせるものであるが、頭部の動きと頭部に付けなければならないＨＭＤの動きは当然一体になることを利用しているので、ＨＭＤに角速度センサ、加速度センサを設備して頭部の動作の角速度を検出する。検出される角速度の大きさに複数の閾値を定める。例えば、Ｔｈ １ ＝７０～８０°／ｓ 、Ｔｈ ２ ＝２５～３５°／ｓ、Ｔｈ３、Ｔｈ ４ ＝０°／ｓの近傍か、あるいは０°／ｓとするというようにし、閾値Ｔｈ １ は、利用者が画面の切り替え操作を指示し、閾値Ｔｈ ２ は、利用者 が画面のスクロール操作を指示する場合に利用する。
Ｔｈ １ と、Ｔｈ ２ とは、上下左右、それぞれの方向について、それぞれ所定の値が定められている。 Ｔｈ １ と、Ｔｈ ２ とは、上下左右のうち、頭部動作の容易な方向（ここでは、下方向と 右方向）には、それぞれの逆方向よりも大きな値が定められている。
閾値Ｔｈ ３ は、画面のスクロール処理を、閾値Ｔｈ ４ は画面の切り替え処理を終了させるために設けられる所定の値である。
ＨＭＤという特殊な装置に対応した手段であるが、ＨＭＤでない装置以外を対象にすると、角速度センサの設置は余分であり、更に、以下の大きな欠点がある。即ち、利用者は、頭部の動きを各閾値ＴＨを意識（複数の角速度の覚える必要がある）して曖昧な動きを回避しなければならず余分な注意をする必要があり、そうでないと、誤り動作をしてしまう。又、１回の動きから角速度で判断するため、１回の意図しない頭部の動きにより誤り判断になりやすい。特に、動作が速いゲーム画面をみるＨＭＤでは、居眠りも起こりにくいが、ＨＭＤでない場合での文章表示面を見ている場合を想定すると、一瞬の居眠りも起こりやすく、当然、その瞬間に意図しない頭部の動きがあり、それによる誤り動作を起こすことは明らかで、特許文献２、３の手段は、ＨＭＤ以外の装置では難しい、ＨＭＤならではの手段といえる。
Ｔｈ １ と、Ｔｈ ２ とは、上下左右、それぞれの方向について、それぞれ所定の値が定められている。 Ｔｈ １ と、Ｔｈ ２ とは、上下左右のうち、頭部動作の容易な方向（ここでは、下方向と 右方向）には、それぞれの逆方向よりも大きな値が定められている。
閾値Ｔｈ ３ は、画面のスクロール処理を、閾値Ｔｈ ４ は画面の切り替え処理を終了させるために設けられる所定の値である。
ＨＭＤという特殊な装置に対応した手段であるが、ＨＭＤでない装置以外を対象にすると、角速度センサの設置は余分であり、更に、以下の大きな欠点がある。即ち、利用者は、頭部の動きを各閾値ＴＨを意識（複数の角速度の覚える必要がある）して曖昧な動きを回避しなければならず余分な注意をする必要があり、そうでないと、誤り動作をしてしまう。又、１回の動きから角速度で判断するため、１回の意図しない頭部の動きにより誤り判断になりやすい。特に、動作が速いゲーム画面をみるＨＭＤでは、居眠りも起こりにくいが、ＨＭＤでない場合での文章表示面を見ている場合を想定すると、一瞬の居眠りも起こりやすく、当然、その瞬間に意図しない頭部の動きがあり、それによる誤り動作を起こすことは明らかで、特許文献２、３の手段は、ＨＭＤ以外の装置では難しい、ＨＭＤならではの手段といえる。
【0004】
利用者の身体と別体に利用者の前にある表示装置では、表示装置内の複数の表示ウィンドウの間で、手前に表示するウィンドウの切り替えや、ウィンドウ内の記述の上下左右の移動（スクロール）は、パーソナルコンピュータでは、マウスなどで指示し、パーソナルディジタルアシスタント（ＰＤＡ）では、タッチセンサを有する表示面を指で触れて操作して動作を指示していて極めて便利である。更に、声で指示することもでき、これも便利である。しかしながら、いつものは、この便利なやり方で良いが、この便利な装置も使用していると、時として、つい、「触らずに、指も使わずに、声も出さずに（静かに）」同じ指示をしたい場合がある。例えば、横臥状態、特に寝具の中で、スマートフォン等のＰＤＡを見ていると、指示のためにわざわざ腕を出したくない、机上に腕を載せ乍ら、机上のパーソナルコンピュータの表示面の文面を見ている場合に、腕を動かさないで、上記指示と動作ぐらいできないかと、横着にも思ってしまうことが多い。又、声でも指示も便利だが、傍に他人がいる場合は、声での指示はしたくない。このような要求には、特許文献の例を含め、先の例では、対応が出来ていないのが実情と思われる。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２００４－１９２３０６
【文献】特開２００９－１２３０４２
【文献】特開２０１２－１２３８１２
【発明の概要】
【発明が解決しようとする課題】
【0006】
本願の課題は、利用者の身体と別体に利用者の前にある表示装置の画面の切り替え操作と画面のスクロール操作を手指を使わず、容易な動作で、指示動作の誤りを排除して、カメラ以外の特別な手段を使わずに行うことのできる表示面内の表示位置移動指示システムを提供することである。
【課題を解決するための手段】
【0007】
以下請求項に沿い記述する。
請求項１記載の発明は、表示面内の表示位置移動指示システムであって、
利用者の身体と別体に利用者の前にある表示装置の画面の切り替え操作と画面内のスクロール操作を手指を使わないで行うシステムであって、
前記表示装置は、表示内容を表示する表示手段と、表示内容構造データ格納手段１４０と、前記利用者の動きを検出する動き検出手段であるカメラと、前記カメラで常時取り込んだ画面内の前記利用者の顔面から特徴点を抽出する特徴点抽出手段と、
前記抽出した前記特徴点をもとに前記利用者の動きを判定する動き判定手段と、前記判定の結果により、前記表示内容構造データ格納手段の表示内容構造データを参照して、前記表示手段に表示された前記表示内容を移動し、又は、表示内容を表示するウィンドウを移動することを行う表示移動手段と、これら全ての動作を制御する制御手段と、を備え、
前記動き判定手段は、前記利用者の顔面の動きが、上下又は左右の動きの１回半又は２回の連続繰り返し、且つ、２秒以内、且つ、前記利用者の顔面の動きに対応する前記画面上での前記利用者が見ている視点間の距離が動き方向の画面幅の１／８以上である動きを単位にした判定の条件として、前記表示移動手段を駆動していることを特徴とする。
請求項１記載の発明は、表示面内の表示位置移動指示システムであって、
利用者の身体と別体に利用者の前にある表示装置の画面の切り替え操作と画面内のスクロール操作を手指を使わないで行うシステムであって、
前記表示装置は、表示内容を表示する表示手段と、表示内容構造データ格納手段１４０と、前記利用者の動きを検出する動き検出手段であるカメラと、前記カメラで常時取り込んだ画面内の前記利用者の顔面から特徴点を抽出する特徴点抽出手段と、
前記抽出した前記特徴点をもとに前記利用者の動きを判定する動き判定手段と、前記判定の結果により、前記表示内容構造データ格納手段の表示内容構造データを参照して、前記表示手段に表示された前記表示内容を移動し、又は、表示内容を表示するウィンドウを移動することを行う表示移動手段と、これら全ての動作を制御する制御手段と、を備え、
前記動き判定手段は、前記利用者の顔面の動きが、上下又は左右の動きの１回半又は２回の連続繰り返し、且つ、２秒以内、且つ、前記利用者の顔面の動きに対応する前記画面上での前記利用者が見ている視点間の距離が動き方向の画面幅の１／８以上である動きを単位にした判定の条件として、前記表示移動手段を駆動していることを特徴とする。
【0008】
請求項２記載の発明は、請求項１記載の表示面内の表示位置移動指示システムにおいて、
前記判定の条件は、連続しない１回の顔面の動きは、前記駆動をしないで前記顔面の動きが無かったものとし、又は、前記単位の顔面の動きに最後に１回の顔面の動きが加わった場合、最後の１回の顔面の動きでは前記駆動をしないで顔面の動きは無かったものとすることを特徴とする。
前記判定の条件は、連続しない１回の顔面の動きは、前記駆動をしないで前記顔面の動きが無かったものとし、又は、前記単位の顔面の動きに最後に１回の顔面の動きが加わった場合、最後の１回の顔面の動きでは前記駆動をしないで顔面の動きは無かったものとすることを特徴とする。
【0009】
請求項３記載の発明は、請求項１又は請求項２に記載の表示面内の表示位置移動指示システムにおいて、前記判定条件の顔面の動き以外の意図的動きの付加の有無により、前記画面の切り替え操作と前記画面内の前記スクロール操作を区別したことを特徴とする。
【発明の効果】
【0010】
以上の様に構成されているので、本発明による表示位置移動指示システムでは、手指や音声の指示に寄らずに容易に表示装置の画面の切り替え操作と画面のスクロール操作が行える。
【図面の簡単な説明】
【0011】
【図1】本発明にかかる表示位置移動指示システムの一実施態様を示す図である。
【図2】本発明にかかる表示位置移動指示システムの動作フローの一実施態様を示す図である。
【図3】本発明にかかる表示位置移動指示システムの動作のための量的関連を説明する図である。
【図4】本発明にかかる表示位置移動指示システムの顔面の動き判定の条件を説明する図である。
【発明を実施するための形態】
【0012】
図１は、本発明にかかる表示位置移動指示システムの一実施態様を示す図である。
課題に示したように、利用者の身体と別体に利用者の前にある表示装置の画面の切り替え操作と画面のスクロール操作を手指を使わないで行うシステムであり、利用者は何も身に着けることはなく、利用（見る）する表示装置側は、利用者の動きを検出する動き検出手段１１０(ここではカメラ）と、動き検出手段１１０で常時取り込んだ画面内の利用者の顔面から特徴点（例えば、目、鼻、口、眉毛、あご、額、耳、顔面輪郭など）を抽出する特徴点抽出手段１２０と、抽出した特徴点をもとに利用者の動きを判定する動き判定手段１３０と、表示内容構造データ格納手段１４０と、これに格納された表示内容の構造データを参照し、動き判定の結果を受けて、表示内容を移動し、又は、表示内容を表示するウィンドウを特定し移動することを行う表示移動手段１５０と、表示内容を表示する表示手段１６０と、これら全ての動作を制御する制御手段１７０と、を備えている。ここで、特徴点抽出手段１２０は、顔認証のように個人を区別する必要はなく、顔の目、鼻、口、眉毛、あご、額、耳、顔面輪郭などの部分を検出するためなので、部分の輪郭形状の動きによる差異だけを見ればよく難しくはない。例えば、プログラミング言語PythonのOpenCV（オープンソースライブラリ）のHaar-cascade（顔検出）やAppleが提供しているフレームワークCore MLとVisionなど多くの先行技術が利用できる。表示内容構造データ格納手段１４０内のデータは、画面内の表示ウィンドウの区別、各ウィンドウ内の表示内容の縦横など文字列並び、文字数、列数、表、画像などの構造データであり、これを参照して表示移動手段１５０の移動が適正に行われる。
課題に示したように、利用者の身体と別体に利用者の前にある表示装置の画面の切り替え操作と画面のスクロール操作を手指を使わないで行うシステムであり、利用者は何も身に着けることはなく、利用（見る）する表示装置側は、利用者の動きを検出する動き検出手段１１０(ここではカメラ）と、動き検出手段１１０で常時取り込んだ画面内の利用者の顔面から特徴点（例えば、目、鼻、口、眉毛、あご、額、耳、顔面輪郭など）を抽出する特徴点抽出手段１２０と、抽出した特徴点をもとに利用者の動きを判定する動き判定手段１３０と、表示内容構造データ格納手段１４０と、これに格納された表示内容の構造データを参照し、動き判定の結果を受けて、表示内容を移動し、又は、表示内容を表示するウィンドウを特定し移動することを行う表示移動手段１５０と、表示内容を表示する表示手段１６０と、これら全ての動作を制御する制御手段１７０と、を備えている。ここで、特徴点抽出手段１２０は、顔認証のように個人を区別する必要はなく、顔の目、鼻、口、眉毛、あご、額、耳、顔面輪郭などの部分を検出するためなので、部分の輪郭形状の動きによる差異だけを見ればよく難しくはない。例えば、プログラミング言語PythonのOpenCV（オープンソースライブラリ）のHaar-cascade（顔検出）やAppleが提供しているフレームワークCore MLとVisionなど多くの先行技術が利用できる。表示内容構造データ格納手段１４０内のデータは、画面内の表示ウィンドウの区別、各ウィンドウ内の表示内容の縦横など文字列並び、文字数、列数、表、画像などの構造データであり、これを参照して表示移動手段１５０の移動が適正に行われる。
【0013】
動き判定手段１３０は、特徴点抽出手段１２０から利用者の顔面（首を含んでもよい）の特徴点である部分データの動きを、動きに関連付けて予め定められた判定条件により判定して、表示移動手段１５０を動作させる。ここで、動き判定手段１３０の判定条件は、利用者が表示移動手段１５０を動作させる目的で意図的に行った顔面の動きであり、意図的でない顔面の動きは排除することが必要であり、そのために、意図的な顔面の動きの判定条件として、次の特徴付を行ったものである。
１）２回連続し繰り返した顔面の動きとする。１回の動きは、動作に反映しない。従って、１回の上下、又は左右間の顔面の動きは、対象にならない。連続の定義は、２秒以内（通常１秒）で２回上下動又は左右動がなされること。尚、後で述べるように、１回半の動きも２回の動きに含むものとする。
２）時間的に間が開いた顔面移動は、動作に反映しない。そのために、２回連続の顔面移動の時間に２秒以内の制限を設ける。
３）動きも一定以上の速度と動き距離を備えるものを対象にする。例えば、顔面の動き、従って目の動きによる画面上での視点の動き距離は、画面の１／８以上の動きとする。
４）表示面の上と下、右と左の各位置を正面に見るように向いた顔面の状態により、各位置を特定し、例えば、表示面の下を見た状態で、顔面を２回、上下動すれば、表示面の表示内容が、次のページが来るように上に移動することに定める。逆に、表示面の上を見た状態で、顔面を２回、上下動すれば、表示面の表示内容が、前のページに戻るように下に移動することに定める。勿論、この場合は、表示内容構造データ格納手段１４０内のデータは、上から下にページが構成されていることに対応している。又、表示面の右を見た状態で、顔面を２回、上下動（左右動でもよい）すれば、表示面の表示内容が、次のページが来るように左に移動することに定める。逆に、表示面の左を見た状態で、顔面を２回、上下動（左右動でもよい）すれば、表示面の表示内容が、前のページに戻るように右に移動することに定める。勿論、この場合は、表示内容構造データ格納手段１４０のデータは、左から右にページが構成されていることに対応している。
１）２回連続し繰り返した顔面の動きとする。１回の動きは、動作に反映しない。従って、１回の上下、又は左右間の顔面の動きは、対象にならない。連続の定義は、２秒以内（通常１秒）で２回上下動又は左右動がなされること。尚、後で述べるように、１回半の動きも２回の動きに含むものとする。
２）時間的に間が開いた顔面移動は、動作に反映しない。そのために、２回連続の顔面移動の時間に２秒以内の制限を設ける。
３）動きも一定以上の速度と動き距離を備えるものを対象にする。例えば、顔面の動き、従って目の動きによる画面上での視点の動き距離は、画面の１／８以上の動きとする。
４）表示面の上と下、右と左の各位置を正面に見るように向いた顔面の状態により、各位置を特定し、例えば、表示面の下を見た状態で、顔面を２回、上下動すれば、表示面の表示内容が、次のページが来るように上に移動することに定める。逆に、表示面の上を見た状態で、顔面を２回、上下動すれば、表示面の表示内容が、前のページに戻るように下に移動することに定める。勿論、この場合は、表示内容構造データ格納手段１４０内のデータは、上から下にページが構成されていることに対応している。又、表示面の右を見た状態で、顔面を２回、上下動（左右動でもよい）すれば、表示面の表示内容が、次のページが来るように左に移動することに定める。逆に、表示面の左を見た状態で、顔面を２回、上下動（左右動でもよい）すれば、表示面の表示内容が、前のページに戻るように右に移動することに定める。勿論、この場合は、表示内容構造データ格納手段１４０のデータは、左から右にページが構成されていることに対応している。
【0014】
図４は、本発明にかかる表示位置移動指示システムの顔面の動き判定の条件を説明する図である。本発明の表示位置移動指示システムで必須のことは、顔面の動きを居眠りによるものと意図しないもの（このシステムの信号にしない無意識による、他人に呼ばれて振り向く動作や、回りを向いた動作など）と区別して顔面動作を信号にできることである。
図４に示すように、ほとんどの無意識動作では、２回繰り返しの連続性がないこと、居眠り動作では、２回連続がある場合もあるが、無移動の間があるために時間が長いということに注目でき、この観点に基づいた判定条件は、両者との差別が容易である。所定の短い時間内で２回連続することが重要な判定手段となっている。ところで、３回以上繰り返した場合どう扱うかを次に述べると、３回目の１回分は無視される。次に４回目があった場合、その間には時間間隔があるので、無視され、画面の移動はない。画面移動があるのは、新たな４回目に連続した５回目で２回連続の繰り返しを形成した場合である。
このことは、重要なことであって、所定の時間内で２回の連続繰り返しの場合のみ対象にしないと、３回目の１回が残っていると、これに１回意図しない動作があった場合に画面移動になってしまい不都合である。
２回連続繰り返しの顔面移動を連続して複数回行った場合は、いろいろの扱いが可能である。２回単位で、その回数分の画面移動をすることも可能だが、使用者側でも顔面を移動した回数を数えている場合も少ない（面倒な理由で）とすれば、２回ごとに画面を移動して、移動が済んだ後の２回について、追加移動をすることも可能である。
図４に示すように、ほとんどの無意識動作では、２回繰り返しの連続性がないこと、居眠り動作では、２回連続がある場合もあるが、無移動の間があるために時間が長いということに注目でき、この観点に基づいた判定条件は、両者との差別が容易である。所定の短い時間内で２回連続することが重要な判定手段となっている。ところで、３回以上繰り返した場合どう扱うかを次に述べると、３回目の１回分は無視される。次に４回目があった場合、その間には時間間隔があるので、無視され、画面の移動はない。画面移動があるのは、新たな４回目に連続した５回目で２回連続の繰り返しを形成した場合である。
このことは、重要なことであって、所定の時間内で２回の連続繰り返しの場合のみ対象にしないと、３回目の１回が残っていると、これに１回意図しない動作があった場合に画面移動になってしまい不都合である。
２回連続繰り返しの顔面移動を連続して複数回行った場合は、いろいろの扱いが可能である。２回単位で、その回数分の画面移動をすることも可能だが、使用者側でも顔面を移動した回数を数えている場合も少ない（面倒な理由で）とすれば、２回ごとに画面を移動して、移動が済んだ後の２回について、追加移動をすることも可能である。
【0015】
上記の意図的な顔面の動きの条件は、意図的でない動きの特徴を考慮して定めたものである。例えば、１回の動きでは、例えば、他人に呼ばれて顔を向けた、居眠りして顔面が「ガクン」と下がったなど偶々動かしてしまうことがあり、２回の連続にするとそれを回避できるからである。居眠りを考慮すると、２回の連続の条件により、時間的に間が開いた動作は対象としないことになる。対象にするのは意図的な顔面の動きであるから、ゆっくりする必要がないので、不必要なゆっくりの速度の動作も対象にしない。居眠りは、ゆっくりか、動きが小さいか、偶に大きく速く動いても１回の場合が多い。
上記の１）から４）の意図的な顔面の動きの条件を動き判定手段１３０は有していて、これを基準に特徴点抽出手段１２０からの利用者の顔面（首を含んでもよい）の特徴点データの動きを判断して、対応する出力を表示移動手段１５０に送付する。
上記の４）では、ウィンドウ内の表示内容の移動（スクロール）について記述したが、ウィンドウ自体の移動の例として、以下のようにすることが可能である。例えば、上記の２回の連続した顔面移動において、目(両目又は片目）を閉じている（又は目を開閉している）か、口を開いている（又は口パクしている、又は口を尖らせている）など、２回の連続した顔面移動以外の意図的動きの特徴（以下、付加条件と呼称）が加わった場合は、ウィンドウ自体の移動とし、２回の連続した顔面移動だけの場合は、表示内容の移動（スクロール）とする定めとする。尚、複数のウィンドウが表示面に横並びしている場合の選択は、個別のウィンドウの中心位置を正面視した状態で２回連続の顔面移動動作をすることで選択することも可能である。２回連続の顔面移動動作に代わりに、顔面の動きを円を描くことも可能であるが、疲れにより首を回す動作との区別が必要であり、回す動作は、複数回回すのが多いので、区別が速度だけになり、２回連続の顔面移動動作より判定が難しい。
大きく開いたウィンドウの裏面にある、又は小さなアイコンや表示になっている別のウィンドウを表面の大きな表示に切り替える場合は、他の手段を使うことになる。
上記の１）から４）の意図的な顔面の動きの条件を動き判定手段１３０は有していて、これを基準に特徴点抽出手段１２０からの利用者の顔面（首を含んでもよい）の特徴点データの動きを判断して、対応する出力を表示移動手段１５０に送付する。
上記の４）では、ウィンドウ内の表示内容の移動（スクロール）について記述したが、ウィンドウ自体の移動の例として、以下のようにすることが可能である。例えば、上記の２回の連続した顔面移動において、目(両目又は片目）を閉じている（又は目を開閉している）か、口を開いている（又は口パクしている、又は口を尖らせている）など、２回の連続した顔面移動以外の意図的動きの特徴（以下、付加条件と呼称）が加わった場合は、ウィンドウ自体の移動とし、２回の連続した顔面移動だけの場合は、表示内容の移動（スクロール）とする定めとする。尚、複数のウィンドウが表示面に横並びしている場合の選択は、個別のウィンドウの中心位置を正面視した状態で２回連続の顔面移動動作をすることで選択することも可能である。２回連続の顔面移動動作に代わりに、顔面の動きを円を描くことも可能であるが、疲れにより首を回す動作との区別が必要であり、回す動作は、複数回回すのが多いので、区別が速度だけになり、２回連続の顔面移動動作より判定が難しい。
大きく開いたウィンドウの裏面にある、又は小さなアイコンや表示になっている別のウィンドウを表面の大きな表示に切り替える場合は、他の手段を使うことになる。
【0016】
図２は、本発明にかかる表示位置移動指示システムの動作フローの一実施態様を示す図である。表示位置移動指示システムは、以下の順に行われる。
（１）表示装置のカメラで利用者の顔面の動きを常時取り込む
（２）特徴点抽出
（３）動き判定（意図的な顔面の動きの条件により判定）
・条件に合致しない場合は、(１）に戻り、条件に合致すれば、（４）へ
（４）上下左右の位置判断、付加条件の有無判断
（５）文、表、画像を含む表示の移動（スクロール）、又は、ウィンドウの移動、をして１）へ戻る。
（１）表示装置のカメラで利用者の顔面の動きを常時取り込む
（２）特徴点抽出
（３）動き判定（意図的な顔面の動きの条件により判定）
・条件に合致しない場合は、(１）に戻り、条件に合致すれば、（４）へ
（４）上下左右の位置判断、付加条件の有無判断
（５）文、表、画像を含む表示の移動（スクロール）、又は、ウィンドウの移動、をして１）へ戻る。
【0017】
図３は、本発明にかかる表示位置移動指示システムの動作のための量的関連を説明する図である。意図的な顔面の動きの条件により判定する記述を行ったが、その量的な動きはどのようなものであるかを以下に記述する。２回の連続した動きの場合に、
イ、連続したとはどのような条件か（時間間隔）
ロ、動きの速さは
ハ、動きの移動量は
二、表示面の上下左右を見ている場合のカメラから見た特徴点(ここでは目を例にして）の位置は、
について言及する。
イ、連続したとはどのような条件か（時間間隔）
ロ、動きの速さは
ハ、動きの移動量は
二、表示面の上下左右を見ている場合のカメラから見た特徴点(ここでは目を例にして）の位置は、
について言及する。
【0018】
先ず、ハの「動きの移動量」について、図３には、目の位置から標準的に３５ｃｍ離れた表示面（高さ１６ｃｍ、横幅２０ｃｍ）を見ている例である。３－Ａにおいて、ａ）は、表示面の上部を見ている場合、ｂ）は、中央を見ている場合、ｃ）は下部を見ている場合を表示している。３つの場合を一緒に要点を示したのが３－Ｂであり、顔面は示さず目のみ〇で示している。
３－Ｃには、拡大して寸法を入れてある。首と頭部の境を回転中心にして頭部を上下に（又は左右に）曲げると、目の位置も移動する。これが、表示面側にあるカメラの映像に現れる。この図では、目と回転中心の距離は５ｃｍなので、比例計算から、顔面上での目の上下移動量は、２ｃｍとなる。これは、カメラ側（ここでは、表示面の上端についている例）から見込む上下の目の位置の移動量２ｃｍに対して、見込む角度θは３度になる。従って、ハの移動量は、画面の上下の１／４を目安にすると、０．５ｃｍ、３／４度の移動量で、２度連続の繰り返しをさせればよい。３－Ｄには、３－Ｃに基づき数値関係を纏めてある。
カメラからは十分、解像できる精度である。左右の横については、これより幅が大きいので、解像精度は問題にならないが、同様な認識でよい。尚、この説明で、上記の二の「表示面の上下左右を見ている場合のカメラから見た特徴点(ここでは目を例にして）の位置」に関しての言及は、以上の説明と同じなので、ニの説明は省略する。
３－Ｃには、拡大して寸法を入れてある。首と頭部の境を回転中心にして頭部を上下に（又は左右に）曲げると、目の位置も移動する。これが、表示面側にあるカメラの映像に現れる。この図では、目と回転中心の距離は５ｃｍなので、比例計算から、顔面上での目の上下移動量は、２ｃｍとなる。これは、カメラ側（ここでは、表示面の上端についている例）から見込む上下の目の位置の移動量２ｃｍに対して、見込む角度θは３度になる。従って、ハの移動量は、画面の上下の１／４を目安にすると、０．５ｃｍ、３／４度の移動量で、２度連続の繰り返しをさせればよい。３－Ｄには、３－Ｃに基づき数値関係を纏めてある。
カメラからは十分、解像できる精度である。左右の横については、これより幅が大きいので、解像精度は問題にならないが、同様な認識でよい。尚、この説明で、上記の二の「表示面の上下左右を見ている場合のカメラから見た特徴点(ここでは目を例にして）の位置」に関しての言及は、以上の説明と同じなので、ニの説明は省略する。
【0019】
次に、ロの「動きの速さは」について言及する。判定の条件として、顔面の動きも一定以上の速度と動き距離を備えるものを対象にする。前述のように、画面上での動き距離は、通常１／４位であるが、最低でも画面の１／８(１６ｃｍの画面では、２ｃｍ）以上の動きが好ましい。
ここで画面の１／４の値を用いると１６ｃｍの画面位置では、４ｃｍ程度の動きになり、目の位置では、１／８にして、０．５ｃｍの動きである。
更に、これらの２回分の動きが、１）の２秒以内（通常１秒）で２回上下動がなされることを考慮すると、２回の往復になるので、４倍の距離を動くので、画面位置では、１６ｃｍ、目の位置では、２ｃｍの移動になり、これを通常の１秒で行うと、画面位置では、１６ｃｍ／秒、目の位置では、２ｃｍ/秒の速度になる。
ここで画面の１／４の値を用いると１６ｃｍの画面位置では、４ｃｍ程度の動きになり、目の位置では、１／８にして、０．５ｃｍの動きである。
更に、これらの２回分の動きが、１）の２秒以内（通常１秒）で２回上下動がなされることを考慮すると、２回の往復になるので、４倍の距離を動くので、画面位置では、１６ｃｍ、目の位置では、２ｃｍの移動になり、これを通常の１秒で行うと、画面位置では、１６ｃｍ／秒、目の位置では、２ｃｍ/秒の速度になる。
【0020】
尚、今迄、２回の連続の顔面移動動作とだけ述べてきたが、１回半（即ち、上（下）から下（上）へ、上（下）に戻って、下（上へ）、下（上）で止まって戻りがない）の場合も、完全に戻る２回と同じ作用ができるので、２回の連続の顔面移動動作の範疇に含むものとする。上下以外に左右も同様である。
【産業上の利用可能性】
【0021】
以上のように本発明にかかる表示面内の表示位置移動指示システムは、手や音声などの手段を用いずに、表示面の移動やスクロールが可能となるので、使用者の利便性がよく、産業上利用して極めて好都合である。
【0022】
１１０ 動き検出手段
１２０ 特徴点抽出手段
１３０ 動き判断手段
１４０ 表示内容構造データ格納手段
１５０ 表示移動手段
１６０ 表示手段
１７０ 制御手段
１２０ 特徴点抽出手段
１３０ 動き判断手段
１４０ 表示内容構造データ格納手段
１５０ 表示移動手段
１６０ 表示手段
１７０ 制御手段
【図1】
【図2】
【図3】
【図4】