特開2023-141220ディスプレイに対するユーザの注視状態を判定する携帯機器、プログラム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023141220
(43)【公開日】2023-10-05
(54)【発明の名称】ディスプレイに対するユーザの注視状態を判定する携帯機器、プログラム及び方法
(51)【国際特許分類】
H04M 1/72 20210101AFI20230928BHJP
G06F 3/01 20060101ALI20230928BHJP
G06N 20/00 20190101ALI20230928BHJP
H04M 1/00 20060101ALI20230928BHJP
【ＦＩ】
H04M1/72
G06F3/01 510
G06N20/00
H04M1/00 U
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022047431
(22)【出願日】2022-03-23
(71)【出願人】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】100135068
【弁理士】
【氏名又は名称】早原 茂樹
(72)【発明者】
【氏名】小林 直
【テーマコード（参考）】
5E555
5K127
【Ｆターム（参考）】
5E555AA74
5E555BA04
5E555BB04
5E555BC04
5E555CA12
5E555CA44
5E555CB12
5E555CB21
5E555CC01
5E555DD06
5E555EA14
5E555FA00
5K127AA36
5K127BA03
5K127BB22
5K127BB33
5K127CB02
5K127DA15
5K127HA08
5K127HA11
5K127JA04
5K127JA12
5K127JA14
5K127JA25
(57)【要約】
【課題】ディスプレイが点灯している際に、ユーザが注視状態であるか否かを正確に判定することができる携帯機器等を提供する。
【解決手段】ディスプレイと、加速度センサとを搭載した携帯機器であって、ディスプレイが点灯状態であるか否かを判定する点灯状態判定手段と、加速度センサの計測値から、当該携帯機器がユーザの手による把持状態か否かを判定する把持判定手段と、ユーザ操作から所定経過時間内であるか否かを判定するユーザ操作判定手段と、点灯状態であり、把持状態であり、且つ、ユーザ操作有りである場合に、ユーザがディスプレイに対して注視状態にあると判定する注視状態判定手段とを有する。
【選択図】図１
【解決手段】ディスプレイと、加速度センサとを搭載した携帯機器であって、ディスプレイが点灯状態であるか否かを判定する点灯状態判定手段と、加速度センサの計測値から、当該携帯機器がユーザの手による把持状態か否かを判定する把持判定手段と、ユーザ操作から所定経過時間内であるか否かを判定するユーザ操作判定手段と、点灯状態であり、把持状態であり、且つ、ユーザ操作有りである場合に、ユーザがディスプレイに対して注視状態にあると判定する注視状態判定手段とを有する。
【選択図】図１
【特許請求の範囲】
【請求項1】
ディスプレイと、加速度センサとを搭載した携帯機器において、
ディスプレイが点灯状態であるか否かを判定する点灯状態判定手段と、
加速度センサの計測値から、当該携帯機器がユーザの手による把持状態か否かを判定する把持判定手段と、
ユーザ操作から所定経過時間内であるか否かを判定するユーザ操作判定手段と、
点灯状態であり、把持状態であり、且つ、ユーザ操作有りである場合に、ユーザがディスプレイに対して注視状態にあると判定する注視状態判定手段と
を有することを特徴とする携帯機器。
ディスプレイが点灯状態であるか否かを判定する点灯状態判定手段と、
加速度センサの計測値から、当該携帯機器がユーザの手による把持状態か否かを判定する把持判定手段と、
ユーザ操作から所定経過時間内であるか否かを判定するユーザ操作判定手段と、
点灯状態であり、把持状態であり、且つ、ユーザ操作有りである場合に、ユーザがディスプレイに対して注視状態にあると判定する注視状態判定手段と
を有することを特徴とする携帯機器。
【請求項2】
把持判定手段は、機械学習エンジンであって、
教師データとして、過去にユーザが手による把持状態で加速度センサから出力された時系列の計測値から、把持状態であろう統計範囲を訓練し、
対象データとして、現に当該加速度センサから出力された計測値が、当該統計範囲に含まれている場合に把持状態と判定する
ことを特徴とする請求項１に記載の携帯機器。
教師データとして、過去にユーザが手による把持状態で加速度センサから出力された時系列の計測値から、把持状態であろう統計範囲を訓練し、
対象データとして、現に当該加速度センサから出力された計測値が、当該統計範囲に含まれている場合に把持状態と判定する
ことを特徴とする請求項１に記載の携帯機器。
【請求項3】
当該携帯機器は、測位部を更に搭載し、
所定期間に移動した位置の距離が、所定距離以下となる場合に滞在状況と判定し、それ以外の場合に移動状況と判定する移動状況判定手段を更に有し、
把持判定手段は、
教師データとして、ユーザの手による把持状態であろう滞在状況の第１の統計範囲と移動状況の第２の統計範囲とを別々に訓練し、
対象データとして、現に滞在状況である場合、現に当該加速度センサから出力された計測値が第１の統計範囲に含まれている場合に把持状態と判定し、又は、現に移動状況である場合、現に当該加速度センサから出力された計測値が第２の統計範囲に含まれている場合に把持状態と判定する
ことを特徴とする請求項２に記載の携帯機器。
所定期間に移動した位置の距離が、所定距離以下となる場合に滞在状況と判定し、それ以外の場合に移動状況と判定する移動状況判定手段を更に有し、
把持判定手段は、
教師データとして、ユーザの手による把持状態であろう滞在状況の第１の統計範囲と移動状況の第２の統計範囲とを別々に訓練し、
対象データとして、現に滞在状況である場合、現に当該加速度センサから出力された計測値が第１の統計範囲に含まれている場合に把持状態と判定し、又は、現に移動状況である場合、現に当該加速度センサから出力された計測値が第２の統計範囲に含まれている場合に把持状態と判定する
ことを特徴とする請求項２に記載の携帯機器。
【請求項4】
統計範囲は、教師データとしての時系列の計測値から所定％平均信頼区間である
ことを特徴とする請求項２又は３に記載の携帯機器。
ことを特徴とする請求項２又は３に記載の携帯機器。
【請求項5】
当該携帯機器は、加速度センサに代えて、重量センサを用いる
ことを特徴とする請求項２から４のいずれか１項に記載の携帯機器。
ことを特徴とする請求項２から４のいずれか１項に記載の携帯機器。
【請求項6】
注視状態判定手段によって注視状態と判定された時間を積算した注視時間を導出する注視時間導出手段を
更に有することを特徴とする請求項１から５のいずれか１項に記載の携帯機器。
更に有することを特徴とする請求項１から５のいずれか１項に記載の携帯機器。
【請求項7】
当該携帯機器は、近距離無線通信部を更に搭載し、
近距離無線通信部を用いて、ユーザに装着されたウェアラブルデバイスと所定距離以下であるか否かを判定する近距離無線通信判定手段を更に有し、
注視状態判定手段は、更に、ウェアラブルデバイスと所定距離以下である場合に、ユーザがディスプレイに対して注視状態にあると判定する
ことを特徴とする請求項１から６のいずれか１項に記載の携帯機器。
近距離無線通信部を用いて、ユーザに装着されたウェアラブルデバイスと所定距離以下であるか否かを判定する近距離無線通信判定手段を更に有し、
注視状態判定手段は、更に、ウェアラブルデバイスと所定距離以下である場合に、ユーザがディスプレイに対して注視状態にあると判定する
ことを特徴とする請求項１から６のいずれか１項に記載の携帯機器。
【請求項8】
請求項７に記載の携帯機器と、当該携帯機器と近距離無線通信するウェアラブルデバイスとを有するシステムであって、
ウェアラブルデバイスについて、
加速度センサを搭載し、
教師データとして、過去にユーザが手による把持状態で加速度センサから出力された時系列の計測値から、把持状態であろう統計範囲を訓練し、対象データとして、現に当該加速度センサから出力された計測値が、当該統計範囲に含まれている場合に把持状態と判定する把持判定手段と、
把持状態か否かを判定結果として、携帯機器へ送信する把持状態送信手段と
を有し、
携帯機器について、
把持判定手段は、ウェアラブルデバイスから把持状態を受信した際に、把持状態であると判定する
ことを特徴とするシステム。
ウェアラブルデバイスについて、
加速度センサを搭載し、
教師データとして、過去にユーザが手による把持状態で加速度センサから出力された時系列の計測値から、把持状態であろう統計範囲を訓練し、対象データとして、現に当該加速度センサから出力された計測値が、当該統計範囲に含まれている場合に把持状態と判定する把持判定手段と、
把持状態か否かを判定結果として、携帯機器へ送信する把持状態送信手段と
を有し、
携帯機器について、
把持判定手段は、ウェアラブルデバイスから把持状態を受信した際に、把持状態であると判定する
ことを特徴とするシステム。
【請求項9】
ディスプレイと、加速度センサとを搭載した携帯機器に搭載されたコンピュータを機能させるプログラムにおいて、
ディスプレイが点灯状態であるか否かを判定する点灯状態判定手段と、
加速度センサの計測値から、当該携帯機器がユーザの手による把持状態か否かを判定する把持判定手段と、
ユーザ操作から所定経過時間内であるか否かを判定するユーザ操作判定手段と、
点灯状態であり、把持状態であり、且つ、ユーザ操作有りである場合に、ユーザがディスプレイに対して注視状態にあると判定する注視状態判定手段と
してコンピュータを機能させることを特徴とするプログラム。
ディスプレイが点灯状態であるか否かを判定する点灯状態判定手段と、
加速度センサの計測値から、当該携帯機器がユーザの手による把持状態か否かを判定する把持判定手段と、
ユーザ操作から所定経過時間内であるか否かを判定するユーザ操作判定手段と、
点灯状態であり、把持状態であり、且つ、ユーザ操作有りである場合に、ユーザがディスプレイに対して注視状態にあると判定する注視状態判定手段と
してコンピュータを機能させることを特徴とするプログラム。
【請求項10】
ディスプレイと、加速度センサとを搭載した携帯機器に対するユーザ注視状態判定方法において、
携帯機器は、
ディスプレイが点灯状態であるか否かを判定し、
加速度センサの計測値から、当該携帯機器がユーザの手による把持状態か否かを判定し、
ユーザ操作から所定経過時間内であるか否かを判定し、
点灯状態であり、把持状態であり、且つ、ユーザ操作有りである場合に、ユーザがディスプレイに対して注視状態にあると判定する
ように実行することを特徴とするユーザ注視状態判定方法。
携帯機器は、
ディスプレイが点灯状態であるか否かを判定し、
加速度センサの計測値から、当該携帯機器がユーザの手による把持状態か否かを判定し、
ユーザ操作から所定経過時間内であるか否かを判定し、
点灯状態であり、把持状態であり、且つ、ユーザ操作有りである場合に、ユーザがディスプレイに対して注視状態にあると判定する
ように実行することを特徴とするユーザ注視状態判定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ディスプレイに対するユーザの注視状態を判定する技術に関する。
【背景技術】
【0002】
近年、スマートフォンの利用によって、「睡眠時間の減少」「視力の低下」「生活習慣の乱れ」など、何かしらの悪影響が生じたと感じる人が多くなってきている（例えば非特許文献１参照）。これは、ユーザがスマートフォンのディスプレイを長時間注視することに一因がある、と考えられている。
【0003】
従来、ユーザにおける移動中のスマートフォン操作を抑止する技術がある（例えば特許文献１参照）。この技術によれば、ユーザが移動中にアプリケーションが起動している場合、ユーザに対して注意を喚起する。その後も、ユーザが移動中であるにも拘わらず、アプリケーションが起動している場合、そのスマートフォンに対するユーザの使用を制限する。そして、ユーザの使用が制限され、且つ、ユーザの移動停止が検出されている間、質問型コンテンツを再生する。ユーザの回答が完了した場合、質問型コンテンツの再生を終了し、その制限を解除する。
【0004】
また、情報端末の画面の注視時間を推定する技術もある（例えば特許文献２参照）。この技術によれば、監視エリアについて、スマートフォンの画面を見ながら歩行する行動をカメラによって検出し、スピーカから警報する。カメラによって撮影された映像データから、（１）人物を検出して当該人物の移動速度と移動方向を検出し、（２）その人物における体の左右の動きを検出して腕が前方で固定されているか否かを判定し、（３）顔の向きによって下を向いていると判定し、（４）一定期間にその人物の腕が前方で固定され、断続的に前向きと下向きの姿勢が繰り返された際に、移動中のスマートフォンの使用と判定する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０２１－０８３０６９号公報
【特許文献2】特許６６５５７２７号公報
【非特許文献】
【0006】
【非特許文献1】「スマホ依存をアプリで治す？健全で適切なスマホ利用のためにKDDIが進める研究とは」、TIME＆SPACE by KDDI、[online]、［令和４年２月１４日検索］、インターネット＜URL:https://time-space.kddi.com/au-kddi/20210721/3137＞
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献１に記載の技術によれば、予め指定されたアプリケーションが起動中である場合、ユーザがスマートフォンのディスプレイを注視している、と判定しているに過ぎない。即ち、予め指定されたアプリケーション以外のアプリケーションの利用については、移動中であっても制限されない。また、予め指定されたアプリケーションを、ユーザが実際に注視しているか否かについてまで、判定するものではない。
【0008】
また、特許文献２に記載の技術によれば、ユーザによる情報端末の注視状態を推定することができるが、屋内に予め設置されたカメラからの映像データを必要とする。
【0009】
一般に、携帯機器のディスプレイにおける点灯時間を、ユーザの注視時間と推定することもできる。しかしながら、ディスプレイが点灯しているからといって、ユーザがディスプレイを必ず注視しているものでもない。
【0010】
これに対し、本願の発明者らは、携帯機器のディスプレイが点灯している際に、ユーザが当該携帯機器に近接している場合にのみ、ユーザの注視時間と判定することができるのではないか、と考えた。例えば、携帯機器に対するユーザの把持や接触を検出できれば、ディスプレイの注視状態と判定できるのではないか、と考えた。
【0011】
そこで、本発明は、ディスプレイが点灯している際に、ユーザが注視状態であるか否かを正確に判定することができる携帯機器、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【0012】
本発明によれば、ディスプレイと、加速度センサとを搭載した携帯機器において、
ディスプレイが点灯状態であるか否かを判定する点灯状態判定手段と、
加速度センサの計測値から、当該携帯機器がユーザの手による把持状態か否かを判定する把持判定手段と、
ユーザ操作から所定経過時間内であるか否かを判定するユーザ操作判定手段と、
点灯状態であり、把持状態であり、且つ、ユーザ操作有りである場合に、ユーザがディスプレイに対して注視状態にあると判定する注視状態判定手段と
を有することを特徴とする。
ディスプレイが点灯状態であるか否かを判定する点灯状態判定手段と、
加速度センサの計測値から、当該携帯機器がユーザの手による把持状態か否かを判定する把持判定手段と、
ユーザ操作から所定経過時間内であるか否かを判定するユーザ操作判定手段と、
点灯状態であり、把持状態であり、且つ、ユーザ操作有りである場合に、ユーザがディスプレイに対して注視状態にあると判定する注視状態判定手段と
を有することを特徴とする。
【0013】
本発明の携帯端末における他の実施形態によれば、
把持判定手段は、機械学習エンジンであって、
教師データとして、過去にユーザが手による把持状態で加速度センサから出力された時系列の計測値から、把持状態であろう統計範囲を訓練し、
対象データとして、現に当該加速度センサから出力された計測値が、当該統計範囲に含まれている場合に把持状態と判定する
ことも好ましい。
把持判定手段は、機械学習エンジンであって、
教師データとして、過去にユーザが手による把持状態で加速度センサから出力された時系列の計測値から、把持状態であろう統計範囲を訓練し、
対象データとして、現に当該加速度センサから出力された計測値が、当該統計範囲に含まれている場合に把持状態と判定する
ことも好ましい。
【0014】
本発明の携帯端末における他の実施形態によれば、
当該携帯機器は、測位部を更に搭載し、
所定期間に移動した位置の距離が、所定距離以下となる場合に滞在状況と判定し、それ以外の場合に移動状況と判定する移動状況判定手段を更に有し、
把持判定手段は、
教師データとして、ユーザの手による把持状態であろう滞在状況の第１の統計範囲と移動状況の第２の統計範囲とを別々に訓練し、
対象データとして、現に滞在状況である場合、現に当該加速度センサから出力された計測値が第１の統計範囲に含まれている場合に把持状態と判定し、又は、現に移動状況である場合、現に当該加速度センサから出力された計測値が第２の統計範囲に含まれている場合に把持状態と判定する
ことも好ましい。
当該携帯機器は、測位部を更に搭載し、
所定期間に移動した位置の距離が、所定距離以下となる場合に滞在状況と判定し、それ以外の場合に移動状況と判定する移動状況判定手段を更に有し、
把持判定手段は、
教師データとして、ユーザの手による把持状態であろう滞在状況の第１の統計範囲と移動状況の第２の統計範囲とを別々に訓練し、
対象データとして、現に滞在状況である場合、現に当該加速度センサから出力された計測値が第１の統計範囲に含まれている場合に把持状態と判定し、又は、現に移動状況である場合、現に当該加速度センサから出力された計測値が第２の統計範囲に含まれている場合に把持状態と判定する
ことも好ましい。
【0015】
本発明の携帯端末における他の実施形態によれば、
統計範囲は、教師データとしての時系列の計測値から所定％平均信頼区間である
ことも好ましい。
統計範囲は、教師データとしての時系列の計測値から所定％平均信頼区間である
ことも好ましい。
【0016】
本発明の携帯端末における他の実施形態によれば、
当該携帯機器は、加速度センサに代えて、重量センサを用いる
ことも好ましい。
当該携帯機器は、加速度センサに代えて、重量センサを用いる
ことも好ましい。
【0017】
本発明の携帯端末における他の実施形態によれば、
注視状態判定手段によって注視状態と判定された時間を積算した注視時間を導出する注視時間導出手段を
更に有することも好ましい。
注視状態判定手段によって注視状態と判定された時間を積算した注視時間を導出する注視時間導出手段を
更に有することも好ましい。
【0018】
本発明の携帯端末における他の実施形態によれば、
当該携帯機器は、近距離無線通信部を更に搭載し、
近距離無線通信部を用いて、ユーザに装着されたウェアラブルデバイスと所定距離以下であるか否かを判定する近距離無線通信判定手段を更に有し、
注視状態判定手段は、更に、ウェアラブルデバイスと所定距離以下である場合に、ユーザがディスプレイに対して注視状態にあると判定する
ことも好ましい。
当該携帯機器は、近距離無線通信部を更に搭載し、
近距離無線通信部を用いて、ユーザに装着されたウェアラブルデバイスと所定距離以下であるか否かを判定する近距離無線通信判定手段を更に有し、
注視状態判定手段は、更に、ウェアラブルデバイスと所定距離以下である場合に、ユーザがディスプレイに対して注視状態にあると判定する
ことも好ましい。
【0019】
本発明によれば、前述した携帯機器と、当該携帯機器と近距離無線通信するウェアラブルデバイスとを有するシステムであって、
ウェアラブルデバイスについて、
加速度センサを搭載し、
教師データとして、過去にユーザが手による把持状態で加速度センサから出力された時系列の計測値から、把持状態であろう統計範囲を訓練し、対象データとして、現に当該加速度センサから出力された計測値が、当該統計範囲に含まれている場合に把持状態と判定する把持判定手段と、
把持状態か否かを判定結果として、携帯機器へ送信する把持状態送信手段と
を有し、
携帯機器について、
把持判定手段は、ウェアラブルデバイスから把持状態を受信した際に、把持状態であると判定する
ことを特徴とする。
ウェアラブルデバイスについて、
加速度センサを搭載し、
教師データとして、過去にユーザが手による把持状態で加速度センサから出力された時系列の計測値から、把持状態であろう統計範囲を訓練し、対象データとして、現に当該加速度センサから出力された計測値が、当該統計範囲に含まれている場合に把持状態と判定する把持判定手段と、
把持状態か否かを判定結果として、携帯機器へ送信する把持状態送信手段と
を有し、
携帯機器について、
把持判定手段は、ウェアラブルデバイスから把持状態を受信した際に、把持状態であると判定する
ことを特徴とする。
【0020】
本発明によれば、ディスプレイと、加速度センサとを搭載した携帯機器に搭載されたコンピュータを機能させるプログラムにおいて、
ディスプレイが点灯状態であるか否かを判定する点灯状態判定手段と、
加速度センサの計測値から、当該携帯機器がユーザの手による把持状態か否かを判定する把持判定手段と、
ユーザ操作から所定経過時間内であるか否かを判定するユーザ操作判定手段と、
点灯状態であり、把持状態であり、且つ、ユーザ操作有りである場合に、ユーザがディスプレイに対して注視状態にあると判定する注視状態判定手段と
してコンピュータを機能させることを特徴とする。
ディスプレイが点灯状態であるか否かを判定する点灯状態判定手段と、
加速度センサの計測値から、当該携帯機器がユーザの手による把持状態か否かを判定する把持判定手段と、
ユーザ操作から所定経過時間内であるか否かを判定するユーザ操作判定手段と、
点灯状態であり、把持状態であり、且つ、ユーザ操作有りである場合に、ユーザがディスプレイに対して注視状態にあると判定する注視状態判定手段と
してコンピュータを機能させることを特徴とする。
【0021】
本発明によれば、ディスプレイと、加速度センサとを搭載した携帯機器に対するユーザ注視状態判定方法において、
携帯機器は、
ディスプレイが点灯状態であるか否かを判定し、
加速度センサの計測値から、当該携帯機器がユーザの手による把持状態か否かを判定し、
ユーザ操作から所定経過時間内であるか否かを判定し、
点灯状態であり、把持状態であり、且つ、ユーザ操作有りである場合に、ユーザがディスプレイに対して注視状態にあると判定する
ように実行することを特徴とする。
携帯機器は、
ディスプレイが点灯状態であるか否かを判定し、
加速度センサの計測値から、当該携帯機器がユーザの手による把持状態か否かを判定し、
ユーザ操作から所定経過時間内であるか否かを判定し、
点灯状態であり、把持状態であり、且つ、ユーザ操作有りである場合に、ユーザがディスプレイに対して注視状態にあると判定する
ように実行することを特徴とする。
【発明の効果】
【0022】
本発明の携帯機器、プログラム及び方法によれば、ディスプレイが点灯している際に、ユーザが注視状態であるか否かを正確に判定することができる。
【図面の簡単な説明】
【0023】
【図1】本発明における携帯機器の機能構成図である。
【図2】加速度センサを用いた把持状態判定部の処理を表す説明図である。
【図3】滞在状況／移動状況に応じた把持状態判定部の処理を表す説明図である。
【図4】重力センサを用いた把持状態判定部における計測値及び統計範囲を表す説明図である。
【図6】ウェアラブルデバイスと通信可能な携帯機器の更なる機能構成図である。
【図7】ウェアラブルデバイスにおける加速度センサ及び重力センサを用いた把持状態判定部における計測値及び統計範囲を表す説明図である。
【図9】携帯機器及びウェアラブルデバイスのレコードを示すテーブルである。
【発明を実施するための形態】
【0024】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【0025】
図１は、本発明における携帯機器の機能構成図である。
【0026】
図１によれば、携帯機器１は、ユーザによって所持されるスマートフォンであってもよい。携帯機器１は、ハードウェアとして、タッチパネルディスプレイ１０１と、加速度センサ（重力センサ）１０２と、測位部１０３とを有する。
【0027】
タッチパネルディスプレイ１０１は、ユーザが注視するディスプレイであると共に、ユーザ操作として指の接触を検知するものである。
加速度センサ１０２は、加速度を出力する。加速度は、例えばＭＳＫ重力単位の標準重力加速度Ｇ（－１Ｇ～＋１Ｇ、１Ｇ＝9.80665ｍ／ｓ２）で表現される。尚、加速度センサに代えて、重力センサであってもよい。加速度センサは、それぞれの方向に対する加速度が出力されるものであるのに対し、重力センサは、それぞれの方向に対する重力が出力される。重力センサは、重力加速度を検出する加速度センサといえる。
測位部１０３は、例えばＧＰＳ(Global Positioning System)センサであってもよいし、携帯電話基地局と通信する通信インタフェースであってもよい。本発明によって必要とする測位部１０３は、正確な位置情報を出力することまでも必要とすることなく、少なくとも経過時間に基づく位置の変位（移動距離）が検出できればよい。
加速度センサ１０２は、加速度を出力する。加速度は、例えばＭＳＫ重力単位の標準重力加速度Ｇ（－１Ｇ～＋１Ｇ、１Ｇ＝9.80665ｍ／ｓ２）で表現される。尚、加速度センサに代えて、重力センサであってもよい。加速度センサは、それぞれの方向に対する加速度が出力されるものであるのに対し、重力センサは、それぞれの方向に対する重力が出力される。重力センサは、重力加速度を検出する加速度センサといえる。
測位部１０３は、例えばＧＰＳ(Global Positioning System)センサであってもよいし、携帯電話基地局と通信する通信インタフェースであってもよい。本発明によって必要とする測位部１０３は、正確な位置情報を出力することまでも必要とすることなく、少なくとも経過時間に基づく位置の変位（移動距離）が検出できればよい。
【0028】
図１によれば、携帯機器１は、点灯状態判定部１１と、把持状態判定部１２と、ユーザ操作判定部１３と、注視状態判定部１４と、移動状況判定部１５と、注視時間導出部１６とを有する。これら機能構成部は、携帯機器に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、装置の注視状態判定方法としても理解できる。
【0029】
［点灯状態判定部１１］
点灯状態判定部１１は、ディスプレイが点灯状態であるか否かを判定する。判定結果は、注視状態判定部１４へ出力される。
点灯状態判定部１１は、ディスプレイが点灯状態であるか否かを判定する。判定結果は、注視状態判定部１４へ出力される。
【0030】
［把持状態判定部１２］
把持状態判定部１２は、加速度センサ１０２の計測値から、当該携帯機器１がユーザの手による把持状態か否かを判定する。判定結果は、注視状態判定部１４へ出力される。
把持状態判定部１２は、加速度センサ１０２の計測値から、当該携帯機器１がユーザの手による把持状態か否かを判定する。判定結果は、注視状態判定部１４へ出力される。
【0031】
図２は、加速度センサを用いた把持状態判定部の処理を表す説明図である。
【0032】
図２によれば、把持状態判定部１２は、訓練段階と推定段階として機能する機械学習エンジンであってもよい。
（訓練段階）教師データとして、過去にユーザが手による把持状態で加速度センサ１０２から出力された時系列の計測値から、「把持状態であろう統計範囲」を訓練する。
ここで、訓練によって導出される「把持状態であろう統計範囲」は、教師データとしての時系列の計測値から所定％平均信頼区間であってもよい。例えば「９５％平均信頼区間」であってもよい。
（訓練段階）教師データとして、過去にユーザが手による把持状態で加速度センサ１０２から出力された時系列の計測値から、「把持状態であろう統計範囲」を訓練する。
ここで、訓練によって導出される「把持状態であろう統計範囲」は、教師データとしての時系列の計測値から所定％平均信頼区間であってもよい。例えば「９５％平均信頼区間」であってもよい。
【0033】
平均信頼区間(Confidence interval)とは、統計学で母集団の真値（母平均等）が含まれることが、かなり確信できる数値範囲をいう。９５％平均信頼区間とは、例えば計測値の加速度が固定されているとして、１００回試験をした場合、１００回中５回くらいはその加速度を含まないことがある、ことを意味する。
【0034】
（推定段階）対象データとして、現に当該加速度センサ１０２から出力された計測値（加速度）が、当該統計範囲に含まれている場合に「把持状態」と判定する。一方で、そうでない場合、「放置状態」と判定する。
ここで、統計範囲が、９５％平均信頼区間であるとするならば、同じ値となる加速度が１００回出力された場合、１００回中５回くらいは統計範囲にその加速度が含まれず、「放置状態（把持状態でない）」と判定するかもしれない、ことを意味する。
ここで、統計範囲が、９５％平均信頼区間であるとするならば、同じ値となる加速度が１００回出力された場合、１００回中５回くらいは統計範囲にその加速度が含まれず、「放置状態（把持状態でない）」と判定するかもしれない、ことを意味する。
【0035】
前述の例によれば、把持状態判定部１２は、９５％平均信頼区間を訓練によって学習するものとして説明した。
それに限られず、勿論、例えば回帰アルゴリズムに基づく一般的な、教師有り学習に基づく機械学習エンジンであってもよい。例えば、バックプロパゲーションやサポートベクタマシンを適用したものであってもよい。
即ち、訓練段階として、教師データとしての過去の把持状態の加速度によって訓練し、推定段階として、把持状態又は放置状態を推定できればよい。
それに限られず、勿論、例えば回帰アルゴリズムに基づく一般的な、教師有り学習に基づく機械学習エンジンであってもよい。例えば、バックプロパゲーションやサポートベクタマシンを適用したものであってもよい。
即ち、訓練段階として、教師データとしての過去の把持状態の加速度によって訓練し、推定段階として、把持状態又は放置状態を推定できればよい。
【0036】
ここで、把持状態判定部１２について、把持状態又は放置状態を判定する精度に問題が生じる。一番の問題は、ユーザによって把持された携帯機器の加速度を、滞在状況又は移動状況に関係無しに教師データとして訓練した場合、その統計範囲に大きなばらつきが生じ、把持状態又は放置状態の判定の精度が低下することとなる。
そのために、把持状態判定部１２は、滞在状況又は移動状況を予め区分した教師データによって訓練するようにする。
そのために、把持状態判定部１２は、滞在状況又は移動状況を予め区分した教師データによって訓練するようにする。
【0037】
図３は、滞在状況／移動状況に応じた把持状態判定部の処理を表す説明図である。
【0038】
図３によれば、教師データとして、ユーザによって携帯機器が把持状態である時に、加速度センサ１０２から出力された計測値を、以下のように区分する。
・滞在状況のユーザによる把持状態の携帯機器における加速度センサの計測値
・移動状況のユーザによる把持状態の携帯機器における加速度センサの計測値
これに対し、把持状態判定部１２は、滞在状況の教師データと、移動状況の教師データとを別々に訓練する。そして、把持状態判定部１２は、ユーザの手による把持状態であろう滞在状況の第１の統計範囲と、移動状況の第２の統計範囲とを別々に訓練する。
・滞在状況のユーザによる把持状態の携帯機器における加速度センサの計測値
・移動状況のユーザによる把持状態の携帯機器における加速度センサの計測値
これに対し、把持状態判定部１２は、滞在状況の教師データと、移動状況の教師データとを別々に訓練する。そして、把持状態判定部１２は、ユーザの手による把持状態であろう滞在状況の第１の統計範囲と、移動状況の第２の統計範囲とを別々に訓練する。
【0039】
［移動状況判定部１５］
移動状況判定部１５は、測位部１０３から、時系列に位置情報（緯度経度）を入力する。
そして、移動状況判定部１５は、所定期間に移動した位置の距離が、所定距離以下となる場合に「滞在状況」と判定し、それ以外の場合に「移動状況」と判定する。
移動状況判定部１５は、例えば、時系列順に位置情報を並べて、最初のログを起点として、当該起点から所定閾値（距離ｍ）以上離れたログの直前のログまでを、同一の滞在位置と判定する。同一の滞在位置と判定された最初の時刻から最後の時刻までを「滞在状況」と判定し、それ以外の時間を「移動状況」と判定する。
移動状況判定部１５は、測位部１０３から、時系列に位置情報（緯度経度）を入力する。
そして、移動状況判定部１５は、所定期間に移動した位置の距離が、所定距離以下となる場合に「滞在状況」と判定し、それ以外の場合に「移動状況」と判定する。
移動状況判定部１５は、例えば、時系列順に位置情報を並べて、最初のログを起点として、当該起点から所定閾値（距離ｍ）以上離れたログの直前のログまでを、同一の滞在位置と判定する。同一の滞在位置と判定された最初の時刻から最後の時刻までを「滞在状況」と判定し、それ以外の時間を「移動状況」と判定する。
【0040】
これによって、把持状態判定部１２は、滞在状況と移動状況とを区別して、以下のように推定する。
（推定段階）対象データとして、ユーザが現に「滞在状況」である場合、現に当該加速度センサ１０２から出力された計測値が第１の統計範囲に含まれている場合、「把持状態」と判定する。一方で、含まれていない場合、「放置状態」と判定する。
又は、ユーザが現に「移動状況」である場合、現に当該加速度センサ１０２から出力された計測値が第２の統計範囲に含まれている場合に「把持状態」と判定する。一方で、含まれていない場合、「放置状態」と判定する。
（推定段階）対象データとして、ユーザが現に「滞在状況」である場合、現に当該加速度センサ１０２から出力された計測値が第１の統計範囲に含まれている場合、「把持状態」と判定する。一方で、含まれていない場合、「放置状態」と判定する。
又は、ユーザが現に「移動状況」である場合、現に当該加速度センサ１０２から出力された計測値が第２の統計範囲に含まれている場合に「把持状態」と判定する。一方で、含まれていない場合、「放置状態」と判定する。
【0041】
図４は、重力センサを用いた把持状態判定部における計測値及び統計範囲を表す説明図である。
【0042】
図４によれば、図３と同様に、教師データとして、ユーザによって携帯機器が把持状態である時に、重力センサから出力された計測値を、以下のように区分する。
・滞在状況のユーザによる把持状態の携帯機器における重力センサの計測値
・移動状況のユーザによる把持状態の携帯機器における重力センサの計測値
また、図４によれば、図３と比較して、重力センサの計測値によって、９５％平均信頼区間が算出されている。
・滞在状況のユーザによる把持状態の携帯機器における重力センサの計測値
・移動状況のユーザによる把持状態の携帯機器における重力センサの計測値
また、図４によれば、図３と比較して、重力センサの計測値によって、９５％平均信頼区間が算出されている。
【0043】
［ユーザ操作判定部１３］
ユーザ操作判定部１３は、ユーザ操作から所定経過時間内であるか否かを判定する。
ユーザ操作とは、例えばタッチパネルディスプレイの場合、ユーザの指の接触（タッチ）であってもよい。ここで、ユーザ操作の時点から所定時間経過するまでは「ユーザ操作有り」と判定し、その所定時間経過後は「ユーザ操作無し」と判定する。判定結果は、注視状態判定部１４へ出力される。
ユーザ操作判定部１３は、ユーザ操作から所定経過時間内であるか否かを判定する。
ユーザ操作とは、例えばタッチパネルディスプレイの場合、ユーザの指の接触（タッチ）であってもよい。ここで、ユーザ操作の時点から所定時間経過するまでは「ユーザ操作有り」と判定し、その所定時間経過後は「ユーザ操作無し」と判定する。判定結果は、注視状態判定部１４へ出力される。
【0044】
［注視状態判定部１４］
注視状態判定部１４は、点灯状態であり、把持状態であり、且つ、ユーザ操作有りである場合に、ユーザがディスプレイに対して「注視状態」にあると判定する。
注視状態判定部１４は、点灯状態であり、把持状態であり、且つ、ユーザ操作有りである場合に、ユーザがディスプレイに対して「注視状態」にあると判定する。
【0045】
［注視時間導出部１６］
注視時間導出部１６は、注視状態判定部１４によって「注視状態」と判定された時間を積算した注視時間を導出する。ここで、「放置状態」と判定されるまでは、別途のイベントが発生しなくても、注視状態が継続しているとして注視時間を積算する。
また、注視時間導出部１６は、所定期間に対する「注視状態」の割合を算出するものであってもよい。
注視割合＝注視時間／所定期間
注視時間導出部１６は、注視状態判定部１４によって「注視状態」と判定された時間を積算した注視時間を導出する。ここで、「放置状態」と判定されるまでは、別途のイベントが発生しなくても、注視状態が継続しているとして注視時間を積算する。
また、注視時間導出部１６は、所定期間に対する「注視状態」の割合を算出するものであってもよい。
注視割合＝注視時間／所定期間
【0046】
【0047】
（Ｓ１４１）点灯状態判定部１１における判定結果が、「点灯状態」である場合、ユーザがディスプレイに対する注視状態にある可能性があるとして、Ｓ１４２へ移行する。「滅灯状態」である場合、ユーザはディスプレイに対する注視状態にないとして、終了する。
（Ｓ１４２）把持状態判定部１２における判定結果が、「把持状態」である場合、ユーザがディスプレイに対する注視状態にある可能性があるとして、Ｓ１４３へ移行する。「放置状態」である場合、ユーザはディスプレイに対する注視状態にないとして、終了する。
（Ｓ１４３）ユーザ操作判定部１３における判定結果が、「ユーザ操作有り」（例えばタッチパネルディスプレイへのタッチ操作から所定時間内）である場合、「注視状態」であると判定する。「ユーザ操作無し」である場合、ユーザがディスプレイに対する注視状態にないとして、終了する。
（Ｓ１４４）「注視状態」と判定された時間を積算した注視時間を導出する。
（Ｓ１４２）把持状態判定部１２における判定結果が、「把持状態」である場合、ユーザがディスプレイに対する注視状態にある可能性があるとして、Ｓ１４３へ移行する。「放置状態」である場合、ユーザはディスプレイに対する注視状態にないとして、終了する。
（Ｓ１４３）ユーザ操作判定部１３における判定結果が、「ユーザ操作有り」（例えばタッチパネルディスプレイへのタッチ操作から所定時間内）である場合、「注視状態」であると判定する。「ユーザ操作無し」である場合、ユーザがディスプレイに対する注視状態にないとして、終了する。
（Ｓ１４４）「注視状態」と判定された時間を積算した注視時間を導出する。
【0048】
図６は、ウェアラブルデバイスと通信可能な携帯機器の更なる機能構成図である。
【0049】
【0050】
［近距離無線通信部１０４］
近距離無線通信部１０４は、ユーザが装着したウェアラブルデバイス２と無線通信する。ウェアラブルデバイス２としては、例えばスマートウォッチやスマートリングのようなものである。無線通信としては、例えばBluetooth（登録商標）であってもよい。
近距離無線通信部１０４は、ユーザが装着したウェアラブルデバイス２と無線通信する。ウェアラブルデバイス２としては、例えばスマートウォッチやスマートリングのようなものである。無線通信としては、例えばBluetooth（登録商標）であってもよい。
【0051】
［近距離無線通信判定部１７］
近距離無線通信判定部１７は、近距離無線通信部１０４を用いて、ユーザに装着されたウェアラブルデバイス２と所定距離以下であるか否かを判定する。
近距離無線通信判定部１７は、Bluetoothの場合、ウェアラブルデバイス２から受信した電波のＲＳＳＩ(Received Signal Strength Indicator)から、ウェアラブルデバイス２との間の距離を測定することができる。
ここで、携帯機器１とウェアラブルデバイス２と間の距離が、所定距離よりも離れている場合、ユーザは、携帯機器１のディスプレイを注視していないと判定する。尚、携帯機器２は、ウェアラブルデバイス２がユーザの人体に接着時にのみ距離を判定するものとし、人体に装着していない場合は判定しないものとする。ウェアラブルデバイス２は、人体の接着を検知することができる。
近距離無線通信判定部１７は、近距離無線通信部１０４を用いて、ユーザに装着されたウェアラブルデバイス２と所定距離以下であるか否かを判定する。
近距離無線通信判定部１７は、Bluetoothの場合、ウェアラブルデバイス２から受信した電波のＲＳＳＩ(Received Signal Strength Indicator)から、ウェアラブルデバイス２との間の距離を測定することができる。
ここで、携帯機器１とウェアラブルデバイス２と間の距離が、所定距離よりも離れている場合、ユーザは、携帯機器１のディスプレイを注視していないと判定する。尚、携帯機器２は、ウェアラブルデバイス２がユーザの人体に接着時にのみ距離を判定するものとし、人体に装着していない場合は判定しないものとする。ウェアラブルデバイス２は、人体の接着を検知することができる。
【0052】
図６によれば、ウェアラブルデバイス２は、ユーザが把持する携帯機器１と近距離無線通信する。ウェアラブルデバイス２は、ユーザに装着されたおり、スマートフォンであれば手首に、スマートリングであれば指に装着されている。
また、ウェアラブルデバイス２は、ハードウェアとして加速度センサ又は重力センサを搭載し、その計測値を携帯機器１へ常時送信する。
また、ウェアラブルデバイス２は、ハードウェアとして加速度センサ又は重力センサを搭載し、その計測値を携帯機器１へ常時送信する。
【0053】
図７は、ウェアラブルデバイスにおける加速度センサ及び重力センサを用いた把持状態判定部における計測値及び統計範囲を表す説明図である。
【0054】
【0055】
図８によれば、図５と比較して、Ｓ１４２及びＳ１４３が相違する。
（Ｓ１４２１）把持状態判定部１２における判定結果が、「放置状態」である場合、Ｓ１４２２へ移行する。
（Ｓ１４２２）携帯機器１とウェアラブルデバイス２との間が、所定距離以下か否かを判定する。所定距離以下である（近い）場合、Ｓ１４２３へ移行する。一方で、所定距離以下でない（離れている）場合、「放置状態」であるとして、終了する。
（Ｓ１４２３）把持状態判定部１２は、近距離無線通信部１０４から、ウェアラブルデバイス２から受信した加速度センサ又は重力センサの計測値を受信する。そして、その計測値が、前述した「把持状態であろう統計範囲」内か否かを判定する。統計範囲内である場合、「注視状態」にあり、統計範囲外である場合、「放置状態」にあると判定する。
（Ｓ１４２１）把持状態判定部１２における判定結果が、「放置状態」である場合、Ｓ１４２２へ移行する。
（Ｓ１４２２）携帯機器１とウェアラブルデバイス２との間が、所定距離以下か否かを判定する。所定距離以下である（近い）場合、Ｓ１４２３へ移行する。一方で、所定距離以下でない（離れている）場合、「放置状態」であるとして、終了する。
（Ｓ１４２３）把持状態判定部１２は、近距離無線通信部１０４から、ウェアラブルデバイス２から受信した加速度センサ又は重力センサの計測値を受信する。そして、その計測値が、前述した「把持状態であろう統計範囲」内か否かを判定する。統計範囲内である場合、「注視状態」にあり、統計範囲外である場合、「放置状態」にあると判定する。
【0056】
（Ｓ１４３１）ユーザ操作判定部１３における判定結果が、「ユーザ操作無し」である場合、Ｓ１４３２へ移行する。
（Ｓ１４３２）携帯機器１とウェアラブルデバイス２との間が、所定距離以下か否かを判定する。所定距離以下である（近い）場合、「注視状態」であるとする。一方で、所定距離以下でない（離れている）場合、「放置状態」であるとして、終了する。
（Ｓ１４３２）携帯機器１とウェアラブルデバイス２との間が、所定距離以下か否かを判定する。所定距離以下である（近い）場合、「注視状態」であるとする。一方で、所定距離以下でない（離れている）場合、「放置状態」であるとして、終了する。
【0057】
図９は、携帯機器及びウェアラブルデバイスのレコードを示すテーブルである。
【0058】
図９によれば、携帯機器１とウェアラブルデバイス２とは、ペアリング済みであって、イベントの発生時刻もほぼ同期している。
【0059】
イベントNo.1の時には、ディスプレイが点灯状態にあり、滞在状況で統計（平均値95%信頼区間）範囲に基づいて把持状態と判定され、操作経過時間が所定時間以下であるために、「注視状態」と判定される。
イベントNo.2の時には、ディスプレイが点灯状態にあり、滞在状況で統計範囲に基づいて把持状態と判定されるが、操作経過時間が所定時間よりも長くなっている。このとき、ウェアラブルデバイス２は所定距離以下（ペアリング済み）であるために、「注視状態」と判定される。
イベントNo.3の時には、ディスプレイが点灯状態にあり、移動状況で統計範囲に基づいて把持状態と判定され、操作経過時間が所定時間以下であるために、「注視状態」と判定される。
イベントNo.4の時には、ディスプレイが点灯状態でないので、注視状態でない「放置状態」と判定される。
これによって、イベントNo.1の時刻の10秒前である20220101 00:00:00からNo.3の10秒後である20220101 00:10:30まで、携帯機器１のディスプレイは「注視状態」であったと判定される。
イベントNo.2の時には、ディスプレイが点灯状態にあり、滞在状況で統計範囲に基づいて把持状態と判定されるが、操作経過時間が所定時間よりも長くなっている。このとき、ウェアラブルデバイス２は所定距離以下（ペアリング済み）であるために、「注視状態」と判定される。
イベントNo.3の時には、ディスプレイが点灯状態にあり、移動状況で統計範囲に基づいて把持状態と判定され、操作経過時間が所定時間以下であるために、「注視状態」と判定される。
イベントNo.4の時には、ディスプレイが点灯状態でないので、注視状態でない「放置状態」と判定される。
これによって、イベントNo.1の時刻の10秒前である20220101 00:00:00からNo.3の10秒後である20220101 00:10:30まで、携帯機器１のディスプレイは「注視状態」であったと判定される。
【0060】
イベントNo.5の時には、ディスプレイが点灯状態にあり、滞在状況で統計範囲に基づいて放置状態と判定されるが、ウェアラブルデバイス２は所定距離以下（ペアリング済み）である。そのために、「注視状態」と判定される。
イベントNo.6の時には、ディスプレイが点灯状態にあり、滞在状況で統計範囲に基づいて放置状態と判定されるが、ウェアラブルデバイス２は所定距離以下（ペアリング済み）である。そのために、「注視状態」と判定される。
これによって、イベントNo.5及びNo.6も連続して、20220101 00:41:20から20220101 00:45:48まで、「注視状態」であると判定される。
イベントNo.6の時には、ディスプレイが点灯状態にあり、滞在状況で統計範囲に基づいて放置状態と判定されるが、ウェアラブルデバイス２は所定距離以下（ペアリング済み）である。そのために、「注視状態」と判定される。
これによって、イベントNo.5及びNo.6も連続して、20220101 00:41:20から20220101 00:45:48まで、「注視状態」であると判定される。
【0061】
イベントNo.7の時には、ディスプレイが点灯状態にあり、滞在状況で統計範囲に基づいて放置状態と判定されるが、ウェアラブルデバイス２は所定距離以下（ペアリング済み）である。このとき、ウェアラブルデバイス２から受信した加速度センサの計測値は、滞在状況で統計範囲外にあるために、「放置状態」と判定される。尚、重力センサの計測値に注目した場合、滞在状態の統計範囲内であるので、「注視状態」と判定される。
【0062】
最終的に、ユーザは、イベントNo.1～No.7（20220101 00:00:00～20220101 00:59:59の1時間）の間に、携帯機器１を合計14分48秒、注視状態にあったと判定される。
【0063】
以上、詳細に説明したように、本発明の携帯機器、プログラム及び方法によれば、ディスプレイが点灯している際に、ユーザが注視状態であるか否かを正確に判定することができる。
【0064】
尚、これにより、例えば「ユーザが、スマートフォンのディスプレイに対する注視状態を検出することができる」ことから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標３「あらゆる年齢のすべての人々の健康的な生活を確保し、福祉を推進する」に貢献することが可能となる。
【0065】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【0066】
１ 携帯機器
１０１ タッチパネルディスプレイ
１０２ 加速度センサ（重力センサ）
１０３ 測位部
１０４ 近距離無線通信部
１１ 点灯状態判定部
１２ 把持状態判定部
１３ ユーザ操作判定部
１４ 注視状態判定部
１５ 移動状況判定部
１６ 注視時間導出部
１７ 近距離無線通信判定部
２ ウェアラブルデバイス
１０１ タッチパネルディスプレイ
１０２ 加速度センサ（重力センサ）
１０３ 測位部
１０４ 近距離無線通信部
１１ 点灯状態判定部
１２ 把持状態判定部
１３ ユーザ操作判定部
１４ 注視状態判定部
１５ 移動状況判定部
１６ 注視時間導出部
１７ 近距離無線通信判定部
２ ウェアラブルデバイス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】