(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023008763
(43)【公開日】2023-01-19
(54)【発明の名称】機器支持状況通知システムおよび機器支持状況通知プログラム
(51)【国際特許分類】
H04M 1/72454 20210101AFI20230112BHJP
H04M 1/00 20060101ALI20230112BHJP
【FI】
H04M1/72454
H04M1/00 R
【審査請求】有
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2021196011
(22)【出願日】2021-12-02
(62)【分割の表示】P 2021110751の分割
【原出願日】2021-07-02
(11)【特許番号】
(45)【特許公報発行日】2022-07-20
(71)【出願人】
【識別番号】520154438
【氏名又は名称】末次 功憲
(74)【代理人】
【識別番号】100140796
【弁理士】
【氏名又は名称】原口 貴志
(72)【発明者】
【氏名】末次 功憲
【テーマコード(参考)】
5K127
【Fターム(参考)】
5K127AA36
5K127BA03
5K127CA19
5K127CA34
5K127CB11
5K127GD03
5K127GD07
5K127JA04
5K127JA25
5K127JA49
(57)【要約】
【課題】 電子機器の使用者による、電子機器の支持の状況を使用者に認識させることができる機器支持状況通知システムおよび機器支持状況通知プログラムを提供する。
【解決手段】 使用者が携帯して使用するスマートフォンは、使用者によるスマートフォンの支持の状況である機器支持状況の判定である支持状況判定に使用される情報である判定用情報を取得する操作部、インカメラおよびセンサー部によって取得された判定用情報に基づいて支持状況判定を実行し、実行した支持状況判定の結果に基づいた情報である通知用情報を使用者に通知する(S243)ことを特徴とする。
【選択図】
図17
【特許請求の範囲】
【請求項1】
使用者が携帯して使用する電子機器の、前記使用者による支持の状況である機器支持状況の判定である支持状況判定に使用される情報である判定用情報を取得する情報取得部と、
前記情報取得部によって取得された前記判定用情報に基づいて前記支持状況判定を実行する支持状況判定部と、
前記支持状況判定部によって実行された前記支持状況判定の結果に基づいた情報である通知用情報を通知する情報通知部と
を備えることを特徴とする機器支持状況通知システム。
【請求項2】
前記支持状況判定部は、前記機器支持状況を前記使用者に指示し、
前記支持状況判定部は、前記使用者に指示した前記機器支持状況と、この機器支持状況に対応する前記支持状況判定の結果とに基づいて、前記支持状況判定の方法を更新することを特徴とする請求項1に記載の機器支持状況通知システム。
【請求項3】
前記支持状況判定部は、前記使用者に指示した前記機器支持状況と、この機器支持状況に対応する前記支持状況判定の結果とに基づいた前記支持状況判定の正解率に応じた頻度で、前記機器支持状況を前記使用者に指示することを特徴とする請求項2に記載の機器支持状況通知システム。
【請求項4】
前記支持状況判定部は、実際の前記機器支持状況が前記使用者から入力され、
前記支持状況判定部は、前記使用者から入力された、実際の前記機器支持状況と、この機器支持状況に対応する前記支持状況判定の結果とに基づいて、前記支持状況判定の方法を更新することを特徴とする請求項1に記載の機器支持状況通知システム。
【請求項5】
前記支持状況判定部は、前記使用者から入力された、実際の前記機器支持状況と、この機器支持状況に対応する前記支持状況判定の結果とに基づいた前記支持状況判定の正解率に応じた頻度で、実際の前記機器支持状況の入力を前記使用者に指示することを特徴とする請求項4に記載の機器支持状況通知システム。
【請求項6】
前記支持状況判定部は、前記機器支持状況の予定が前記使用者から入力され、
前記支持状況判定部は、前記使用者から予定が入力された前記機器支持状況と、この機器支持状況に対応する前記支持状況判定の結果とに基づいて、前記支持状況判定の方法を更新することを特徴とする請求項1に記載の機器支持状況通知システム。
【請求項7】
前記支持状況判定部は、前記使用者から予定が入力された前記機器支持状況と、この機器支持状況に対応する前記支持状況判定の結果とに基づいた前記支持状況判定の正解率に応じた頻度で、前記機器支持状況の予定の入力を前記使用者に指示することを特徴とする請求項6に記載の機器支持状況通知システム。
【請求項8】
前記情報通知部は、特定の種類の前記機器支持状況であった時間を前記通知用情報として通知することを特徴とする請求項1から請求項7までのいずれかに記載の機器支持状況通知システム。
【請求項9】
前記情報通知部は、複数の種類の前記機器支持状況のそれぞれであった時間と、前記複数の種類の前記機器支持状況のそれぞれであった時間の比率との少なくとも1つを前記通知用情報として通知することを特徴とする請求項1から請求項7までのいずれかに記載の機器支持状況通知システム。
【請求項10】
前記複数の種類の前記機器支持状況は、
前記電子機器が前記使用者の左腕で支持されている前記機器支持状況、および、前記電子機器が前記使用者の右腕で支持されている前記機器支持状況の組み合わせと、
前記電子機器が鉛直方向における特定の位置の上側で前記使用者に支持されている前記機器支持状況、および、前記電子機器が前記特定の位置の下側で前記使用者に支持されている前記機器支持状況の組み合わせと、
前記電子機器が前記使用者にとっての前後方向における特定の位置の前側で前記使用者に支持されている前記機器支持状況、および、前記電子機器が前記特定の位置の後ろ側で前記使用者に支持されている前記機器支持状況の組み合わせと
のうち、少なくとも1つの組み合わせを含むことを特徴とする請求項9に記載の機器支持状況通知システム。
【請求項11】
前記情報通知部は、現在の前記機器支持状況を前記通知用情報として通知することを特徴とする請求項1から請求項7までのいずれかに記載の機器支持状況通知システム。
【請求項12】
前記情報取得部は、
前記電子機器の位置と、
前記電子機器の傾きと、
前記電子機器の動きと、
前記電子機器の筐体への前記使用者の接触箇所と、
前記電子機器がタッチパネルを備える場合に前記タッチパネルへの前記使用者の接触状態の変化と、
前記電子機器によって取得した、前記使用者の指紋と、
前記電子機器によって撮影された、前記電子機器を支持している前記使用者の顔画像と、
前記電子機器によって検出された、前記電子機器を支持している前記使用者の顔の凹凸と
の少なくとも1つを前記判定用情報として取得することを特徴とする請求項1から請求項11までのいずれかに記載の機器支持状況通知システム。
【請求項13】
使用者が携帯して使用する電子機器の、前記使用者による支持の状況である機器支持状況の判定である支持状況判定に使用される情報である判定用情報を取得する情報取得部によって取得された前記判定用情報に基づいて前記支持状況判定を実行する支持状況判定部と、
前記支持状況判定部によって実行された前記支持状況判定の結果に基づいた情報である通知用情報を通知する情報通知部と
を前記電子機器に実現させることを特徴とする機器支持状況通知プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、使用者が携帯して使用する電子機器の、使用者による支持の状況を通知する機器支持状況通知システムおよび機器支持状況通知プログラムに関する。
【背景技術】
【0002】
従来、使用者が携帯して使用する電子機器が知られている(例えば、特許文献1参照。)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の電子機器においては、使用者による支持の状況が使用者に認識され難いという問題がある。その結果、例えば、電子機器を左手で支持する癖を使用者が有する場合に、使用者の首の左側、左肩および左腕の少なくとも1つに疲労および凝りの少なくとも1つが発生する可能性がある。
【0005】
そこで、本発明は、電子機器の使用者による、電子機器の支持の状況を使用者に認識させることができる機器支持状況通知システムおよび機器支持状況通知プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の機器支持状況通知システムは、使用者が携帯して使用する電子機器の、前記使用者による支持の状況である機器支持状況の判定である支持状況判定に使用される情報である判定用情報を取得する情報取得部と、前記情報取得部によって取得された前記判定用情報に基づいて前記支持状況判定を実行する支持状況判定部と、前記支持状況判定部によって実行された前記支持状況判定の結果に基づいた情報である通知用情報を通知する情報通知部とを備えることを特徴とする。
【0007】
この構成により、本発明の機器支持状況通知システムは、情報取得部によって取得された判定用情報に基づいて支持状況判定を実行し、実行した支持状況判定の結果に基づいた通知用情報を通知するので、機器支持状況を使用者に認識させることができる。
【0008】
本発明の機器支持状況通知システムにおいて、前記支持状況判定部は、前記機器支持状況を前記使用者に指示し、前記支持状況判定部は、前記使用者に指示した前記機器支持状況と、この機器支持状況に対応する前記支持状況判定の結果とに基づいて、前記支持状況判定の方法を更新しても良い。
【0009】
この構成により、本発明の機器支持状況通知システムは、使用者に指示した機器支持状況と、この機器支持状況に対応する支持状況判定の結果とに基づいて、支持状況判定の方法を更新するので、支持状況判定の精度を向上することができる。
【0010】
本発明の機器支持状況通知システムにおいて、前記支持状況判定部は、前記使用者に指示した前記機器支持状況と、この機器支持状況に対応する前記支持状況判定の結果とに基づいた前記支持状況判定の正解率に応じた頻度で、前記機器支持状況を前記使用者に指示しても良い。
【0011】
この構成により、本発明の機器支持状況通知システムは、使用者に指示した機器支持状況と、この機器支持状況に対応する支持状況判定の結果とに基づいた支持状況判定の正解率に応じた頻度で、機器支持状況を使用者に指示するので、機器支持状況を使用者に不必要に高頻度で指示することを防止することができる。
【0012】
本発明の機器支持状況通知システムにおいて、前記支持状況判定部は、実際の前記機器支持状況が前記使用者から入力され、前記支持状況判定部は、前記使用者から入力された、実際の前記機器支持状況と、この機器支持状況に対応する前記支持状況判定の結果とに基づいて、前記支持状況判定の方法を更新しても良い。
【0013】
この構成により、本発明の機器支持状況通知システムは、使用者から入力された、実際の機器支持状況と、この機器支持状況に対応する支持状況判定の結果とに基づいて、支持状況判定の方法を更新するので、支持状況判定の精度を向上することができる。
【0014】
本発明の機器支持状況通知システムにおいて、前記支持状況判定部は、前記使用者から入力された、実際の前記機器支持状況と、この機器支持状況に対応する前記支持状況判定の結果とに基づいた前記支持状況判定の正解率に応じた頻度で、実際の前記機器支持状況の入力を前記使用者に指示しても良い。
【0015】
この構成により、本発明の機器支持状況通知システムは、使用者から入力された、実際の機器支持状況と、この機器支持状況に対応する支持状況判定の結果とに基づいた支持状況判定の正解率に応じた頻度で、実際の機器支持状況の入力を使用者に指示するので、実際の機器支持状況の入力を使用者に不必要に高頻度で指示することを防止することができる。
【0016】
本発明の機器支持状況通知システムにおいて、前記支持状況判定部は、前記機器支持状況の予定が前記使用者から入力され、前記支持状況判定部は、前記使用者から予定が入力された前記機器支持状況と、この機器支持状況に対応する前記支持状況判定の結果とに基づいて、前記支持状況判定の方法を更新しても良い。
【0017】
この構成により、本発明の機器支持状況通知システムは、使用者から予定が入力された機器支持状況と、この機器支持状況に対応する支持状況判定の結果とに基づいて、支持状況判定の方法を更新するので、支持状況判定の精度を向上することができる。
【0018】
本発明の機器支持状況通知システムにおいて、前記支持状況判定部は、前記使用者から予定が入力された前記機器支持状況と、この機器支持状況に対応する前記支持状況判定の結果とに基づいた前記支持状況判定の正解率に応じた頻度で、前記機器支持状況の予定の入力を前記使用者に指示しても良い。
【0019】
この構成により、本発明の機器支持状況通知システムは、使用者から予定が入力された機器支持状況と、この機器支持状況に対応する支持状況判定の結果とに基づいた支持状況判定の正解率に応じた頻度で、機器支持状況の予定の入力を使用者に指示するので、機器支持状況の予定の入力を使用者に不必要に高頻度で指示することを防止することができる。
【0020】
本発明の機器支持状況通知システムにおいて、前記情報通知部は、特定の種類の前記機器支持状況であった時間を前記通知用情報として通知しても良い。
【0021】
この構成により、本発明の機器支持状況通知システムは、特定の種類の機器支持状況であった時間を通知するので、特定の種類の機器支持状況であった時間を使用者に認識させることができる。
【0022】
本発明の機器支持状況通知システムにおいて、前記情報通知部は、複数の種類の前記機器支持状況のそれぞれであった時間と、前記複数の種類の前記機器支持状況のそれぞれであった時間の比率との少なくとも1つを前記通知用情報として通知しても良い。
【0023】
この構成により、本発明の機器支持状況通知システムは、複数の種類の機器支持状況のそれぞれであった時間と、複数の種類の機器支持状況のそれぞれであった時間の比率との少なくとも1つを通知するので、複数の種類の機器支持状況のいずれかに偏っている場合に、複数の種類の機器支持状況のいずれに、どの程度偏っているかを、使用者に認識させることができる。
【0024】
本発明の機器支持状況通知システムにおいて、前記複数の種類の前記機器支持状況は、前記電子機器が前記使用者の左腕で支持されている前記機器支持状況、および、前記電子機器が前記使用者の右腕で支持されている前記機器支持状況の組み合わせと、前記電子機器が鉛直方向における特定の位置の上側で前記使用者に支持されている前記機器支持状況、および、前記電子機器が前記特定の位置の下側で前記使用者に支持されている前記機器支持状況の組み合わせと、前記電子機器が前記使用者にとっての前後方向における特定の位置の前側で前記使用者に支持されている前記機器支持状況、および、前記電子機器が前記特定の位置の後ろ側で前記使用者に支持されている前記機器支持状況の組み合わせとのうち、少なくとも1つの組み合わせを含んでも良い。
【0025】
この構成により、本発明の機器支持状況通知システムは、電子機器が使用者の左腕で支持されている状況と、電子機器が使用者の右腕で支持されている状況とのそれぞれであった時間と、電子機器が使用者の左腕で支持されている状況と、電子機器が使用者の右腕で支持されている状況とのそれぞれであった時間の比率との少なくとも1つを通知する場合に、電子機器が使用者の左腕で支持されている状況と、電子機器が使用者の右腕で支持されている状況とのいずれかに偏っているとき、電子機器が使用者の左腕で支持されている状況と、電子機器が使用者の右腕で支持されている状況とのいずれに、どの程度偏っているかを、使用者に認識させることができる。また、本発明の機器支持状況通知システムは、電子機器が鉛直方向における特定の位置の上側で使用者に支持されている状況と、電子機器が鉛直方向における特定の位置の下側で使用者に支持されている状況とのそれぞれであった時間と、電子機器が鉛直方向における特定の位置の上側で使用者に支持されている状況と、電子機器が鉛直方向における特定の位置の下側で使用者に支持されている状況とのそれぞれであった時間の比率との少なくとも1つを通知する場合に、電子機器が鉛直方向における特定の位置の上側で使用者に支持されている状況と、電子機器が鉛直方向における特定の位置の下側で使用者に支持されている状況とのいずれかに偏っているとき、電子機器が鉛直方向における特定の位置の上側で使用者に支持されている状況と、電子機器が鉛直方向における特定の位置の下側で使用者に支持されている状況とのいずれに、どの程度偏っているかを、使用者に認識させることができる。また、本発明の機器支持状況通知システムは、電子機器が使用者にとっての前後方向における特定の位置の前側で使用者に支持されている状況と、電子機器が使用者にとっての前後方向における特定の位置の後ろ側で使用者に支持されている状況とのそれぞれであった時間と、電子機器が使用者にとっての前後方向における特定の位置の前側で使用者に支持されている状況と、電子機器が使用者にとっての前後方向における特定の位置の後ろ側で使用者に支持されている状況とのそれぞれであった時間の比率との少なくとも1つを通知する場合に、電子機器が使用者にとっての前後方向における特定の位置の前側で使用者に支持されている状況と、電子機器が使用者にとっての前後方向における特定の位置の後ろ側で使用者に支持されている状況とのいずれかに偏っているとき、電子機器が使用者にとっての前後方向における特定の位置の前側で使用者に支持されている状況と、電子機器が使用者にとっての前後方向における特定の位置の後ろ側で使用者に支持されている状況とのいずれに、どの程度偏っているかを、使用者に認識させることができる。
【0026】
本発明の機器支持状況通知システムにおいて、前記情報通知部は、現在の前記機器支持状況を前記通知用情報として通知しても良い。
【0027】
この構成により、本発明の機器支持状況通知システムは、現在の機器支持状況を通知するので、現在の機器支持状況を使用者に認識させることができる。
【0028】
本発明の機器支持状況通知システムにおいて、前記情報取得部は、前記電子機器の位置と、前記電子機器の傾きと、前記電子機器の動きと、前記電子機器の筐体への前記使用者の接触箇所と、前記電子機器がタッチパネルを備える場合に前記タッチパネルへの前記使用者の接触状態の変化と、前記電子機器によって取得した、前記使用者の指紋と、前記電子機器によって撮影された、前記電子機器を支持している前記使用者の顔画像と、前記電子機器によって検出された、前記電子機器を支持している前記使用者の顔の凹凸との少なくとも1つを前記判定用情報として取得しても良い。
【0029】
この構成により、本発明の機器支持状況通知システムは、支持状況判定の精度を向上することができる。
【0030】
本発明の機器支持状況通知プログラムは、使用者が携帯して使用する電子機器の、前記使用者による支持の状況である機器支持状況の判定である支持状況判定に使用される情報である判定用情報を取得する情報取得部によって取得された前記判定用情報に基づいて前記支持状況判定を実行する支持状況判定部と、前記支持状況判定部によって実行された前記支持状況判定の結果に基づいた情報である通知用情報を通知する情報通知部とを前記電子機器に実現させることを特徴とする。
【0031】
この構成により、本発明の機器支持状況通知プログラムを実行する電子機器は、情報取得部によって取得された判定用情報に基づいて支持状況判定を実行し、実行した支持状況判定の結果に基づいた通知用情報を通知するので、機器支持状況を使用者に認識させることができる。
【発明の効果】
【0032】
本発明の機器支持状況通知システムおよび機器支持状況通知プログラムは、電子機器の使用者による、電子機器の支持の状況を使用者に認識させることができる。
【図面の簡単な説明】
【0033】
【
図1】(a)本発明の一実施の形態に係るスマートフォンの正面図である。 (b)
図1(a)に示すスマートフォンの背面図である。
【
図2】
図1に示すスマートフォンの構成を示すブロック図である。
【
図3】
図1に示すスマートフォンの位置に基づいて支持状況判定を実行する場合の基準面の一例を示す図である。
【
図4】(a)使用者の左手で支持されている場合の
図1に示すスマートフォンの一例を示す図である。 (b)使用者の右手で支持されている場合の
図1に示すスマートフォンの一例を示す図である。
【
図5】(a)
図1に示すスマートフォンが使用者の左手で支持されている場合にインカメラによって撮影された顔画像の一例を示す図である。 (b)
図1に示すスマートフォンが使用者の右手で支持されている場合にインカメラによって撮影された顔画像の一例を示す図である。
【
図6】
図2に示す結果履歴情報の一例を示す図である。
【
図7】
図2に示す指示間隔テーブルの一例を示す図である。
【
図8】取得履歴情報を更新する場合の
図1に示すスマートフォンの動作の一例のフローチャートである。
【
図9】基準情報を更新する場合の
図1に示すスマートフォンの動作の一例のフローチャートである。
【
図10】使用者によるスマートフォンへの初回のログイン時に支持状況判定モデルを更新する場合の
図1に示すスマートフォンの動作の一例のフローチャートである。
【
図11】支持履歴情報を更新する場合の
図1に示すスマートフォンの動作の一例のフローチャートである。
【
図12】使用者によるスマートフォンへのログイン後に実際の機器支持状況の入力を使用者に指示することによって支持状況判定モデルを更新する場合の
図1に示すスマートフォンの動作の一例のフローチャートの一部である。
【
図13】
図12に示すフローチャートの続きのフローチャートである。
【
図14】現在の実際の機器支持状況の入力を使用者に指示するためのポップアップが表示された状態の
図1に示すスマートフォンの一例を示す図である。
【
図15】使用者による指示に応じて支持状況判定モデルを更新する場合の
図1に示すスマートフォンの動作の一例のフローチャートである。
【
図16】
図15に示す動作において表示される支持内容決定画面の一例を示す図である。
【
図17】左手使用時間、右手使用時間、左手使用率および右手使用率を通知する場合の
図1に示すスマートフォンの動作の一例のフローチャートである。
【
図18】使用者によるスマートフォンへのログイン後に機器支持状況を使用者に指示することによって支持状況判定モデルを更新する場合の
図1に示すスマートフォンの動作のフローチャートの一部である。
【
図19】
図18に示すフローチャートの続きのフローチャートである。
【
図20】
図18に示す動作において表示される左手支持指示画面の一例を示す図である。
【
図21】現在の機器支持状況を通知する場合の
図1に示すスマートフォンの動作の一例のフローチャートである。
【
図22】本発明の一実施の形態に係る機器支持状況通知システムの、
図2に示す例とは異なる例を示すブロック図である。
【発明を実施するための形態】
【0034】
以下、本発明の実施の形態について、図面を用いて説明する。
【0035】
まず、本発明の一実施の形態に係る電子機器としてのスマートフォンの構成について説明する。
【0036】
図1(a)は、本実施の形態に係る電子機器としてのスマートフォン10の正面図である。
図1(b)は、スマートフォン10の背面図である。
図2は、スマートフォン10の構成を示すブロック図である。
【0037】
図1および
図2に示すように、スマートフォン10は、種々の操作が入力される情報取得部としての操作部11と、種々の情報を表示する例えば有機EL(Electro Luminescence)ディスプレイなどの表示デバイスである表示部12と、音を出力するスピーカー13と、音を入力するマイク14と、スマートフォン10の背面側を撮影するためのアウトカメラ15aと、スマートフォン10の正面側を撮影するための情報取得部としてのインカメラ15bと、バイブレーション機能を実現するための振動モーター16と、種々の情報を検出する情報取得部としてのセンサー部17と、LAN(Local Area Network)、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部18と、各種の情報を記憶する例えば半導体メモリーなどの不揮発性の記憶デバイスである記憶部19と、スマートフォン10全体を制御する制御部20とを備えている。
【0038】
操作部11は、各種の操作デバイスを備えている。例えば、操作部11は、スマートフォン10の電源を入れるための電源ボタン11aと、スピーカー13から出力される音の音量を調整するための音量ボタン11bと、表示部12とともにタッチパネルを構成する位置入力装置11cとを備えている。
【0039】
センサー部17は、各種のセンサーを備えている。例えば、センサー部17は、加速度を検出する加速度センサー17aと、角速度を検出するジャイロセンサー17bと、磁場の大きさおよび方向を検出する磁気センサー17cと、現在位置を検出するGPS(Global Positioning System)ユニット17dと、スマートフォン10の筐体への接触箇所を検出する接触センサー17eと、使用者の顔の凹凸を検出するための赤外線センサー17fとを備えている。
【0040】
記憶部19は、使用者によるスマートフォン10の支持の状況(以下「機器支持状況」という。)を通知するための機器支持状況通知プログラム19aを記憶している。機器支持状況通知プログラム19aは、例えば、スマートフォン10の製造段階でスマートフォン10にインストールされていても良いし、ネットワーク上からスマートフォン10に追加でインストールされても良い。
【0041】
記憶部19は、機器支持状況の判定(以下「支持状況判定」という。)として、スマートフォン10が使用者の左腕のうち左手と、右腕のうち右手とのいずれで支持されているかの状況の判定を実行するための機械学習モデルである支持状況判定モデル19bを記憶している。ここで、以下においては、スマートフォン10を支持している手とは、左手および右手のうち、スマートフォン10の重量を多く支えている方をいう。支持状況判定モデル19bは、例えば、スマートフォン10の製造段階でスマートフォン10にインストールされていても良いし、ネットワーク上からスマートフォン10に追加でインストールされても良い。
【0042】
支持状況判定モデル19bは、各種の情報に基づいて支持状況判定を実行することができる。例えば、支持状況判定モデル19bは、スマートフォン10の位置と、スマートフォン10の傾きと、スマートフォン10の揺れなどの動きと、スマートフォン10の筐体への接触箇所と、スマートフォン10の表示部12への接触状態の変化と、位置入力装置11cによって取得した、使用者の指紋と、インカメラ15bによって撮影された、使用者の顔画像と、赤外線センサー17fによって検出された、使用者の顔の凹凸とに基づいて、機器支持状況を総合的に判定することができる。すなわち、支持状況判定モデル19bは、スマートフォン10の位置と、スマートフォン10の傾きと、スマートフォン10の動きと、スマートフォン10の筐体への接触箇所と、スマートフォン10の表示部12への接触状態の変化と、位置入力装置11cによって取得した、使用者の指紋と、インカメラ15bによって撮影された、使用者の顔画像と、赤外線センサー17fによって検出された、使用者の顔の凹凸との少なくとも1つが入力された場合に、機器支持状況を出力する機械学習モデルである。
【0043】
スマートフォン10の位置に基づいた支持状況判定の方法の一例について説明する。
【0044】
図3は、スマートフォン10の位置に基づいて支持状況判定を実行する場合の基準面31の一例を示す図である。
【0045】
図3は、スマートフォン10および使用者90を上方から下方に向けて観察した場合の図である。
図3に示す基準面31は、後述の基準情報19dに示される、スマートフォン10の位置および向きに基づいて算出される。すなわち、基準面31は、基準情報19dに示される位置および向きのスマートフォン10の表示部12の中心を通り、この表示部12に直交する直線を含む鉛直面である。
図3において、スマートフォン10の正面側からスマートフォン10を観察した場合に基準面31に対して左側の領域、すなわち、使用者90にとっての左側の領域を左側領域32といい、スマートフォン10の正面側からスマートフォン10を観察した場合に基準面31に対して右側の領域、すなわち、使用者90にとっての右側の領域を右側領域33という。
【0046】
例えば、スマートフォン10の現在の位置が左側領域32に含まれる場合には、スマートフォン10が使用者90の左手で支持されていると判定されても良い。同様に、スマートフォン10の現在の位置が右側領域33に含まれる場合には、スマートフォン10が使用者90の右手で支持されていると判定されても良い。なお、制御部20は、例えば、加速度センサー17a、ジャイロセンサー17b、磁気センサー17cおよびGPSユニット17dのそれぞれの出力に基づいて、スマートフォン10の現在の位置を算出しても良いし、例えば、ビーコン測位、UWB(Ultra Wide Band)測位など、他の方法によって、スマートフォン10の現在の位置を算出しても良い。
【0047】
スマートフォン10の傾きに基づいた支持状況判定の方法の一例について説明する。
【0048】
図4(a)は、使用者の左手91で支持されている場合のスマートフォン10の一例を示す図である。
図4(b)は、使用者の右手92で支持されている場合のスマートフォン10の一例を示す図である。
【0049】
図4(a)および
図4(b)は、それぞれ、スマートフォン10の正面側に存在する使用者の目の位置からスマートフォン10を観察した場合の図である。
図4(a)に示すように使用者の左手91でスマートフォン10が支持されている場合には、スマートフォン10は、少し左に傾いている可能性が高い。
図4(b)に示すように使用者の右手92でスマートフォン10が支持されている場合には、スマートフォン10は、少し右に傾いている可能性が高い。したがって、例えば、スマートフォン10が左に傾いている場合には、スマートフォン10が使用者の左手91で支持されていると判定されても良い。同様に、スマートフォン10が右に傾いている場合には、スマートフォン10が使用者の右手92で支持されていると判定されても良い。なお、制御部20は、例えば、加速度センサー17a、ジャイロセンサー17bおよび磁気センサー17cのそれぞれの出力に基づいて、スマートフォン10の現在の傾きを算出しても良いし、他の方法によって、スマートフォン10の現在の傾きを算出しても良い。
【0050】
スマートフォン10の動きに基づいた支持状況判定の方法について説明する。
【0051】
使用者の左手でスマートフォン10が支持されている場合には、スマートフォン10には、使用者の左手で支持されている場合の特有の揺れなど、使用者の左手で支持されている場合の特有の動きが生じる可能性が高い。同様に、使用者の右手でスマートフォン10が支持されている場合には、スマートフォン10には、使用者の右手で支持されている場合の特有の揺れなど、使用者の右手で支持されている場合の特有の動きが生じる可能性が高い。したがって、例えば、スマートフォン10が使用者の左手で支持されている場合の特有の動きがスマートフォン10に生じている場合には、スマートフォン10が使用者の左手で支持されていると判定されても良い。同様に、スマートフォン10が使用者の右手で支持されている場合の特有の動きがスマートフォン10に生じている場合には、スマートフォン10が使用者の右手で支持されていると判定されても良い。なお、制御部20は、例えば、加速度センサー17a、ジャイロセンサー17bおよび磁気センサー17cのそれぞれの出力に基づいて、スマートフォン10の動きを算出しても良いし、他の方法によって、スマートフォン10の動きを算出しても良い。
【0052】
スマートフォン10の筐体への接触箇所に基づいた支持状況判定の方法の一例について説明する。
【0053】
図4(a)に示すように使用者の左手91でスマートフォン10が支持されている場合には、スマートフォン10には、左側面に左手91の第一指が接触し、右側面に左手91の第二指、第三指、第四指および第五指が接触している可能性が高い。
図4(b)に示すように使用者の右手92でスマートフォン10が支持されている場合には、スマートフォン10には、右側面に右手92の第一指が接触し、左側面に右手92の第二指、第三指、第四指および第五指が接触している可能性が高い。したがって、例えば、スマートフォン10の右側面の接触箇所の数が左側面の接触箇所の数より多い場合、または、スマートフォン10の右側面の接触箇所の面積が左側面の接触箇所の面積より大きい場合には、スマートフォン10が使用者の左手91で支持されていると判定されても良い。同様に、スマートフォン10の左側面の接触箇所の数が右側面の接触箇所の数より多い場合、または、スマートフォン10の左側面の接触箇所の面積が右側面の接触箇所の面積より大きい場合には、スマートフォン10が使用者の右手92で支持されていると判定されても良い。なお、制御部20は、例えば、接触センサー17eの出力に基づいて、スマートフォン10の筐体への接触箇所の数および面積を算出しても良い。
【0054】
スマートフォン10の表示部12への接触状態の変化に基づいた支持状況判定の方法の一例について説明する。
【0055】
使用者は、左手でスマートフォン10を支持している場合と、右手でスマートフォン10を支持している場合とで、タッチパネルを構成する表示部12に対する操作に使用する指を変えることがある。そのため、使用者の左手でスマートフォン10が支持されている場合に、表示部12に対して例えばフリック入力などの特定の操作が実行されるとき、スマートフォン10の表示部12への接触状態には、使用者の左手で支持されている場合の特有の変化が生じる可能性が高い。同様に、使用者の右手でスマートフォン10が支持されている場合に、表示部12に対して特定の操作が実行されるとき、スマートフォン10の表示部12への接触状態には、使用者の右手で支持されている場合の特有の変化が生じる可能性が高い。したがって、例えば、表示部12に対して特定の操作が実行される場合に、スマートフォン10が使用者の左手で支持されている場合の特有の変化が表示部12への接触状態に生じているときには、スマートフォン10が使用者の左手で支持されていると判定されても良い。同様に、スマートフォン10が使用者の右手で支持されている場合の特有の変化が表示部12への接触状態に生じているときには、スマートフォン10が使用者の右手で支持されていると判定されても良い。なお、制御部20は、例えば、位置入力装置11cの出力に基づいて、表示部12への接触状態の変化を算出しても良いし、他の方法によって、表示部12への接触状態の変化を算出しても良い。
【0056】
使用者の指紋に基づいた支持状況判定の方法の一例について説明する。
【0057】
使用者は、例えば、スマートフォン10にログインする場合など、特定の場合に、指紋認証のために使用者自身の指紋を位置入力装置11cに入力することがある。使用者は、左手でスマートフォン10を支持している場合と、右手でスマートフォン10を支持している場合とで、指紋認証に使用する指を変えることがある。したがって、例えば、スマートフォン10が使用者の左手で支持されている場合に指紋認証に使用される専用の指の指紋が位置入力装置11cに入力されているときには、スマートフォン10が使用者の左手で支持されていると判定されても良い。同様に、スマートフォン10が使用者の右手で支持されている場合に指紋認証に使用される専用の指の指紋が位置入力装置11cに入力されているときには、スマートフォン10が使用者の右手で支持されていると判定されても良い。
【0058】
使用者の顔画像に基づいた支持状況判定の方法の一例について説明する。
【0059】
図5(a)は、スマートフォン10(
図1参照。)が使用者の左手で支持されている場合にインカメラ15b(
図1参照。)によって撮影された顔画像の一例を示す図である。
図5(b)は、スマートフォン10が使用者の右手で支持されている場合にインカメラ15bによって撮影された顔画像の一例を示す図である。
【0060】
使用者は、例えば、スマートフォン10にログインする場合など、特定の場合に、顔認証のために使用者自身の顔画像をインカメラ15bに撮影させることがある。ここで、使用者の左手でスマートフォン10が支持されている場合に、顔認証が実行されるときには、インカメラ15bによって撮影された顔画像における、使用者の顔93は、
図5(a)に示すように少し右向きである可能性が高い。一方、使用者の右手でスマートフォン10が支持されている場合に、顔認証が実行されるときには、インカメラ15bによって撮影された顔画像における、使用者の顔93は、
図5(b)に示すように少し左向きである可能性が高い。したがって、例えば、顔認証が実行される場合に、インカメラ15bによって撮影された顔画像における、使用者の顔93が右向きであるときには、スマートフォン10が使用者の左手で支持されていると判定されても良い。同様に、顔認証が実行される場合に、インカメラ15bによって撮影された顔画像における、使用者の顔93が左向きであるときには、スマートフォン10が使用者の右手で支持されていると判定されても良い。
【0061】
使用者の顔の凹凸に基づいた支持状況判定の方法の一例について説明する。
【0062】
使用者は、例えば、スマートフォン10にログインする場合など、特定の場合に、顔認証のために使用者自身の顔の凹凸を赤外線センサー17fに検出させることがある。ここで、使用者の左手でスマートフォン10が支持されている場合に、顔認証が実行されるときには、赤外線センサー17fによって検出された凹凸によって表される、使用者の顔は、少し右向きである可能性が高い。一方、使用者の右手でスマートフォン10が支持されている場合に、顔認証が実行されるときには、赤外線センサー17fによって検出された凹凸によって表される、使用者の顔は、少し左向きである可能性が高い。したがって、例えば、顔認証が実行される場合に、赤外線センサー17fによって検出された凹凸によって表される、使用者の顔が右向きであるときには、スマートフォン10が使用者の左手で支持されていると判定されても良い。同様に、顔認証が実行される場合に、赤外線センサー17fによって検出された凹凸によって表される、使用者の顔が左向きであるときには、スマートフォン10が使用者の右手で支持されていると判定されても良い。
【0063】
図2に示すように、記憶部19は、位置入力装置11cの出力と、センサー部17の各種のセンサーの出力との履歴を示す取得履歴情報19cを記憶可能である。
【0064】
記憶部19は、使用者にとっての左右方向における位置の基準となる、スマートフォン10の位置および向きを示す基準情報19dを記憶可能である。
【0065】
記憶部19は、機器支持状況の履歴を示す支持履歴情報19eを記憶可能である。
【0066】
記憶部19は、機器支持状況の確認(以下「支持状況確認」という。)の結果の履歴を示す結果履歴情報19fを記憶可能である。
【0067】
【0068】
図6に示すように、結果履歴情報19fは、支持状況確認の実行の日時と、支持状況確認の結果が正解および不正解のいずれであったかを示す結果とを、支持状況確認毎に含んでいる。
【0069】
図2に示すように、記憶部19は、使用者への指示を実行する時間間隔(以下「指示間隔」という。)と、指示間隔を支持状況確認の正解率とを対応付けている指示間隔テーブル19gを記憶可能である。
【0070】
図7は、指示間隔テーブル19gの一例を示す図である。
【0071】
図7に示す指示間隔テーブル19gにおいて、指示間隔は、長いほど、高い正解率に対応付けられている。指示間隔テーブル19gに示される情報は、使用者によって変更されることが可能である。
【0072】
図2に示すように、記憶部19は、現在の指示間隔を示す指示間隔情報19hを記憶可能である。
【0073】
記憶部19は、時間を計るための計時情報19iを記憶可能である。計時情報19iに示される時間の初期値は、0である。
【0074】
制御部20は、例えば、CPU(Central Processing Unit)と、プログラムおよび各種のデータを記憶しているROM(Read Only Memory)と、制御部20のCPUの作業領域として用いられるメモリーとしてのRAM(Random Access Memory)とを備えている。制御部20のCPUは、記憶部19または制御部20のROMに記憶されているプログラムを実行する。
【0075】
制御部20は、機器支持状況通知プログラム19aを実行することによって、支持状況判定を実行する支持状況判定部20aと、支持状況判定部20aによって実行された支持状況判定の結果に基づいた情報を通知する情報通知部20bとを実現する。すなわち、スマートフォン10は、機器支持状況通知システムを構成している。
【0076】
次に、スマートフォン10の動作について説明する。
【0077】
まず、取得履歴情報19cを更新する場合のスマートフォン10の動作の一例について説明する。
【0078】
図8は、取得履歴情報19cを更新する場合のスマートフォン10の動作の一例のフローチャートである。
【0079】
支持状況判定部20aは、スマートフォン10が起動済みである場合に、
図8に示す動作を実行する。
【0080】
図8に示すように、支持状況判定部20aは、特定のタイミングに到達したと判断するまで、特定のタイミングに到達したか否かを判断する(S101)。ここで、S101における特定のタイミングとは、例えば0.1秒毎のタイミングである。
【0081】
支持状況判定部20aは、特定のタイミングに到達したとS101において判断すると、位置入力装置11cの出力と、センサー部17の各種のセンサーの出力とを取得履歴情報19cに追加して(S102)、S101の処理を実行する。
【0082】
次に、基準情報19dを更新する場合のスマートフォン10の動作の一例について説明する。
【0083】
図9は、基準情報19dを更新する場合のスマートフォン10の動作の一例のフローチャートである。
【0084】
支持状況判定部20aは、特定のタイミングに到達した場合に、
図9に示す動作を実行する。ここで、特定のタイミングは、例えば、使用者がスマートフォン10にログインしたタイミングである。また、特定のタイミングは、例えば、使用者が基準情報19dの更新を操作部11を介して指示したタイミングでも良い。
【0085】
図9に示すように、支持状況判定部20aは、使用者にとっての左右方向における中心の位置にスマートフォン10を配置する指示を、表示部12による表示と、スピーカー13による音声の出力との少なくとも1つによって通知する(S121)。したがって、S121における通知を確認した使用者は、使用者にとっての左右方向における中心の位置にスマートフォン10を配置することができる。
【0086】
支持状況判定部20aは、S121の処理の後、使用者にとっての左右方向における中心の位置にスマートフォン10が配置されたことが使用者によって操作部11を介して通知されたと判断するまで、使用者にとっての左右方向における中心の位置にスマートフォン10が配置されたことが使用者によって操作部11を介して通知されたか否かを判断する(S122)。
【0087】
支持状況判定部20aは、使用者にとっての左右方向における中心の位置にスマートフォン10が配置されたことが使用者によって操作部11を介して通知されたとS122において判断すると、センサー部17の各種のセンサーによって検出された、スマートフォン10の現在の位置および向きを基準情報19dに書き込む(S123)。なお、支持状況判定部20aは、例えば、加速度センサー17a、ジャイロセンサー17b、磁気センサー17cおよびGPSユニット17dのそれぞれの出力に基づいて、スマートフォン10の現在の位置を算出しても良いし、例えば、ビーコン測位、UWB測位など、他の方法によって、スマートフォン10の現在の位置を算出しても良い。また、支持状況判定部20aは、例えば、ジャイロセンサー17bおよび磁気センサー17cのそれぞれの出力に基づいて、スマートフォン10の現在の向きを算出しても良いし、他の方法によって、スマートフォン10の現在の向きを算出しても良い。
【0088】
支持状況判定部20aは、S123の処理の後、
図9に示す動作を終了する。
【0089】
次に、使用者によるスマートフォン10への初回のログイン時に支持状況判定モデル19bを更新する場合のスマートフォン10の動作の一例について説明する。
【0090】
図10は、使用者によるスマートフォン10への初回のログイン時に支持状況判定モデル19bを更新する場合のスマートフォン10の動作の一例のフローチャートである。
【0091】
支持状況判定部20aは、使用者によるスマートフォン10への初回のログイン時に、
図10に示す動作を実行する。
【0092】
図10に示すように、支持状況判定部20aは、スマートフォン10を左手で支持する指示を、表示部12による表示と、スピーカー13による音声の出力との少なくとも1つによって通知する(S141)。したがって、S141における通知を確認した使用者は、スマートフォン10を左手で支持することができる。
【0093】
支持状況判定部20aは、S141の処理の後、特定のタイミングに到達したと判断するまで、特定のタイミングに到達したか否かを判断する(S142)。ここで、S142における特定のタイミングとは、例えば、S141の処理が終了してから5秒が経過したタイミングである。
【0094】
支持状況判定部20aは、特定のタイミングに到達したとS142において判断すると、この特定のタイミングに到達した時点における、スマートフォン10の位置と、スマートフォン10の傾きと、スマートフォン10の動きと、スマートフォン10の筐体への接触箇所とを、取得履歴情報19cおよび基準情報19dに基づいて算出する(S143)。
【0095】
支持状況判定部20aは、S143の処理の後、S143において算出した情報に、スマートフォン10が使用者の左手で支持されていることを正解ラベルとして付与することによって、学習データを生成する(S144)。
【0096】
支持状況判定部20aは、S144の処理の後、スマートフォン10を右手で支持する指示を、表示部12による表示と、スピーカー13による音声の出力との少なくとも1つによって通知する(S145)。したがって、S145における通知を確認した使用者は、スマートフォン10を右手で支持することができる。
【0097】
支持状況判定部20aは、S145の処理の後、特定のタイミングに到達したと判断するまで、特定のタイミングに到達したか否かを判断する(S146)。ここで、S146における特定のタイミングとは、例えば、S145の処理が終了してから5秒が経過したタイミングである。
【0098】
支持状況判定部20aは、特定のタイミングに到達したとS146において判断すると、この特定のタイミングに到達した時点における、スマートフォン10の位置と、スマートフォン10の傾きと、スマートフォン10の動きと、スマートフォン10の筐体への接触箇所とを、取得履歴情報19cおよび基準情報19dに基づいて算出する(S147)。
【0099】
支持状況判定部20aは、S147の処理の後、S147において算出した情報に、スマートフォン10が使用者の右手で支持されていることを正解ラベルとして付与することによって、学習データを生成する(S148)。
【0100】
支持状況判定部20aは、S148の処理の後、スマートフォン10を左手で支持しながらスマートフォン10に対して特定の操作を実行する指示を、表示部12による表示と、スピーカー13による音声の出力との少なくとも1つによって通知する(S149)。したがって、S149における通知を確認した使用者は、スマートフォン10を左手で支持しながらスマートフォン10に対して、S149において通知された特定の操作を実行することができる。なお、S149において通知される特定の操作は、例えば、「こんにちは」などの特定の文字をタッチパネルから入力する操作でも良い。
【0101】
支持状況判定部20aは、S149の処理の後、S149において通知した特定の操作が実行されたと判断するまで、S149において通知した特定の操作が実行されたか否かを判断する(S150)。
【0102】
支持状況判定部20aは、S149において通知した特定の操作が実行されたとS150において判断すると、S149において通知した特定の操作が実行されていた最中における、スマートフォン10の位置と、スマートフォン10の傾きと、スマートフォン10の動きと、スマートフォン10の筐体への接触箇所と、スマートフォン10の表示部12への接触状態の変化とを、取得履歴情報19cおよび基準情報19dに基づいて算出する(S151)。
【0103】
支持状況判定部20aは、S151の処理の後、S151において算出した情報に、スマートフォン10が使用者の左手で支持されていることを正解ラベルとして付与することによって、学習データを生成する(S152)。
【0104】
支持状況判定部20aは、S152の処理の後、スマートフォン10を右手で支持しながらスマートフォン10に対して特定の操作を実行する指示を、表示部12による表示と、スピーカー13による音声の出力との少なくとも1つによって通知する(S153)。したがって、S153における通知を確認した使用者は、スマートフォン10を右手で支持しながらスマートフォン10に対して、S153において通知された特定の操作を実行することができる。なお、S153において通知される特定の操作は、例えば、「こんにちは」などの特定の文字をタッチパネルから入力する操作でも良い。
【0105】
支持状況判定部20aは、S153の処理の後、S153において通知した特定の操作が実行されたと判断するまで、S153において通知した特定の操作が実行されたか否かを判断する(S154)。
【0106】
支持状況判定部20aは、S153において通知した特定の操作が実行されたとS154において判断すると、S153において通知した特定の操作が実行されていた最中における、スマートフォン10の位置と、スマートフォン10の傾きと、スマートフォン10の動きと、スマートフォン10の筐体への接触箇所と、スマートフォン10の表示部12への接触状態の変化とを、取得履歴情報19cおよび基準情報19dに基づいて算出する(S155)。
【0107】
支持状況判定部20aは、S155の処理の後、S155において算出した情報に、スマートフォン10が使用者の右手で支持されていることを正解ラベルとして付与することによって、学習データを生成する(S156)。
【0108】
支持状況判定部20aは、S156の処理の後、S144、S148、S152およびS156において生成した学習データを支持状況判定モデル19bに追加学習させて(S157)、
図10に示す動作を終了する。
【0109】
次に、支持履歴情報19eを更新する場合のスマートフォン10の動作の一例について説明する。
【0110】
図11は、支持履歴情報19eを更新する場合のスマートフォン10の動作の一例のフローチャートである。
【0111】
支持状況判定部20aは、使用者がスマートフォン10にログイン済みである場合に、
図11に示す動作を実行する。
【0112】
図11に示すように、支持状況判定部20aは、特定のタイミングに到達したと判断するまで、特定のタイミングに到達したか否かを判断する(S161)。ここで、S161における特定のタイミングとは、例えば0.1秒毎のタイミングである。
【0113】
支持状況判定部20aは、特定のタイミングに到達したとS161において判断すると、スマートフォン10の位置と、スマートフォン10の傾きと、スマートフォン10の動きと、スマートフォン10の筐体への接触箇所と、スマートフォン10の表示部12への接触状態の変化と、位置入力装置11cによって取得した、使用者の指紋と、インカメラ15bによって撮影された、使用者の顔画像と、赤外線センサー17fによって検出された、使用者の顔の凹凸との少なくとも1つを、インカメラ15bによって撮影された画像と、取得履歴情報19cおよび基準情報19dとの少なくとも1つに基づいて算出する(S162)。
【0114】
支持状況判定部20aは、S162の処理の後、S162において算出した情報を支持状況判定モデル19bに入力することによって支持状況判定を実行する(S163)。
【0115】
例えば、支持状況判定モデル19bは、スマートフォン10の位置と、スマートフォン10の傾きと、スマートフォン10の動きと、スマートフォン10の筐体への接触箇所と、スマートフォン10の表示部12への接触状態の変化と、位置入力装置11cによって取得した、使用者の指紋と、インカメラ15bによって撮影された、使用者の顔画像と、赤外線センサー17fによって検出された、使用者の顔の凹凸とに基づいて、機器支持状況を総合的に判定することができる。
【0116】
支持状況判定部20aは、S163の処理の後、S163において判定した機器支持状況を支持履歴情報19eに追加して(S164)、S161の処理を実行する。
【0117】
次に、使用者によるスマートフォン10へのログイン後に実際の機器支持状況の入力を使用者に指示することによって支持状況判定モデル19bを更新する場合のスマートフォン10の動作の一例について説明する。
【0118】
図12は、使用者によるスマートフォン10へのログイン後に実際の機器支持状況の入力を使用者に指示することによって支持状況判定モデル19bを更新する場合のスマートフォン10の動作の一例のフローチャートの一部である。
図13は、
図12に示すフローチャートの続きのフローチャートである。
【0119】
支持状況判定部20aは、使用者によるスマートフォン10へのログイン後に、
図12および
図13に示す動作を実行する。
【0120】
図12および
図13に示すように、支持状況判定部20aは、計時情報19iに示される時間のカウントアップを開始する(S181)。以降、支持状況判定部20aは、
図12および
図13に示す動作を実行している間、計時情報19iに示される時間のカウントアップを継続する。
【0121】
支持状況判定部20aは、結果履歴情報19fに含まれる支持状況確認の数が特定の数以上であるか否かを判断する(S182)。ここで、特定の数は、例えば10個である。
【0122】
支持状況判定部20aは、結果履歴情報19fに含まれる支持状況確認の数が特定の数以上ではないとS182において判断すると、指示間隔テーブル19gにおいて最も低い正解率に対応付けられている指示間隔を指示間隔情報19hに設定する(S183)。
【0123】
支持状況判定部20aは、結果履歴情報19fに含まれる支持状況確認の数が特定の数以上であるとS182において判断すると、結果履歴情報19fに含まれる支持状況確認のうち、結果が正解である支持状況確認の数を、結果履歴情報19fに含まれる支持状況確認の総数で割ることによって、正解率を算出する(S184)。ここで、支持状況判定部20aは、結果履歴情報19fに含まれる支持状況確認のうち、最新の特定の期間の支持状況確認のみを対象にして、S184における計算を実行しても良い。すなわち、支持状況判定部20aは、結果履歴情報19fに含まれる最新の特定の期間の支持状況確認のうち、結果が正解である支持状況確認の数を、結果履歴情報19fに含まれる最新の特定の期間の支持状況確認の総数で割ることによって、正解率を算出しても良い。ここで、特定の期間は、例えば1週間でも良い。
【0124】
支持状況判定部20aは、S184において算出した正解率に指示間隔テーブル19gにおいて対応付けられている指示間隔を指示間隔情報19hに設定する(S185)。
【0125】
支持状況判定部20aは、S183またはS185の処理の後、計時情報19iに示される時間が、指示間隔情報19hに示される指示間隔を超えたと判断するまで、計時情報19iに示される時間が、指示間隔情報19hに示される指示間隔を超えたか否かを判断する(S186)。
【0126】
支持状況判定部20aは、計時情報19iに示される時間が、指示間隔情報19hに示される指示間隔を超えたとS186において判断すると、計時情報19iに示される時間を0にする(S187)。ここで、支持状況判定部20aは、上述したように、
図12および
図13に示す動作を実行している間、計時情報19iに示される時間のカウントアップを継続する。
【0127】
支持状況判定部20aは、S187の処理の後、現在の実際の機器支持状況の入力を使用者に指示するためのポップアップを表示部12に表示する(S191)。
【0128】
図14は、現在の実際の機器支持状況の入力を使用者に指示するためのポップアップ40が表示された状態のスマートフォン10の一例を示す図である。
【0129】
図14に示すポップアップ40は、スマートフォン10を使用者が左手で支持している状況を入力するための左手支持ボタン41と、スマートフォン10を使用者が両手で支持している状況を入力するための両手支持ボタン42と、スマートフォン10を使用者が右手で支持している状況を入力するための右手支持ボタン43とを含んでいる。
【0130】
左手支持ボタン41は、使用者がスマートフォン10を左手で支持しながら左手の第一指で押し易いように、表示部12の表示範囲における左下の領域に表示されている。右手支持ボタン43は、使用者がスマートフォン10を右手で支持しながら右手の第一指で押し易いように、表示部12の表示範囲における右下の領域に表示されている。
【0131】
図12および
図13に示すように、支持状況判定部20aは、S191の処理の後、左手支持ボタン41、両手支持ボタン42および右手支持ボタン43のいずれかが押されたと判断するまで、左手支持ボタン41、両手支持ボタン42および右手支持ボタン43のいずれかが押されたか否かを判断する(S192)。
【0132】
支持状況判定部20aは、左手支持ボタン41、両手支持ボタン42および右手支持ボタン43のいずれかが押されたとS192において判断すると、押されたボタンが左手支持ボタン41であるか否かを判断する(S193)。
【0133】
支持状況判定部20aは、押されたボタンが左手支持ボタン41であるとS193において判断すると、支持履歴情報19eに示される最新の機器支持状況が、スマートフォン10が使用者の左手で支持されている状況であるか否かを判断する(S194)。
【0134】
支持状況判定部20aは、支持履歴情報19eに示される最新の機器支持状況が、スマートフォン10が使用者の左手で支持されている状況であるとS194において判断すると、今回の支持状況確認の結果として正解を結果履歴情報19fに追加する(S195)。
【0135】
支持状況判定部20aは、支持履歴情報19eに示される最新の機器支持状況が、スマートフォン10が使用者の左手で支持されている状況ではないとS194において判断すると、今回の支持状況確認の結果として不正解を結果履歴情報19fに追加する(S196)。
【0136】
支持状況判定部20aは、S195またはS196の処理の後、左手支持ボタン41が押される直前の特定の期間における、スマートフォン10の位置と、スマートフォン10の傾きと、スマートフォン10の動きと、スマートフォン10の筐体への接触箇所と、スマートフォン10の表示部12への接触状態の変化とを、取得履歴情報19cおよび基準情報19dに基づいて算出する(S197)。
【0137】
支持状況判定部20aは、S197の処理の後、S197において算出した情報に、スマートフォン10が使用者の左手で支持されていることを正解ラベルとして付与することによって、学習データを生成する(S198)。
【0138】
支持状況判定部20aは、押されたボタンが左手支持ボタン41ではないとS193において判断すると、押されたボタンが右手支持ボタン43であるか否かを判断する(S199)。
【0139】
支持状況判定部20aは、押されたボタンが右手支持ボタン43であるとS199において判断すると、支持履歴情報19eに示される最新の機器支持状況が、スマートフォン10が使用者の右手で支持されている状況であるか否かを判断する(S200)。
【0140】
支持状況判定部20aは、支持履歴情報19eに示される最新の機器支持状況が、スマートフォン10が使用者の右手で支持されている状況であるとS200において判断すると、今回の支持状況確認の結果として正解を結果履歴情報19fに追加する(S201)。
【0141】
支持状況判定部20aは、支持履歴情報19eに示される最新の機器支持状況が、スマートフォン10が使用者の右手で支持されている状況ではないとS200において判断すると、今回の支持状況確認の結果として不正解を結果履歴情報19fに追加する(S202)。
【0142】
支持状況判定部20aは、S201またはS202の処理の後、右手支持ボタン43が押される直前の特定の期間における、スマートフォン10の位置と、スマートフォン10の傾きと、スマートフォン10の動きと、スマートフォン10の筐体への接触箇所と、スマートフォン10の表示部12への接触状態の変化とを、取得履歴情報19cおよび基準情報19dに基づいて算出する(S203)。
【0143】
支持状況判定部20aは、S203の処理の後、S203において算出した情報に、スマートフォン10が使用者の右手で支持されていることを正解ラベルとして付与することによって、学習データを生成する(S204)。
【0144】
支持状況判定部20aは、S198またはS204の処理の後、S198またはS204において生成した学習データを支持状況判定モデル19bに追加学習させる(S205)。
【0145】
支持状況判定部20aは、押されたボタンが右手支持ボタン43ではないとS199において判断するか、S205の処理が終了すると、S182の処理を実行する。
【0146】
次に、使用者による指示に応じて支持状況判定モデル19bを更新する場合のスマートフォン10の動作の一例について説明する。
【0147】
図15は、使用者による指示に応じて支持状況判定モデル19bを更新する場合のスマートフォン10の動作の一例のフローチャートである。
【0148】
支持状況判定部20aは、支持状況判定モデル19bの更新の処理の開始が使用者によって指示されると、
図15に示す動作を実行する。
【0149】
図15に示すように、支持状況判定部20aは、使用者によるスマートフォン10の支持の内容を決定するための支持内容決定画面50(
図16参照。)を表示部12に表示する(S221)。
【0150】
図16は、支持内容決定画面50の一例を示す図である。
【0151】
図16に示す支持内容決定画面50は、使用者がスマートフォン10を支持する時間を指定するためのドロップダウンリスト51と、左手および右手のうち、使用者がスマートフォン10を支持する方を指定するためのドロップダウンリスト52と、ドロップダウンリスト51およびドロップダウンリスト52によって指定した内容で使用者がスマートフォン10の支持を開始するための開始ボタン53とを含んでいる。
【0152】
図15に示すように、支持状況判定部20aは、S221の処理の後、開始ボタン53が押されたと判断するまで、開始ボタン53が押されたか否かを判断する(S222)。
【0153】
支持状況判定部20aは、開始ボタン53が押されたとS222において判断すると、開始ボタン53が押されたとS222において判断してから、ドロップダウンリスト51によって指定された時間が経過するまでの間における、スマートフォン10の位置と、スマートフォン10の傾きと、スマートフォン10の動きと、スマートフォン10の筐体への接触箇所と、スマートフォン10の表示部12への接触状態の変化とを、取得履歴情報19cおよび基準情報19dに基づいて算出する(S223)。
【0154】
支持状況判定部20aは、S223の処理の後、S223において算出した情報に、スマートフォン10が使用者の左手および右手のうち、ドロップダウンリスト52によって指定された方で支持されていることを正解ラベルとして付与することによって、学習データを生成する(S224)。
【0155】
支持状況判定部20aは、S224の処理の後、S224において生成した学習データを支持状況判定モデル19bに追加学習させて(S225)、
図15に示す動作を終了する。
【0156】
次に、特定の期間においてスマートフォン10が使用者の左手で支持されながら使用されていた合計時間(以下「左手使用時間」という。)と、特定の期間においてスマートフォン10が使用者の右手で支持されながら使用されていた合計時間(以下「右手使用時間」という。)と、左手使用時間および右手使用時間の合計に対する左手使用時間の比率(以下「左手使用率」という。)と、左手使用時間および右手使用時間の合計に対する右手使用時間の比率(以下「右手使用率」という。)とを通知する場合のスマートフォン10の動作の一例について説明する。
【0157】
図17は、左手使用時間、右手使用時間、左手使用率および右手使用率を通知する場合のスマートフォン10の動作の一例のフローチャートである。
【0158】
情報通知部20bは、左手使用時間、右手使用時間、左手使用率および右手使用率の通知が使用者によって指示されたタイミングなど、特定のタイミングに、
図17に示す動作を実行する。
【0159】
図17に示すように、情報通知部20bは、支持履歴情報19eに基づいて左手使用時間および右手使用時間を算出する(S241)。S241における算出の対象の機器支持状況は、スマートフォン10の初回起動時から現在までの全ての期間の機器支持状況でも良いし、スマートフォン10の初回起動時から現在までの期間のうち、最新の特定の期間の機器支持状況でも良い。ここで、特定の期間は、例えば1週間でも良い。
【0160】
情報通知部20bは、S241の処理の後、S241において算出した左手使用時間および右手使用時間に基づいて左手使用率および右手使用率を算出する(S242)。例えば、情報通知部20bは、S241において算出した左手使用時間、右手使用時間がそれぞれ2時間、8時間である場合、左手使用率、右手使用率としてそれぞれ20%、80%をS242において算出する。
【0161】
情報通知部20bは、S242の処理の後、S241において算出した左手使用時間および右手使用時間と、S242において算出した左手使用率および右手使用率とを、表示部12による表示と、スピーカー13による音声の出力との少なくとも1つによって通知して(S243)、
図17に示す動作を終了する。
【0162】
したがって、S243における通知を確認した使用者は、例えば、左手使用率および右手使用率が均一になるように、左手および右手のうちスマートフォン10を支持する方を意識的に決定することができる。
【0163】
以上において、支持状況判定部20aは、使用者によるスマートフォン10への初回のログイン時に支持状況判定モデル19bを更新する(
図10参照。)。しかしながら、支持状況判定部20aは、使用者によるスマートフォン10への初回のログイン時に支持状況判定モデル19bを更新しなくても良い。支持状況判定部20aは、使用者によるスマートフォン10への初回のログイン時に支持状況判定モデル19bを更新するか否かを使用者からの指示に応じて設定可能でも良い。
【0164】
以上において、支持状況判定部20aは、使用者によるスマートフォン10へのログイン後に実際の機器支持状況の入力を使用者に指示することによって支持状況判定モデル19bを更新する(
図12および
図13参照。)。しかしながら、支持状況判定部20aは、使用者によるスマートフォン10へのログイン後に実際の機器支持状況の入力を使用者に指示する方法以外の方法によって、使用者によるスマートフォン10へのログイン後に支持状況判定モデル19bを更新しても良い。例えば、支持状況判定部20aは、使用者によるスマートフォン10へのログイン後に機器支持状況を使用者に指示することによって支持状況判定モデル19bを更新しても良い。
【0165】
図18は、使用者によるスマートフォン10へのログイン後に機器支持状況を使用者に指示することによって支持状況判定モデル19bを更新する場合のスマートフォン10の動作のフローチャートの一部である。
図19は、
図18に示すフローチャートの続きのフローチャートである。
【0166】
支持状況判定部20aは、使用者によるスマートフォン10へのログイン後に、
図12、
図18および
図19に示す動作を実行する。すなわち、支持状況判定部20aは、
図13に示す動作に代えて、
図18および
図19に示す動作を実行する。
【0167】
【0168】
支持状況判定部20aは、S187の処理の後、使用者がスマートフォン10を左手で支持しながら使用することを使用者に指示するための左手支持指示画面60(
図20参照。)を表示部12に表示する(S261)。
【0169】
図20は、左手支持指示画面60の一例を示す図である。
【0170】
図20に示す左手支持指示画面60は、「今から10分間、左手で支持しながら使用してください。」というメッセージ61と、メッセージ61に示された内容で使用者がスマートフォン10の支持を開始するための開始ボタン62とを含んでいる。なお、メッセージ61に示されている時間、すなわち、「10分間」は、使用者によって事前に変更されることが可能である。
【0171】
図12、
図18および
図19に示すように、支持状況判定部20aは、S261の処理の後、開始ボタン62が押されたと判断するまで、開始ボタン62が押されたか否かを判断する(S262)。
【0172】
支持状況判定部20aは、開始ボタン62が押されたとS262において判断すると、メッセージ61に示されている時間が経過したか否かを判断する(S263)。
【0173】
支持状況判定部20aは、メッセージ61に示されている時間が経過していないとS263において判断すると、支持履歴情報19eが更新されたか否かを判断する(S264)。
【0174】
支持状況判定部20aは、支持履歴情報19eが更新されていないとS264において判断すると、S263の処理を実行する。
【0175】
支持状況判定部20aは、支持履歴情報19eが更新されたとS264において判断すると、支持履歴情報19eに示される最新の機器支持状況が、スマートフォン10が使用者の左手で支持されている状況であるか否かを判断する(S265)。
【0176】
支持状況判定部20aは、支持履歴情報19eに示される最新の機器支持状況が、スマートフォン10が使用者の左手で支持されている状況であるとS265において判断すると、今回の支持状況確認の結果として正解を結果履歴情報19fに追加する(S266)。
【0177】
支持状況判定部20aは、支持履歴情報19eに示される最新の機器支持状況が、スマートフォン10が使用者の左手で支持されている状況ではないとS265において判断すると、今回の支持状況確認の結果として不正解を結果履歴情報19fに追加する(S267)。
【0178】
支持状況判定部20aは、S266またはS267の処理の後、S263の処理を実行する。
【0179】
支持状況判定部20aは、メッセージ61に示されている時間が経過したとS263において判断すると、開始ボタン62が押されたとS262において判断してから、メッセージ61に示された時間が経過するまでの間における、スマートフォン10の位置と、スマートフォン10の傾きと、スマートフォン10の動きと、スマートフォン10の筐体への接触箇所と、スマートフォン10の表示部12への接触状態の変化とを、取得履歴情報19cおよび基準情報19dに基づいて算出する(S268)。
【0180】
支持状況判定部20aは、S268の処理の後、S268において算出した情報に、スマートフォン10が使用者の左手で支持されていることを正解ラベルとして付与することによって、学習データを生成する(S269)。
【0181】
支持状況判定部20aは、S269の処理の後、使用者がスマートフォン10を右手で支持しながら使用することを使用者に指示するための右手支持指示画面を表示部12に表示する(S270)。右手支持指示画面は、「今から10分間、右手で支持しながら使用してください。」というメッセージをメッセージ61(
図20参照。)の代わりに含んでいることを除いて、左手支持指示画面60(
図20参照。)と同様である。
【0182】
支持状況判定部20aは、S270の処理の後、右手支持指示画面の開始ボタンが押されたと判断するまで、右手支持指示画面の開始ボタンが押されたか否かを判断する(S271)。
【0183】
支持状況判定部20aは、右手支持指示画面の開始ボタンが押されたとS271において判断すると、右手支持指示画面のメッセージに示されている時間が経過したか否かを判断する(S272)。
【0184】
支持状況判定部20aは、右手支持指示画面のメッセージに示されている時間が経過していないとS272において判断すると、支持履歴情報19eが更新されたか否かを判断する(S273)。
【0185】
支持状況判定部20aは、支持履歴情報19eが更新されていないとS273において判断すると、S272の処理を実行する。
【0186】
支持状況判定部20aは、支持履歴情報19eが更新されたとS273において判断すると、支持履歴情報19eに示される最新の機器支持状況が、スマートフォン10が使用者の右手で支持されている状況であるか否かを判断する(S274)。
【0187】
支持状況判定部20aは、支持履歴情報19eに示される最新の機器支持状況が、スマートフォン10が使用者の右手で支持されている状況であるとS274において判断すると、今回の支持状況確認の結果として正解を結果履歴情報19fに追加する(S275)。
【0188】
支持状況判定部20aは、支持履歴情報19eに示される最新の機器支持状況が、スマートフォン10が使用者の右手で支持されている状況ではないとS274において判断すると、今回の支持状況確認の結果として不正解を結果履歴情報19fに追加する(S276)。
【0189】
支持状況判定部20aは、S275またはS276の処理の後、S272の処理を実行する。
【0190】
支持状況判定部20aは、右手支持指示画面のメッセージに示されている時間が経過したとS272において判断すると、右手支持指示画面の開始ボタンが押されたとS271において判断してから、右手支持指示画面のメッセージに示された時間が経過するまでの間における、スマートフォン10の位置と、スマートフォン10の傾きと、スマートフォン10の動きと、スマートフォン10の筐体への接触箇所と、スマートフォン10の表示部12への接触状態の変化とを、取得履歴情報19cおよび基準情報19dに基づいて算出する(S277)。
【0191】
支持状況判定部20aは、S277の処理の後、S277において算出した情報に、スマートフォン10が使用者の右手で支持されていることを正解ラベルとして付与することによって、学習データを生成する(S278)。
【0192】
支持状況判定部20aは、S278の処理の後、S269およびS278において生成した学習データを支持状況判定モデル19bに追加学習させて(S279)、S182の処理を実行する。
【0193】
以上において、支持状況判定部20aは、使用者によるスマートフォン10へのログイン後に支持状況判定モデル19bを更新する(
図12、
図13、
図18および
図19参照。)。しかしながら、支持状況判定部20aは、使用者によるスマートフォン10へのログイン後に支持状況判定モデル19bを更新しなくても良い。支持状況判定部20aは、使用者によるスマートフォン10へのログイン後に支持状況判定モデル19bを更新するか否かを使用者からの指示に応じて設定可能でも良い。
【0194】
以上において、情報通知部20bは、支持状況判定の結果に基づいた情報として、左手使用時間、右手使用時間、左手使用率および右手使用率を通知する(S243)。しかしながら、情報通知部20bは、支持状況判定の結果に基づいた情報として、左手使用時間、右手使用時間、左手使用率および右手使用率以外の情報を通知しても良い。例えば、情報通知部20bは、支持状況判定の結果に基づいた情報として、現在の機器支持状況を通知しても良い。
【0195】
図21は、現在の機器支持状況を通知する場合のスマートフォン10の動作の一例のフローチャートである。
【0196】
スマートフォン10の使用者は、例えば、使用者自身の首の左側、左肩および左腕に疲労および凝りが発生していると判断した場合に、
図21に示す動作の実行を例えば位置入力装置11cを介してスマートフォン10に指示することができる。情報通知部20bは、
図21に示す動作の実行が指示されると、
図21に示す動作を実行する。
【0197】
図21に示すように、情報通知部20bは、支持履歴情報19eが更新されたと判断するまで、支持履歴情報19eが更新されたか否かを判断する(S281)。
【0198】
情報通知部20bは、支持履歴情報19eが更新されたとS281において判断すると、支持履歴情報19eに示される最新の機器支持状況が、スマートフォン10が使用者の左手で支持されている状況であるか否かを判断する(S282)。
【0199】
情報通知部20bは、支持履歴情報19eに示される最新の機器支持状況が、スマートフォン10が使用者の左手で支持されている状況であるとS282において判断すると、スマートフォン10が使用者の左手で支持されている状況であることを、表示部12による表示と、スピーカー13による音声の出力と、振動モーター16によるバイブレーションとの少なくとも1つによって通知する(S283)。したがって、S283における通知を確認した使用者は、例えば、スマートフォン10を右手で支持することによって、使用者自身の首の左側、左肩および左腕に発生している疲労および凝りを軽減することができる。
【0200】
情報通知部20bは、支持履歴情報19eに示される最新の機器支持状況が、スマートフォン10が使用者の左手で支持されている状況ではないとS282において判断するか、S283の処理が終了すると、S281の処理を実行する。
【0201】
以上に説明したように、スマートフォン10は、操作部11、インカメラ15bおよびセンサー部17によって取得された情報に基づいて支持状況判定を実行し(S163)、実行した支持状況判定の結果に基づいた情報を通知する(S243およびS283)ので、機器支持状況を使用者に認識させることができる。
【0202】
スマートフォン10は、S141、S145、S149、S153、S261およびS270において使用者に指示した機器支持状況と、この機器支持状況に対応する支持状況判定の結果とに基づいて、支持状況判定の方法を更新する(S157およびS279)ので、支持状況判定の精度を向上することができる。
【0203】
スマートフォン10は、使用者に指示した機器支持状況と、この機器支持状況に対応する支持状況判定の結果とに基づいた支持状況判定の正解率に応じた頻度で、機器支持状況を使用者に指示する(S181~S187、S261およびS270)ので、機器支持状況を使用者に不必要に高頻度で指示することを防止することができる。
【0204】
スマートフォン10は、S192において使用者から入力された、実際の機器支持状況と、この機器支持状況に対応する支持状況判定の結果とに基づいて、支持状況判定の方法を更新する(S205)ので、支持状況判定の精度を向上することができる。
【0205】
スマートフォン10は、使用者から入力された、実際の機器支持状況と、この機器支持状況に対応する支持状況判定の結果とに基づいた支持状況判定の正解率に応じた頻度で、実際の機器支持状況の入力を使用者に指示する(S181~S187およびS191)ので、実際の機器支持状況の入力を使用者に不必要に高頻度で指示することを防止することができる。
【0206】
スマートフォン10は、S222において使用者から予定が入力された機器支持状況と、この機器支持状況に対応する支持状況判定の結果とに基づいて、支持状況判定の方法を更新する(S225)ので、支持状況判定の精度を向上することができる。
【0207】
なお、以上においては、使用者から予定が入力された機器支持状況と、この機器支持状況に対応する支持状況判定の結果とに基づいた支持状況判定の正解率に応じた頻度で、スマートフォン10が機器支持状況の予定の入力を使用者に指示することについては説明していない。しかしながら、スマートフォン10は、使用者に指示した機器支持状況と、この機器支持状況に対応する支持状況判定の結果とに基づいた支持状況判定の正解率に応じた頻度で、機器支持状況を使用者に指示する(S181~S187、S261およびS270)場合や、使用者から入力された、実際の機器支持状況と、この機器支持状況に対応する支持状況判定の結果とに基づいた支持状況判定の正解率に応じた頻度で、実際の機器支持状況の入力を使用者に指示する(S181~S187およびS191)場合と同様に、使用者から予定が入力された機器支持状況と、この機器支持状況に対応する支持状況判定の結果とに基づいた支持状況判定の正解率に応じた頻度で、機器支持状況の予定の入力を使用者に指示しても良い。スマートフォン10は、使用者から予定が入力された機器支持状況と、この機器支持状況に対応する支持状況判定の結果とに基づいた支持状況判定の正解率に応じた頻度で、機器支持状況の予定の入力を使用者に指示する場合、機器支持状況の予定の入力を使用者に不必要に高頻度で指示することを防止することができる。
【0208】
スマートフォン10は、特定の種類の機器支持状況、すなわち、スマートフォン10が使用者の左手で支持されながら使用されていた状況であった時間である左手使用時間を通知することが可能である(S243)ので、スマートフォン10が使用者の左手で支持されながら使用されていた状況であった時間を使用者に認識させることができる。同様に、スマートフォン10は、特定の種類の機器支持状況、すなわち、スマートフォン10が使用者の右手で支持されながら使用されていた状況であった時間である右手使用時間を通知することが可能である(S243)ので、スマートフォン10が使用者の右手で支持されながら使用されていた状況であった時間を使用者に認識させることができる。
【0209】
スマートフォン10は、複数の種類の機器支持状況のそれぞれであった時間、すなわち、スマートフォン10が使用者の左手で支持されながら使用されていた状況であった時間である左手使用時間と、スマートフォン10が使用者の右手で支持されながら使用されていた状況であった時間である右手使用時間とを通知する(S243)ので、スマートフォン10が使用者の左手で支持されながら使用されていた状況と、スマートフォン10が使用者の右手で支持されながら使用されていた状況とのいずれかに偏っている場合に、スマートフォン10が使用者の左手で支持されながら使用されていた状況と、スマートフォン10が使用者の右手で支持されながら使用されていた状況とのいずれに、どの程度偏っているかを、使用者に認識させることができる。同様に、スマートフォン10は、複数の種類の機器支持状況のそれぞれであった時間の比率、すなわち、スマートフォン10が使用者の左手で支持されながら使用されていた状況であった時間である左手使用時間と、スマートフォン10が使用者の右手で支持されながら使用されていた状況であった時間である右手使用時間との比率を通知する(S243)ので、スマートフォン10が使用者の左手で支持されながら使用されていた状況と、スマートフォン10が使用者の右手で支持されながら使用されていた状況とのいずれかに偏っている場合に、スマートフォン10が使用者の左手で支持されながら使用されていた状況と、スマートフォン10が使用者の右手で支持されながら使用されていた状況とのいずれに、どの程度偏っているかを、使用者に認識させることができる。
【0210】
スマートフォン10は、スマートフォン10が使用者の左手で支持されながら使用されていた状況と、スマートフォン10が使用者の右手で支持されながら使用されていた状況とのいずれに、どの程度偏っているかを、使用者に認識させることができるので、スマートフォン10が使用者の左手で支持されながら使用されていた状況と、スマートフォン10が使用者の右手で支持されながら使用されていた状況とのバランスを使用者に整えさせることができる。そのため、スマートフォン10が使用者の左手で支持されながら使用されていた状況と、スマートフォン10が使用者の右手で支持されながら使用されていた状況とのいずれかに偏っていることが原因で、使用者の首の左側、左肩および左腕と、使用者の首の右側、右肩および右腕とのいずれかに疲労および凝りが発生している場合に、これらの疲労および凝りを軽減することができる。また、スマートフォン10が使用者の左手で支持されながら使用されていた状況と、スマートフォン10が使用者の右手で支持されながら使用されていた状況とのいずれかに偏っていることが原因で、使用者の左右の筋力のバランスの崩れが発生している場合に、この崩れを軽減することができる。また、スマートフォン10が使用者の左手で支持されながら使用されていた状況と、スマートフォン10が使用者の右手で支持されながら使用されていた状況とのいずれかに偏っていることが原因で、使用者の左脳および右脳の使用のバランスの崩れが発生している場合に、この崩れを軽減することができる。
【0211】
スマートフォン10は、現在の機器支持状況を通知する(S283)ことができるので、現在の機器支持状況を使用者に認識させることができる。
【0212】
スマートフォン10は、スマートフォン10の位置と、スマートフォン10の傾きと、スマートフォン10の動きと、スマートフォン10の筐体への使用者の接触箇所と、スマートフォン10のタッチパネルへの使用者の接触状態の変化と、スマートフォン10によって取得した、使用者の指紋と、スマートフォン10によって撮影された、スマートフォン10を支持している使用者の顔画像と、スマートフォン10によって検出された、スマートフォン10を支持している使用者の顔の凹凸とを、支持状況判定に使用される情報として取得するので、支持状況判定の精度を向上することができる。
【0213】
以上においては、スマートフォン10は、使用者の左手および右手のいずれで支持されているかの状況を通知する。しかしながら、スマートフォン10は、同様の仕組みによって、使用者の左腕および右腕のいずれで支持されているかの状況を通知することもできる。なお、本発明において、腕は、人の肩から手の先端までの部分を意味しており、手を含んでいる。例えば、スマートフォン10は、バンドによって使用者の腕に装着されても良い。
【0214】
以上においては、スマートフォン10は、使用者の左腕および右腕のいずれで支持されているかの状況を通知する。しかしながら、スマートフォン10は、同様の仕組みによって、鉛直方向における特定の位置の上側および下側のいずれで支持されているかの状況を通知することもできるし、使用者にとっての前後方向における特定の位置の前側および後ろ側のいずれで支持されているかの状況を通知することもできる。ここで、鉛直方向における特定の位置と、使用者にとっての前後方向における特定の位置とは、例えば、スマートフォン10への使用者のログイン時などの任意のタイミングにおけるスマートフォン10の位置である。スマートフォン10は、鉛直方向における特定の位置の上側および下側のいずれで支持されているかの状況を通知する場合には、例えば、スマートフォン10が鉛直方向における特定の位置の上側で使用者に支持されている状況と、スマートフォン10が鉛直方向における特定の位置の下側で使用者に支持されている状況とのいずれかに偏っているときに、スマートフォン10が鉛直方向における特定の位置の上側で使用者に支持されている状況と、スマートフォン10が鉛直方向における特定の位置の下側で使用者に支持されている状況とのいずれに、どの程度偏っているかを、使用者に認識させることができる。また、スマートフォン10は、使用者にとっての前後方向における特定の位置の前側および後ろ側のいずれで支持されているかの状況を通知する場合には、例えば、スマートフォン10が使用者にとっての前後方向における特定の位置の前側で使用者に支持されている状況と、スマートフォン10が使用者にとっての前後方向における特定の位置の後ろ側で使用者に支持されている状況とのいずれかに偏っているときに、スマートフォン10が使用者にとっての前後方向における特定の位置の前側で使用者に支持されている状況と、スマートフォン10が使用者にとっての前後方向における特定の位置の後ろ側で使用者に支持されている状況とのいずれに、どの程度偏っているかを、使用者に認識させることができる。
【0215】
図22は、本実施の形態に係る機器支持状況通知システムの、
図2に示す例とは異なる例を示すブロック図である。
【0216】
以上においては、本発明の機器支持状況通知システムが本発明の電子機器のみで構成されている例を説明している。しかしながら、本発明の機器支持状況通知システムは、本発明の電子機器と、この電子機器の外部の少なくとも1つの電子機器とによって構成されても良い。例えば、
図22に示す機器支持状況通知システム70は、本発明の電子機器としてのスマートフォン71と、スマートフォン71がネットワーク70aを介して通信可能であるクラウドサービス72とによって構成されている。クラウドサービス72は、スマートフォン10(
図2参照。)が実現していた機能のいずれか一部をスマートフォン71の代わりに実現するものである。
【0217】
以上においては、本発明の電子機器として、スマートフォンの例を説明している。しかしながら、本発明の電子機器は、少なくとも一部が使用者に携帯されて使用されるものであれば、スマートフォン以外のものでも良い。例えば、本発明の電子機器は、スマートフォン以外の携帯電話、固定電話、タブレット、ウェアラブル端末、デジタルカメラ、レーザーポインターでも良い。ここで、ウェアラブル端末としては、例えば、スマートウォッチ、指輪型の活動量計などが考えられる。本発明の電子機器は、表示部を備えていることが好ましい。
【0218】
以上において、本発明の機器支持状況通知システムは、左手使用時間、右手使用時間、左手使用率および右手使用率を通知する(S243)。しかしながら、本発明の機器支持状況通知システムは、特定の期間において電子機器が使用者の左手で支持されていた合計時間(以下「左手支持時間」という。)と、特定の期間において電子機器が使用者の右手で支持されていた合計時間(以下「右手支持時間」という。)と、左手支持時間および右手支持時間の合計に対する左手支持時間の比率(以下「左手支持率」という。)と、左手支持時間および右手支持時間の合計に対する右手支持時間の比率(以下「右手支持率」という。)とを算出し、算出した左手支持時間、右手支持時間、左手支持率および右手支持率を、左手使用時間、右手使用時間、左手使用率および右手使用率に代えて、または、左手使用時間、右手使用時間、左手使用率および右手使用率に追加して、通知しても良い。特に、本発明の機器支持状況通知システムは、本発明の電子機器がウェアラブル端末である場合、左手支持時間、右手支持時間、左手支持率および右手支持率を通知する効果が大きい。
【符号の説明】
【0219】
10 スマートフォン(機器支持状況通知システム、電子機器)
11 操作部(情報取得部)
11c 位置入力装置(タッチパネル)
12 表示部(タッチパネル)
15b インカメラ(情報取得部)
17 センサー部(情報取得部)
19a 機器支持状況通知プログラム
20a 支持状況判定部
20b 情報通知部
70 機器支持状況通知システム
71 スマートフォン(電子機器)
90 使用者
91 左手(左腕の一部)
92 右手(右腕の一部)
93 顔
【手続補正書】
【提出日】2021-12-02
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
使用者が携帯して使用する電子機器の、前記使用者による支持の状況である機器支持状況の判定である支持状況判定に使用される情報である判定用情報を取得する情報取得部と、
前記情報取得部によって取得された前記判定用情報に基づいて前記支持状況判定を実行する支持状況判定部と、
前記支持状況判定部によって実行された前記支持状況判定の結果に基づいた情報である通知用情報を前記使用者に通知する情報通知部と
を備えることを特徴とする機器支持状況通知システム。
【請求項2】
前記支持状況判定は、
前記電子機器が前記使用者の左腕で支持されている前記機器支持状況と、
前記電子機器が前記使用者の右腕で支持されている前記機器支持状況と、
前記電子機器が鉛直方向における特定の位置の上側で前記使用者に支持されている前記機器支持状況と、
前記電子機器が鉛直方向における特定の位置の下側で前記使用者に支持されている前記機器支持状況と、
前記電子機器が前記使用者にとっての前後方向における特定の位置の前側で前記使用者に支持されている前記機器支持状況と、
前記電子機器が前記使用者にとっての前後方向における特定の位置の後ろ側で前記使用者に支持されている前記機器支持状況と
の少なくとも1つの判定であることを特徴とする請求項1に記載の機器支持状況通知システム。
【請求項3】
前記情報通知部は、現在の前記機器支持状況を前記通知用情報として通知することを特徴とする請求項1または請求項2に記載の機器支持状況通知システム。
【請求項4】
前記情報取得部は、
前記電子機器の位置と、
前記電子機器の傾きと、
前記電子機器の動きと、
前記電子機器の筐体への前記使用者の接触箇所と、
前記電子機器がタッチパネルを備える場合に前記タッチパネルへの前記使用者の接触状態の変化と、
前記電子機器によって取得した、前記使用者の指紋と、
前記電子機器によって撮影された、前記電子機器を支持している前記使用者の顔画像と、
前記電子機器によって検出された、前記電子機器を支持している前記使用者の顔の凹凸と
の少なくとも1つを前記判定用情報として取得することを特徴とする請求項1から請求項3までのいずれかに記載の機器支持状況通知システム。
【請求項5】
使用者が携帯して使用する電子機器の、前記使用者による支持の状況である機器支持状況の判定である支持状況判定に使用される情報である判定用情報を取得する情報取得部によって取得された前記判定用情報に基づいて前記支持状況判定を実行する支持状況判定部と、
前記支持状況判定部によって実行された前記支持状況判定の結果に基づいた情報である通知用情報を前記使用者に通知する情報通知部と
を前記電子機器に実現させることを特徴とする機器支持状況通知プログラム。
【手続補正書】
【提出日】2022-03-30
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
使用者が携帯して使用する電子機器の、前記使用者による支持の状況である機器支持状況の判定である支持状況判定に使用される情報である判定用情報を取得する情報取得部と、
前記情報取得部によって取得された前記判定用情報に基づいて前記支持状況判定を実行する支持状況判定部と、
前記支持状況判定部によって実行された前記支持状況判定の結果に基づいた情報である通知用情報を前記使用者に通知する情報通知部と
を備え、
前記支持状況判定は、前記電子機器が前記使用者にとっての前後方向における特定の位置の後ろ側で前記使用者に支持されている前記機器支持状況の判定を含むことを特徴とする機器支持状況通知システム。
【請求項2】
前記情報通知部は、特定の期間において、前記電子機器が前記使用者にとっての前後方向における前記特定の位置の後ろ側で前記使用者に支持されている前記機器支持状況であった合計時間を算出し、算出した合計時間を前記通知用情報として通知することを特徴とする請求項1に記載の機器支持状況通知システム。
【請求項3】
前記支持状況判定は、前記電子機器が前記使用者にとっての前後方向における前記特定の位置の前側で前記使用者に支持されている前記機器支持状況の判定を含むことを特徴とする請求項1または請求項2に記載の機器支持状況通知システム。
【請求項4】
前記情報通知部は、前記特定の期間において、前記電子機器が前記使用者にとっての前後方向における前記特定の位置の前側で前記使用者に支持されている前記機器支持状況であった合計時間を算出し、算出した合計時間を前記通知用情報として通知することを特徴とする請求項3に記載の機器支持状況通知システム。
【請求項5】
使用者が携帯して使用する電子機器の、前記使用者による支持の状況である機器支持状況の判定である支持状況判定に使用される情報である判定用情報を取得する情報取得部によって取得された前記判定用情報に基づいて前記支持状況判定を実行する支持状況判定部と、
前記支持状況判定部によって実行された前記支持状況判定の結果に基づいた情報である通知用情報を前記使用者に通知する情報通知部と
を前記電子機器に実現させ、
前記支持状況判定は、前記電子機器が前記使用者にとっての前後方向における特定の位置の後ろ側で前記使用者に支持されている前記機器支持状況の判定を含むことを特徴とする機器支持状況通知プログラム。