(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-15
(45)【発行日】2024-03-26
(54)【発明の名称】電子機器及びその制御方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20240318BHJP
H04M 1/00 20060101ALI20240318BHJP
【FI】
G06F3/01 510
H04M1/00 R
(21)【出願番号】P 2020078300
(22)【出願日】2020-04-27
【審査請求日】2023-04-05
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】小熊 浩太郎
【審査官】安田 明央
(56)【参考文献】
【文献】再公表特許第2015/064165(JP,A1)
【文献】米国特許出願公開第2016/0109946(US,A1)
【文献】特開2015-170175(JP,A)
【文献】特開2020-024578(JP,A)
【文献】特開2019-039988(JP,A)
【文献】特表2016-517087(JP,A)
【文献】特開2013-140540(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
H04M 1/00
(57)【特許請求の範囲】
【請求項1】
ユーザーの視線による視線位置を検出する視線検出手段と、
表示
部に第1のコンテンツが表示されている状態において、前記第1のコンテンツと共に表示される第2のコンテンツが前記表示
部に表示されたことに応じて、前記視線検出手段によるユーザーの視線位置の検出を行うように制御する制御手段と
を有
し、
前記制御手段は、前記第2のコンテンツが前記表示部に表示されたあと、ユーザーの視線位置が前記第2のコンテンツの表示領域内にある状態で所定時間経過することなく前記第2のコンテンツの表示領域外へと移動したことに応じて、前記第2のコンテンツを非表示にするように制御することを特徴とする電子機器。
【請求項2】
前記制御手段は、
前記第2のコンテンツが前記表示
部に表示されたあと、非表示になったことに応じて、前記視線検出手段によるユーザーの視線位置を検出しないように制御することを特徴とする請求項
1に記載の電子機器。
【請求項3】
前記制御手段は、
前記第2のコンテンツが前記表示
部に表示されたあと、ユーザーの視線位置が前記第2のコンテンツの表示領域内にある状態で所定時間経過したことに応じて、前記第2のコンテンツを非表示にし、
ユーザーの視線位置が前記第2のコンテンツの表示領域外にある状態で前記所定時間よりも長い時間経過したことに応じて、前記第2のコンテンツを非表示にするように制御することを特徴とする請求項
1又は2に記載の電子機器。
【請求項4】
前記制御手段は、
前記第2のコンテンツが前記表示
部に表示され、非表示になったあと、ユーザーの視線位置が前記第2のコンテンツの表示領域外にある状態で所定時間経過したことに応じて、前記視線検出手段によるユーザーの視線位置を検出しないように制御することを特徴とする請求項
1に記載の電子機器。
【請求項5】
前記制御手段は、
前記第2のコンテンツが前記表示
部に表示されたあと、ユーザーの視線位置が前記第2のコンテンツの表示領域内にある状態で所定時間経過することなく前記第2のコンテンツの表示領域外へと移動したことに応じて、前記第2のコンテンツを非表示にし、
ユーザーの視線位置が前記第2のコンテンツの表示領域外にある状態で前記所定時間よりも長い時間経過したことに応じて、前記第2のコンテンツを非表示にするように制御することを特徴とする請求項
1又は4に記載の電子機器。
【請求項6】
操作面に対するタッチ操作を検出可能なタッチ検出手段を更に有し、
前記制御手段は、前記第2のコンテンツが表示されている状態で、
前記操作面に対する特定の方向へタッチして移動する移動操作が行われた場合は、前記第2のコンテンツを非表示にし、ユーザーの視線位置を検出しないようにし、
前記第2のコンテンツの表示領域内の前記操作面に対して、タッチ操作が行われた場合は、前記第2のコンテンツが示す情報に応じた処理を実行するように制御することを特徴とする請求項1乃至
5のいずれか1項に記載の電子機器。
【請求項7】
前記特定の方向は、
前記第2のコンテンツの表示位置が前記表示
部の表示面のうち、
左右対称の位置に表示される場合は、上下方向のうち、前記第2のコンテンツの表示領域から近い方の前記表示
部の辺の方向とし、
左右対称の位置に表示されない場合は、左右方向のうち、前記第2のコンテンツの表示領域から近いほうの前記表示
部の辺の方向であることを特徴とする請求項
6に記載の電子機器。
【請求項8】
前記制御手段は、
ユーザーによる視線位置が前記第2のコンテンツの表示領域内にある場合は、前記第2のコンテンツの表示形態を変化させるように制御することを特徴とする請求項1乃至
7のいずれか1項に記載の電子機器。
【請求項9】
前記制御手段は、
ユーザーの視線位置が前記第2のコンテンツが表示された後、前記第2のコンテンツの表示領域外から移動することなく、バナー表示タイマが満了した場合は、前記第2のコンテンツを非表示にするように制御することを特徴とする請求項1乃至
8のいずれか1項に記載の電子機器。
【請求項10】
表示
部を更に有し、
前記制御手段は、前記第1のコンテンツと前記第2のコンテンツを前記表示
部に表示し、
前記第1のコンテンツは前記表示
部に表示されるメインのコンテンツであり、前記第2のコンテンツは前記表示
部に一時的に表示されるコンテンツであることを特徴とする請求項1乃至
9のいずれか1項に記載の電子機器。
【請求項11】
前記第2のコンテンツを検出する検出手段を更に有し、
前記制御手段は、前記検出手段によって前記第2のコンテンツを検出したことに応じてユーザーの視線位置を検出するように制御することを特徴とする請求項1乃至
10のいずれか1項に記載の電子機器。
【請求項12】
前記第1のコンテンツは、ホーム画面、もしくは、前記電子機器にインストールされているアプリケーションを実行している画面、のいずれかであることを特徴とする請求項1乃至
11いずれか1項に記載の電子機器。
【請求項13】
前記第2のコンテンツは、前記電子機器が新しく情報を受信したことを知らせる通知に関するバナー表示もしくはサービスを促進するためのバナー表示、であることを特徴とする請求項1乃至
12のいずれか1項に記載の電子機器。
【請求項14】
ユーザーの視線による視線位置を検出する視線検出ステップと、
表示
部に第1のコンテンツが表示されている状態において、
前記第1のコンテンツと共に表示される第2のコンテンツが前記表示
部に表示されたことに応じて、前記視線検出ステップによるユーザーの視線位置の検出を行うように制御する制御ステップと
を有
し、
前記制御ステップでは、前記第2のコンテンツが前記表示部に表示されたあと、ユーザーの視線位置が前記第2のコンテンツの表示領域内にある状態で所定時間経過することなく前記第2のコンテンツの表示領域外へと移動したことに応じて、前記第2のコンテンツを非表示にするように制御することを特徴とする電子機器の制御方法。
【請求項15】
コンピュータを請求項1乃至
13のいずれか1項に記載の電子機器の各手段として機能させるためのプログラム。
【請求項16】
コンピュータを請求項1乃至
13のいずれか1項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示の有無によって、ユーザーの視線位置が検出可能な電子機器及び電子機器の制御方法に関するものである。
【背景技術】
【0002】
近年、スマートフォン等のモバイル端末において、広告や通知などの役割を持つバナーと呼ばれる画像がユーザーの意図にかかわらず、画面に表示されることが知られている。特許文献1には、ヘッドマウントディスプレイを見ているユーザーの視線位置を常時検出し、バナー広告の表示領域内にユーザーの視線がある状態で所定時間経過すると、バナー表示を非表示にすることが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献1では、ユーザーの視線位置を検出するために、常に視線位置を検出する機能がオン状態になっており、多くの電力を消費してしまう。バッテリーにより駆動をするモバイル端末等にとっては、視線位置の検出に多くの電力を消費してしまうと、モバイル端末のメイン機能(例えばスマートフォンにおいてはインターネットとの通信や通話の機能)を十分に活用できなくなってしまうことが生じる。
【0005】
そこで本発明は、視線検出機能を適切なタイミングで有効にすることにより、例えば、省電力化を図ることができることを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明の電子機器は、
ユーザーの視線による視線位置を検出する視線検出手段と、表示部に第1のコンテンツが表示されている状態において、第1のコンテンツと共に表示される第2のコンテンツが表示部に表示されたことに応じて、視線検出手段によるユーザーの視線位置の検出を行うように制御する制御手段とを有し、制御手段は、第2のコンテンツが表示部に表示されたあと、ユーザーの視線位置が第2のコンテンツの表示領域内にある状態で所定時間経過することなく第2のコンテンツの表示領域外へと移動したことに応じて、第2のコンテンツを非表示にするように制御することを特徴とする。
【発明の効果】
【0007】
本発明によれば、視線検出機能を適切なタイミングで有効にすることにより、例えば、省電力化を図ることができる。
【図面の簡単な説明】
【0008】
【
図1】本発明の実施形態である、スマートフォンの外観図である。
【
図2】本発明の実施形態である、スマートフォンの構成を示すブロック図である。
【
図3】本発明の実施形態における、バナー表示/非表示により視線検出機能のオン/オフを制御するフローチャートである。
【
図4】本発明の実施形態における、スマートフォンのディスプレイに表示される表示例である。
【発明を実施するための形態】
【0009】
以下、図面を参照して本発明の好適な実施形態を説明する。
【0010】
図1(a)(b)に本発明を適用可能な装置(電子機器)の一例としてのスマートフォン100の外観図を示す。
図1(a)はスマートフォン100の前面図であり、
図1(b)はスマートフォン100の背面図である。
図1において、ディスプレイ104は画像や各種情報を表示する、スマートフォン前面に設けられた表示部である。タッチパネル106aはタッチ操作部材であり、ディスプレイ104の表示面(操作面)に対するタッチ操作を検出することができる(タッチ検出可能である)。スマートフォン100は、アウトカメラ114、もしくは、インカメラ115で撮影したライブビュー画像(LV画像)をディスプレイ104に表示することが可能である。電源ボタン106bは操作部106に含まれる操作部材であり、ディスプレイ104の点灯/消灯を切り替えることができる。ある程度の時間、例えば3秒間、電源ボタン106bの押下を継続(長押し)するとスマートフォン100の電源のON/OFFを切り替えることができる。音量プラスボタン106c、音量マイナスボタン106dは音声出力部112から出力する音量のボリュームをコントロールする音量ボタンである。音量プラスボタン106cを押下すると音量が大きくなり、音量マイナスボタン106dを押下すると音量が小さくなる。また、カメラ使用時の撮影待機状態においては、音量プラスボタン106cや音量マイナスボタン106dを押下することで撮影を指示するシャッターボタンとしても機能する。電源ボタン106bと音量マイナスボタン106dを同時に押下したり、音量マイナスボタン106dを素早く数回押下したりした場合に、特定の機能を実行するように、ユーザーが任意に設定することもできる。ホームボタン106eはディスプレイ104にスマートフォン100の起動画面であるホーム画面を表示させるための操作ボタンである。スマートフォン100において様々なアプリケーションを起動し、使用していた場合に、ホームボタン106eを押下することで、起動している様々なアプリケーションを一時的に閉じて、ホーム画面を表示することができる。なお、ホームボタン106eは物理的に押下可能なボタンを想定しているが、物理ボタンではなくディスプレイ104に表示された同様に機能を持った、タッチ可能なボタンでもよい。音声出力端子112aはイヤホンジャックであり、イヤホンや外部スピーカーなどに音声を出力する端子である。スピーカー112bは音声を出す本体内蔵のスピーカーである。音声出力端子112aに音声を出力する端子、例えばイヤホンコードを装着していない場合に、スマートフォン100において音声が出力されるような場合には、スピーカー112bから音声が出力される。
【0011】
図2は、本実施形態によるスマートフォン100の構成例を示すブロック図である。内部バス150に対してCPU101、メモリ102、不揮発性メモリ103、ディスプレイ画像処理部105、ディスプレイ104、操作部106、記憶媒体I/F107、外部I/F109、及び、通信I/F110が接続されている。また、内部バス150に対して音声出力部112、姿勢検出部113、アウトカメラ114、インカメラ115、赤外線カメラ116、カメラ画像処理部117が接続されている。さらには、注視判定部170、視線検出ブロック160を構成する、視線検知センサー164、視線検出回路165が接続されている。内部バス150に接続される各部は、内部バス150を介して互いにデータのやりとりを行うことができるようにされている。
【0012】
CPU101は、スマートフォン100の全体を制御する制御部であり、少なくとも1つのプロセッサーまたは回路からなる。メモリ102は、例えばRAM(半導体素子を利用した揮発性のメモリなど)からなる。CPU101は、例えば不揮発性メモリ103に格納されるプログラムに従い、メモリ102をワークメモリとして用いて、スマートフォン100の各部を制御する。不揮発性メモリ103には、画像データや音声データ、その他のデータ、CPU101が動作するための各種プログラムなどが格納される。不揮発性メモリ103は例えばフラッシュメモリやROMなどで構成される。
【0013】
ディスプレイ104は、CPU101の制御に基づいて、画像やGUI(Graphical User Interface)を構成するGUI画面などを表示する。CPU101は、プログラムに従い表示制御信号を生成し、ディスプレイ104に表示するための映像信号を生成してディスプレイ104に出力するようにスマートフォン100の各部を制御する。ディスプレイ104は出力された映像信号に基づいて映像を表示する。なお、スマートフォン100自体が備える構成としてはディスプレイ104に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ104は外付けのモニタ(テレビなど)で構成してもよい。
【0014】
ディスプレイ画像処理部105は、ディスプレイ104に表示された画像やGUIを分析する。ディスプレイ104に表示される、バナー表示(後述)の検出についても、ディスプレイ画像処理部105で可能である。ディスプレイ104と同様に、ディスプレイ画像処理部105についても、外部のモニタ(テレビなど)に付随した構成としてもよい。
【0015】
操作部106は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む、ユーザー操作を受け付けるための入力デバイスである。なお、タッチパネルは、ディスプレイ104に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。操作部106には、上述した、タッチパネル106a、電源ボタン106b、音量プラスボタン106c、音量マイナスボタン106d、ホームボタン106eが含まれる。
【0016】
記録媒体I/F107は、メモリーカードやCD、DVDといった記録媒体108が装着可能とされ、CPU101の制御に基づき、装着された記録媒体108からのデータの読み出しや、当該記録媒体108に対するデータの書き込みを行う。記録媒体108は、スマートフォン100内に組み込まれた内蔵ストレージでもよい。外部I/F109は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信I/F110は、外部機器やインターネット111などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。
【0017】
音声出力部112は、動画や音楽データの音声や、操作音、着信音、各種通知音などを出力する。音声出力部112には、イヤホンなどを接続する音声出力端子112a、スピーカー112bが含まれるものとするが、無線通信などで音声出力を行ってもよい。
【0018】
姿勢検出部113は、重力方向に対するスマートフォン100の姿勢や、ヨー、ロール、ピッチの各軸に対する姿勢の傾きを検知する。姿勢検出部113で検知された姿勢に基づいて、スマートフォン100が横に保持されているか、縦に保持されているか、上に向けられたか、下に向けられたか、斜めの姿勢になったかなどを判別可能である。姿勢検出部113としては、加速度センサー、ジャイロセンサー、地磁気センサー、方位センサー、高度センサーなどのうち少なくとも1つを用いることができ、複数を組み合わせて用いることも可能である。
【0019】
アウトカメラ114はスマートフォン100の筐体において、ディスプレイ104とは反対の側に配置されたカメラである。
図1(b)では、アウトカメラ114は1つのカメラのみを描いているが、これに限らない。すなわち、焦点距離の異なる複数のカメラを搭載してもよい。
【0020】
インカメラ115は、スマートフォン100の筐体においてディスプレイ104と同じ面に配置されたカメラである。
【0021】
アウトカメラ114およびインカメラ115で撮影したライブビュー映像は、いずれもディスプレイ104上に表示することができる。アウトカメラ114とインカメラ115のどちらを利用するかによって、眼前の光景を撮影するか、撮影者自身を自分撮り撮影するかを選択することができる。
【0022】
赤外線カメラ116は、スマートフォン100の筐体においてディスプレイ104と同じ面に配置されたカメラであり、スピーカー112bを中心にして、インカメラ115と反対側に配置される。赤外線カメラ116を用いてユーザーの顔のデータを解析することで顔の深度マップや赤外線画像を作成する。これにより、スマートフォン100のロック状態をアンロック状態に解除するのに用いることも可能である。
【0023】
カメラ画像処理部117は、CPU101の制御に基づいて、ディスプレイ104に表示された画面に対して、各種画像処理や、表示されているアイテムの認識を行う。画像処理部は、不揮発性メモリ103や記録媒体108に格納された画像や、外部I/F109を介して取得した映像信号、通信I/F110を介して取得した画像などに対して各種画像処理を施すこともできる。各画像処理部が行う画像処理には、A/D変換処理、D/A変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大/縮小処理(リサイズ)、ノイズ低減処理、色変換処理などが含まれる。各画像処理部は、特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては各画像処理部を用いずにCPU101がプログラムに従って画像処理を施すことが可能である。
【0024】
赤外発光ダイオード166は、ファインダー内の画面におけるユーザーの視線位置を検出するための発光素子であり、ユーザーの眼球(目)161に赤外光を照射する。赤外発光ダイオード166から発した赤外光は眼球(目)161で反射し、その赤外反射光はダイクロイックミラー162に到達する。ダイクロイックミラー162は赤外光だけを反射して可視光を透過させる。光路を変更された赤外反射光は、結像レンズ163を介して視線検知センサー164の撮像面に結像する。結像レンズ163は視線検知光学系を構成する光学部材である。視線検知センサー164は、CCD型イメージセンサ等の撮像デバイスから成る。
【0025】
視線検知センサー164は、入射された赤外反射光を電気信号に光電変換して視線検出回路165へ出力する。視線検出回路165は少なくとも1つのプロセッサーを含み、視線検知センサー164の出力信号に基づき、ユーザーの眼球(目)161の画像または動きからユーザーの視線位置を検出し、検出情報をCPU101に出力する。このようにダイクロイックミラー162、結像レンズ163、視線検知センサー164、視線検出回路165、赤外発光ダイオード166により視線検出ブロック160が構成される。
【0026】
本発明では視線検出ブロック160を用いて、角膜反射法と呼ばれる方式で視線を検出する(視線入力を受け付ける)。角膜反射法とは、赤外発光ダイオード166から発した赤外光が眼球(目)161の、特に角膜で反射した反射光と、眼球(目)161の瞳孔との位置関係から、視線の向き・位置を検出する方式である。この他にも黒目と白目での光の反射率が異なることを利用する強膜反射法と呼ばれる方式など、様々な視線の向き・位置を検出する方式がある。なお、視線の向き・位置を検出できる方式であれば、上記以外の視線検出手段の方式を用いてもよい。本実施形態では、赤外発光ダイオード166を含む視線検出ブロック160が、ユーザーの視線を検出するための専用のブロックとして存在する形態を説明したが、インカメラ115と赤外線カメラ116で兼ねてもよい。具体的には、インカメラ115で撮影した画像からユーザーの顔の向きを、赤外線カメラ116でユーザーの目の向きを検出することで、ユーザーの視線位置を検出してもよい。インカメラ115と赤外線カメラ116を用いてユーザーの視線を検出できるのであれば、視線検出ブロック160を備えなくても本実施形態は実施可能である。
【0027】
CPU101は視線検出ブロック160からの出力に基づいて以下の操作、あるいは状態を検知できる。
・ディスプレイ104へユーザーの視線入力がある状態であること。
・ディスプレイ104へユーザーが注視している状態であること。
・ディスプレイ104へユーザーが入力していた視線を外したこと。すなわち、視線入力の終了。
・ディスプレイ104へユーザーが何も視線入力していない状態。
【0028】
ここで述べた注視とは、ユーザーの視線位置が所定時間内に所定の移動量を超えなかった場合のことを指す。注視の判定は、注視判定部170において行う。
【0029】
なお操作部106には、タッチパネル106aが含まれる。CPU101はタッチパネル106aへの以下の操作、あるいは状態を検出できる。
・タッチパネル106aにタッチしていなかった指やペンが新たにタッチパネル106aにタッチしたこと、すなわち、タッチの開始(以下、タッチダウン(Touch-Down)と称する。)
・タッチパネル106aを指やペンがタッチしている状態であること(以下、タッチオン(Touch-On)と称する)
・指やペンがタッチパネル106aをタッチしたまま移動していること(以下、タッチムーブ(Touch-Move)と称する)
・タッチパネル106aへタッチしていた指やペンがタッチパネル106aから離れたこと、すなわち、タッチの終了(以下、タッチアップ(Touch-Up)と称する)
・タッチパネル106aに何もタッチしていない状態(以下、タッチオフ(Touch-Off)と称する)
タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出されると、タッチオフが検出される。
【0030】
これらの操作・状態や、タッチパネル106a上に指やペンがタッチしている位置座標は内部バスを通じてCPU101に通知される。CPU101は通知された情報に基づいてタッチパネル106a上にどのような操作(タッチ操作)が行なわれたかを判定する。タッチムーブについてはタッチパネル106a上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル106a上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル106a上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル106a上を指ではじくように素早くなぞる移動操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる(スライド操作に続いてフリックがあったものと判定できる)。更に、複数箇所(例えば2点)を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)と称する。タッチパネル106aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。
【0031】
バナーとは、主に広告、宣伝用に作られ、ウェブページ上で他のウェブサイトを紹介する役割を持つ画像のことを言う。この画像にはウェブページのリンクが紐づけてあり、画像をクリック操作やタッチ操作で選択することで、バナーが紹介するサイトが表示される。このような機能を有するバナーを、ウェブバナーと呼ぶ。近年では、ウェブサイトへ移動するためのリンク(URL)を有したバナーのみならず、他のアプリケーションで新規情報を受信した場合に、ユーザーへ通知を行うためのバナーも存在する。このような機能雄有するバナーを、通知バナーと呼ぶ。ユーザーが通知バナーを選択(タップ)すると、通知バナーが通知した新規情報を受信したアプリケーションを実行し、ユーザーが新規情報へすぐにアクセスできるようにする。バナーの形状は横長帯状のものが一般的だが、近年は縦長のものや正方形に近いものも存在する。バナーはその性質上、一時的にディスプレイ104に表示するものであり常時表示されていることは稀である。特定のタイミング(新規情報を受信したタイミング等)にバナーを表示してユーザーへ通知やおすすめをし、バナーに対するユーザーによる指示がなければ、バナーは非表示となる。すなわち、ある程度の時間バナーの表示を継続することで、バナーが示す情報をユーザーに十分に報知することができたと考え、ある程度の時間が経過するとバナーを非表示とする。
【0032】
また、バナーが表示されてから時間経過を待たなくても、ユーザーによる特定のタッチ操作が行われると、バナーを非表示にする。例えば、バナー近くでの特定の方向へのフリック操作によって、非表示にすることができる。バナーが非表示となるフリック操作の方向は、バナーが表示される位置に従う。すなわち、ディスプレイ104上で左右対称の位置にバナーが表示されている場合は、上下方向のうち、ディスプレイ104の辺に近い方向へのフリック操作とする。左右対称の位置に表示されていない場合は、左右方向のうち、ディスプレイ104の辺に近い方向へのフリック操作とする。バナーを非表示にする方向のフリック操作とは、バナーが表示される際の動きの逆の方向へのフリック操作とする。例えば、スマートフォン100を通常使用するように把持する(マイク112bが上で、ホームボタン106eが下)場合を考える。このとき、ディスプレイ104の上から下(マイク112bからホームボタン106e)の方向へとバナーが表示されるような動きをする場合、その逆方向である、下から上(ホームボタン106e側からマイク112b側)へのフリック操作でバナーは非表示になる。スマートフォン100を横向きにして両手で(マイク112bが配置されている側を左手で、ホームボタン106eが配置されている側を右手で)把持する場合を考える。このとき、右から左(ホームボタン106e側からマイク112b側)へバナーが表示されるような動きであると、その逆の方向である左から右(マイク112bからホームボタン106e)へのフリック操作によってバナーを非表示にできる。
【0033】
本実施形態では、スマートフォン100における、バナー表示/非表示により視線検出機能のオン/オフを制御する制御処理について説明する。
【0034】
図3は、本実施形態における、ユーザーがディスプレイ104を見ている際の、バナー表示/非表示により視線検出機能のオン/オフを制御する制御処理のフローチャートである。この制御処理は、スマートフォン100において、不揮発性メモリ103に記録されたプログラムをメモリ102に展開してCPU101が実行することで実現する。
図3のフローチャートは、スマートフォン100を起動(電源オン)し、特定の状態であるときに開始される。特定の状態とは、ホーム画面をディスプレイ104に表示している状態、もしくは、スマートフォン100にインストールされているアプリケーションのうち少なくとも1つを実行し、ディスプレイ104に表示している状態を指す。
【0035】
S302では、CPU101は、ディスプレイ画像処理部105より、ディスプレイ104にバナー表示が検出されたか否かを判定する。検出された場合は、S302に進み、検出されない場合は、S321へ進む。バナー表示が検出された、とは、具体的に
図4(a)に示すような場合を指す。
図4(a)はホーム画面505にバナー502aが表示された場合の表示例と、ユーザーが動画閲覧アプリケーションを用いてインターネット111に公開されている動画506を見ている際にバナー502bが表示された場合の表示例である。ホーム画面505がディスプレイ104に表示されている状態において、スマートフォン100にインストールされているメールアプリケーションが新着eメールを受信したことをユーザーに通知する通知バナーとして、バナー502aが表示される。動画閲覧アプリケーションを用いて動画506を再生している状態において、動画506に関連するおすすめのコンテンツやサービスをユーザーに勧める(促進する)ためのウェブバナーとして、バナー502bが表示される。バナー502a、502bをユーザーがタップすると、メールアプリケーションを起動して新着eメールを閲覧するページや、おすすめの映像を閲覧するページへと遷移する。ユーザーが、バナー502aが表示されている状態で上方向に、バナー502bが表示されている状態で右方向にフリック操作を行うと、表示されたバナーは非表示となる。バナー502b内に表示されているアイコン503をタップすると、バナー502bが示すページに遷移せず、動画506を表示したまま、バナー502bの詳細情報を表示する。上述したバナー502a、502bは一例であり、新規情報の通知や広告やおすすめなど、ユーザー操作でなく表示されるものであれば、これに限らない。
【0036】
S303では、CPU101は、視線検出機能をオン(有効)にする。すなわち、視線検出ブロック160の駆動を開始する。
【0037】
S304では、CPU101は、S301において検出されたバナー表示タイマのカウントを開始する。ユーザーの視線がない場合は、バナー表示タイマが満了するとバナーは非表示となる。
【0038】
S305では、CPU101は、ユーザーの視線位置がバナー表示内にあるか、バナー表示外にあるか否かを判定する。バナー表示内である場合は、S307へ進み、バナー表示外である場合は、S316へ進む。
【0039】
S306では、CPU101は、バナーを強調表示し、S303で開始したバナー表示タイマをリセットする。
図4(b)に、ユーザーの視線位置がバナー表示内にあるときの表示例を示す。
図4(a)のバナー502aの表示領域内にユーザーの目161による視線位置があった場合は、
図4(b)のバナー502cのように、バナーの外枠を太く表示し、強調表示を行う。また、バナーが示す内容に対してユーザーが対応できる選択肢、例えばバナー502cの選択肢511a、511bを示すようにする。選択肢511aをタップすれば、ユーザーはバナー502cが示す新着eメールに対する返信を行うことができ、選択肢511bをタップすれば、メールアプリケーションが新着eメールを受信してもバナー502cのような通知をしないように設定することができる。対応できる選択肢がなければ、バナーの持つ情報の詳細を表示するようにしてもよい。これにより、バナー502cが視線によって選択されていることをユーザーが視認できる。なお、強調表示の方法は
図4(b)のバナー502cに示すものに限らない。選択肢や詳細情報を表示せず、単に太枠での表示やハイライト表示でもよいし、バナー全体の色が変わるような表示形態としてもよい。本実施形態では、後述する視線タイマによる所定の条件を満たしたことに応じてバナーを非表示とする(視線タイマを優先する)ため、S306においてバナー表示タイマをリセットする制御とした。これにより、ユーザーの視線位置がバナー表示内もしくは表示外を移動している間は、バナー表示タイマの満了によってバナーが非表示になることはない。
【0040】
S307では、CPU101は、視線タイマのカウントを開始する。視線タイマとは、ユーザーの視線位置がバナー表示領域内、もしくは、バナー表示領域外に留まった時間を計測するタイマである。具体的には、ユーザーの視線位置がバナー表示領域内から表示領域外に移動した場合は、視線タイマはリセットされ、表示領域外に移動したあとからカウントが開始される。視線位置がバナー表示領域外から内へと移動した場合も同様である。
【0041】
S308では、CPU101は、S307で開始した、視線タイマが所定時間経過したか否かを判定する。所定時間経過した場合は、S319へ進み、経過していない場合は、S309へ進む。視線タイマの所定時間は、S316において後述するバナータイマの満了時間よりも短い時間とする。具体的には、所定時間は、具体的には、1~2秒程度の時間とする。バナータイマ満了時間よりも短い時間とすることで、ユーザーは、バナータイマが満了する時間を待つことなく、視線により、より素早くバナーを非表示にすることができる。
【0042】
S309では、S306と同様に、CPU101は、ユーザーの視線位置がバナー表示内にあるか、バナー表示外にあるか否かを判定する。バナー表示内である場合は、S308へ戻り、バナー表示外である場合は、S310へ進む。
【0043】
S310では、CPU101は、バナーを非表示にする。S306とS309の判定から、ユーザーの視線位置がバナー表示内からバナー表示外へと移動したことがわかる。これにより、ユーザーはバナーが表示された際にバナーの内容を確認したが、興味がないもしくは今すぐに見る必要はない、と考えたことが想定できる。そのため、S301において検出されたバナー表示を非表示にする。このようにすることで、例えばユーザーがスマートフォン100を右手で把持していた場合に、
図4(a)に示すようにディスプレイ104の上部に表示されるバナーをタッチ操作で非表示にする必要がなくなる。近年では、スマートフォン100の筐体が大きくなる傾向があり、ユーザーが片手でスマートフォン100を把持している状態で、ディスプレイ104の上部をタッチ操作することが難しい場合がある。また、
図4(a)において動画閲覧アプリケーションを用いて動画506を見ている場合に、バナー502bが重畳して表示されている部分の画をユーザーが見ることができない。非表示にするためにタッチ操作をしようとバナー502b上へ指を伸ばすと、自身の指が動画506を遮ってしまい視認しづらくなる。バナー502bが表示されている部分の画をユーザーが特に見たい、と考えていた場合には、バナー502bの表示はユーザーにとって煩わしく感じる可能性が高い。そもそもバナーは、ユーザー操作に関わらず(ユーザーの意図ではなく)表示されるものであり、状況によっては、煩わしく感じることが多い。このような理由により、ユーザーの視線位置がバナー内から所定時間経過する前にバナー外へと移動するという条件を満たした場合には、バナー表示を非表示にする(
図4(c))。これにより、ユーザーはバナー表示を煩わしく感じることなく、視線によって直感的にバナーを非表示にすることができる。
【0044】
S311では、CPU101は、S310においてバナーを非表示にしてから所定時間経過したか否かを判定する。所定時間経過した場合は、S320へ進み、経過していない場合は、S312へ進む。
【0045】
S312では、CPU101は、ユーザーの視線位置がバナーが表示されていた領域内であるか否かを判定する。領域内である場合は、S313へ進み、領域外である場合は、S311へ戻る。
図4(a)においてバナー502aが表示されていた部分を、
図4(c)の領域504とする。
図4(c)では、ユーザーの目161による視線位置はバナー表示の領域外であることを示している。
【0046】
S313では、CPU101は、S310において非表示にしたバナーを再表示する。このとき再表示するバナーはS301において表示されていたバナーと同じ内容のものとする。S312においてYesと判定されたことから、ユーザーの視線位置が
図4(c)に示す状態から、領域504内に移動したことがわかる。ユーザーの視線位置の移動により、
図4(d)に示すように、非表示にしたバナー502cを再度表示する。S310においてバナーを非表示にしたあと、所定時間が経過する前にバナーが表示されていた領域を見た場合には、ユーザーは一度確認して視線を外したバナーの内容について、再度確認が必要だと考え直し、バナー表示領域に視線を戻した場合が考えられる。また、バナー以外の部分を一瞬だけ確認するため、もしくは、誤って視線位置を外した場合にも、バナーが非表示になってしまうと、ユーザーにとって操作性が悪い。そのため、バナーを非表示にしたあと、素早く再度バナーの表示されていた領域をユーザーが見た場合には、バナーを再表示する。これにより、ユーザーが誤って視線位置をバナーから外してしまった場合にも、再度バナーの内容を確認することができる。
【0047】
S314では、S306と同様に、CPU101は、ユーザーの視線位置がバナー表示内にあるか、バナー表示外にあるか否かを判定する。バナー表示外である場合は、S315へ進み、バナー表示内である場合は、S308へ戻る。
【0048】
S315では、S310と同様に、CPU101は、バナーを非表示にする。S313においてバナーを再表示したあとに、ユーザーの視線位置がバナー表示外へと移動した場合には、ユーザーはバナー表示の内容を確認し終えたと想定でき、バナーを非表示にしてもユーザーの意図に反する可能性は低い。
【0049】
S316では、CPU101は、S303においてカウントを開始したバナー表示タイマが満了したか否かを判定する。満了した場合は、S317へ進み、そうでない場合は、S318へ進む。バナー表示タイマの満了時間は、S308での視線タイマの所定時間よりも長い時間(バナー表示タイマ満了時間>視線タイマの所定時間)とし、具体的には5秒程度の時間とする。なお、バナー表示タイマの満了時間はユーザーが設定できるようにしてもよいし、予め決めておいても良い。
【0050】
S317では、CPU101は、バナーを非表示にする。バナー表示は、そもそもユーザーによるタッチ操作が行われなければ、バナー表示タイマ満了に伴って非表示となる。本実施形態では、ユーザーの視線位置がバナー表示外にある状態(S305)で、バナー表示タイマが満了したことに応じてバナーを非表示とするが、S317に限らず、本フローチャート実行中にバナー表示タイマが満了した場合には、バナーを非表示にする。
【0051】
S318では、S306と同様に、CPU101は、ユーザーの視線位置がバナー表示内にあるか、バナー表示外にあるか否かを判定する。バナー表示内である場合は、S306へ戻り、バナー表示外である場合は、S316へ戻る。
【0052】
S319では、S310と同様に、CPU101は、バナーを非表示にする(
図4(e))。S308でYesと判定されたことから、ユーザーはバナー(
図4(b)のバナー502c)に表示されている内容を十分に確認できたものと想定する。バナーに表示されている内容について、より詳細に知りたいとユーザーが考えた場合には、バナーをタッチし、別の画面へ遷移するはずだからである。
【0053】
S320では、CPU101は、S303においてオンにした視線検出機能をオフ(無効)にする。すなわち、視線検出ブロック160の駆動を終了する。S301においてディスプレイ104にバナーが表示されたことに応じて、視線検出機能をオン(視線検出ブロック160の駆動を開始)し、バナーが非表示になったことに応じて、視線検出機能をオフ(視線検出ブロック160の駆動を終了)する。このように視線検出機能のオン/オフをバナーの表示/非表示に応じて切り替えることで、電力の消費を最低限に抑えつつ、バナーを非表示にする際のユーザーの操作性を向上させる。
【0054】
S321では、CPU101は、処理が終了したか否かを判定する。処理が終了した場合は、
図3の制御フローチャートを終了し、そうでない場合は、S301へ戻る。処理の終了とは、例えば、
図3の制御フローチャートを開始した際に実行していたアプリケーションから他のアプリケーションへの遷移や、現在実行しているアプリケーションの終了を指す。また、ホーム画面からアプリケーションの実行や、スマートフォン100の電源をオフすることを指す。具体的には、ユーザーによるタッチ操作によって、
図4(d)においてユーザーがバナー502cをタッチすることにより、メールアプリケーションに遷移した場合があげられる。
【0055】
なお、
図3のフローチャートに示す制御を行っている際に、視線タイマやバナー表示タイマが満了しなくても、ユーザーによるバナーを非表示にする操作(バナーを画面外へ動かすようなフリック操作)があった場合は、バナーを非表示にする。
図3の制御フローチャートと同様に、バナーを非表示にし、視線検出機能をオフにし、
図3のフローチャートを終了する。バナーを画面外へ動かすようなフリック操作とは、バナーの表示位置が左右対称である位置である場合は、上下方向のうちディスプレイ104の辺に近い方向へのフリック操作を指す。左右対称でない位置の(ディスプレイ104でのバナーの左右の余白が、均一でない)場合は、左右方向のうちディスプレイ104の辺に近い方向へのフリック操作を指す。具体的には、
図4(a)に示すバナー502aは左右対称である位置に表示されているため、上下方向のうち、上方向(マイク112bが配置されている側)へのフリック操作を行うとバナーは非表示となる。また、バナー502bは左右対称である位置に表示されておらず、右方向(ホームボタン106eが配置されている側)へ寄っている。すなわち、バナー502bについては、右方向へのフリック操作によりバナーを非表示にできる。仮にバナー502bが左方向(マイク112bが配置されている側)へ寄っていた場合は、左方向へのフリック操作によりバナーを非表示にすることができる。スマートフォン100の筐体の向きや実行しているアプリケーションの種類によって、バナーが表示される位置は異なるため、バナーの表示位置によって判定すべきフリック操作の向きは異なる。
【0056】
また、バナー表示の表示領域内においてタップ操作があった場合は、バナーが有している情報に応じた処理を行い、バナーを非表示にし、視線検出機能をオフにし、
図3のフローチャートを終了する。タップされたバナーがウェブバナーである場合は、タップ操作に応じてバナーが有するURLに基づいてブラウザアプリを用いてウェブサイトを開く。通知バナーがタップされた場合は、バナーの持つ情報に基づいてアプリケーションを開く。
【0057】
バナー表示の表示領域外においてタッチ操作があった場合は、タッチ操作とタッチ位置に応じた処理を行い、バナーを非表示にする。バナーを非表示にしたことに応じて、視線検出機能をオフにし、
図3のフローチャートを終了する。
【0058】
図3の制御フローチャートと
図4を用いて説明したように、ディスプレイにバナーが表示されたことに応じて視線検出機能がオンになり、バナーが非表示になったことに応じて視線検出機能をオフにする。これによりユーザーは、バナーが表示された際に、ユーザー自身の視線によって直感的にバナーを非表示にすることができ、バナーによってバナー表示前に見ていたメインのコンテンツが見づらくなるということを低減することができる。ユーザーの視線位置の移動状況によっては、非表示にしたバナーを再表示にする。また、ユーザーがバナーを非表示にするためにタッチ操作を行おうとした場合に、ユーザー自身の手でバナーが表示される前にディスプレイに表示していたコンテンツが遮られるということもなく、ユーザーが煩わしく感じることも低減できる。さらには、バナーの表示に応じてオンになった視線検出機能は、バナーが非表示になったことに応じてオフとなるため、視線検出機能が常時オンである場合と比較して電力の消費を抑えることができる。
【0059】
なお、CPU101が行うものとして説明した上述の各種制御は1つのハードウェアが行ってもよいし、複数のハードウェア(例えば、複数のプロセッサーや回路)が処理を分担することで、装置全体の制御を行ってもよい。
【0060】
本実施形態では、
図3と
図4を用いて上述したような制御に限らず、以下に説明するような制御としてもよい。
【0061】
図3の制御フローチャートにおいて、条件を満たしたことに応じてバナーを非表示(S313、S317、S319)にしたが、バナーを突然非表示にするのでなく、バナーの透過度を徐々に上げてゆっくりと非表示になるようにする。すなわち、バナーが徐々に消えるように(フェードアウトするように)する。バナーが完全に非表示になったことに応じて、S320において視線検出機能をオフにする。
【0062】
また、S310~S315の制御については、バナーを非表示にするのではなく、S310においてバナーの透過度をあげる(視認度を下げる)ようにする。これにより、ユーザーがバナーを邪魔に感じることを低減できる、かつ、バナーの表示位置を視認することができるため、再度バナーを確認したければ、透過度のあがったバナーを見ればよい。S312においてYesと判定されると、S313においてS306で示したようなバナー表示(
図4(b)のバナー502c)に戻す。そのあと、S314においてYesと判定された場合に、バナーを非表示にする。S312においてNoと判定された場合は、S311において視線タイマが所定時間経過したことに応じて、バナーを非表示にし、視線検出機能をオフにする。
【0063】
上述したように、視線タイマの所定時間<バナータイマ満了の時間であるため、S308においてYesと判定された場合に、S319ではバナーの透過度をあげる(視認度を下げる)ようにする。また、S319においてバナータイマのカウントを開始し、バナータイマの満了に応じて視認度を下げたバナーを非表示にする。
【0064】
本実施形態では、視線検出機能をオンにするトリガーをバナー表示の検出としたが、バナー表示にかかわらず、ユーザーの意図に関係なく表示されるものであればバナー表示と呼ばれるもの以外でもよい。通知のポップアップ等に適用してもよい。
【0065】
S306においてバナー表示タイマをリセットしたが、リセットしなくてもよい。ユーザーが視線を上下左右に絶え間なく動かしていると、視線タイマは上述した所定の条件を満たすことができない場合がある。バナー表示タイマをリセットしなければ、視線タイマが所定の条件を満たさなくてもバナー表示タイマ満了にともなってバナーを非表示にし、視線検出機能をオフにし、
図3のフローチャートを終了するため、ユーザーがバナーを煩わしく感じることを低減できる。
【0066】
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。本発明をスマートフォンに適用した場合を例にして説明したが、これはこの例に限定されずユーザーの視線方向・位置を検出できる視線検出手段を有し、通知や広告をユーザーの意図に関わらず表示できる電子機器であれば適用可能である。すなわち、本発明はパーソナルコンピュータやタブレットPC、PDA、デジタルカメラや携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、VR-HMDなどに適用可能である。
【0067】
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。