(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-26
(45)【発行日】2023-06-05
(54)【発明の名称】電子装置および表示制御方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20230529BHJP
G06F 3/04845 20220101ALI20230529BHJP
【FI】
G06F3/01 510
G06F3/04845
(21)【出願番号】P 2019048760
(22)【出願日】2019-03-15
【審査請求日】2022-02-24
(73)【特許権者】
【識別番号】398058588
【氏名又は名称】Dynabook株式会社
(74)【代理人】
【識別番号】110001737
【氏名又は名称】弁理士法人スズエ国際特許事務所
(72)【発明者】
【氏名】中野 昌則
(72)【発明者】
【氏名】佐藤 重信
【審査官】岩橋 龍太郎
(56)【参考文献】
【文献】特開2019-016316(JP,A)
【文献】特開2014-186089(JP,A)
【文献】特開2013-125247(JP,A)
【文献】特開平07-095498(JP,A)
【文献】特開2007-134785(JP,A)
【文献】特開2000-308092(JP,A)
【文献】特開2015-149634(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G06F 3/048-3/04895
G09G 5/00-5/42
(57)【特許請求の範囲】
【請求項1】
ユーザの頭部に装着可能なウェアラブルデバイスに搭載される1以上のセンサのセンサ値に基づき、前記ユーザの頭部の移動・回転量を計測する計測部と、
前記計測部によって計測された前記移動・回転量に基づき、前記ウェアラブルデバイスに搭載されるディスプレイでの画面の表示を制御する表示制御部と、
を具備
し、
前記ディスプレイは、前記ユーザによって目視される現実空間に重畳させて前記画面を表示可能であり、
前記表示制御部は、前記ユーザの頭部が第1閾値以上の速度かつ第2閾値未満の距離で第1方向へ回転した場合、前記画面を縮小して、前記ディスプレイ上の前記第1方向と対向する第2方向の端部に前記画面の表示位置を移動させる、
電子装置。
【請求項2】
前記表示制御部は、前記ユーザの頭部が前記第1閾値以上の速度かつ前記第2閾値以上の距離で回転した場合、前記ディスプレイから前記画面を消去する請求項
1に記載の電子装置。
【請求項3】
キーボードを更に具備し、
前記表示制御部は、前記画面の表示位置の移動後または前記画面の消去後、前記キーボード上でのキー操作が行われた場合、前記画面の表示状態を前記画面の表示位置の移動前または前記画面の消去前の状態に復帰させる請求項
1または2に記載の電子装置。
【請求項4】
前記表示制御部は、前記画面の表示位置の移動後または前記画面の消去後、前記ユーザの頭部が前記第2方向へ回転した場合、前記画面の表示状態を前記画面の表示位置の移動前または前記画面の消去前の状態に復帰させる請求項
1または2に記載の電子装置。
【請求項5】
前記表示制御部は、前記ユーザの頭部が前記第1閾値以上の速度かつ前記第2閾値以上の距離で前方へ移動した場合、前記画面を拡大し、前記ユーザの頭部が前記第1閾値以上の速度かつ前記第2閾値以上の距離で後方へ移動した場合、前記画面を縮小する請求項
1から4のいずれか1項に記載の電子装置。
【請求項6】
前記表示制御部は、前記ユーザの頭部が前記第1閾値以上の速度かつ前記第2閾値以上の距離で前方へ移動した場合、両眼視差による錯覚を利用して前記ユーザに知覚させる前記画面の奥行き位置を前記ユーザの頭部に近い側へ移動し、前記ユーザの頭部が前記第1閾値以上の速度かつ前記第2閾値以上の距離で後方へ移動した場合、前記画面の奥行き位置を前記ユーザの頭部から遠い側へ移動する請求項
1から4のいずれか1項に記載の電子装置。
【請求項7】
前記画面は、前記ディスプレイ上で表示すべき画像の表示領域である請求項1から
6のいずれか1項に記載の電子装置。
【請求項8】
前記1以上のセンサは、加速度センサまたはジャイロセンサの一方を少なくとも含む請求項1から
7のいずれか1項に記載の電子装置。
【請求項9】
前記ウェアラブルデバイスは、メガネ型である請求項1から
8のいずれか1項に記載の電子装置。
【請求項10】
ユーザの頭部に装着可能なウェアラブルデバイスが接続される電子装置によって実行される表示制御方法であって、
前記ウェアラブルデバイスに搭載される1以上のセンサのセンサ値に基づき、前記ユーザの頭部の移動・回転量を計測することと、
計測された前記移動・回転量に基づき、前記ウェアラブルデバイスに搭載されるディスプレイでの画面の表示を制御することと、
を具備
し、
前記ディスプレイは、前記ユーザによって目視される現実空間に重畳させて前記画面を表示可能であり、
前記画面の表示を制御することは、前記ユーザの頭部が第1閾値以上の速度かつ第2閾値未満の距離で第1方向へ回転した場合、前記画面を縮小して、前記ディスプレイ上の前記第1方向と対向する第2方向の端部に前記画面の表示位置を移動させることを含む、
表示制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、電子装置および表示制御方法に関する。
【背景技術】
【0002】
近年、AR(Augmented Reality)グラスなどと称される、現実空間に付加するように画像を表示する表示デバイスが流通し始めている。この表示デバイスのディスプレイ(表示面)上には、画像を表示するための領域(グラス画面)が現実空間に重畳して表示される。この種の表示デバイスは、たとえばマニュアルを適宜に参照しながら作業を進めていく等の用途に好適である。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
この種の表示デバイスを用いてPC(Personal Computer)による作業を行う場合、ユーザの視界がPCの画面で占められることになる。通常の据え置き型の表示デバイスを用いている場合においては、たとえば横を向けば、PCの画面を視界から外して、向いた側に存在する対象物に視線を移せる。しかしながら、頭部に装着される表示デバイスの場合、横を向いたとしても、PCの画面(画像の表示領域)は常に視界に留まる。つまり、ユーザの視界のディスプレイ(表示面)上で画面内の表示画像が存続するため、向いた側に存在する対象物に視線を移せない。
【0005】
本発明が解決しようとする課題は、ユーザの頭部の移動・回転に応じて画面の表示を制御することができる電子装置および表示制御方法を提供することである。
【課題を解決するための手段】
【0006】
実施形態によれば、電子装置は、計測部と、表示制御部とを具備する。前記計測部は、ユーザの頭部に装着可能なウェアラブルデバイスに搭載される1以上のセンサのセンサ値に基づき、前記ユーザの頭部の移動・回転量を計測する。前記表示制御部は、前記計測部によって計測された前記移動・回転量に基づき、前記ウェアラブルデバイスに搭載されるディスプレイでの画面の表示を制御する。前記ディスプレイは、前記ユーザによって目視される現実空間に重畳させて前記画面を表示可能である。前記表示制御部は、前記ユーザの頭部が第1閾値以上の速度かつ第2閾値未満の距離で第1方向へ回転した場合、前記画面を縮小して、前記ディスプレイ上の前記第1方向と対向する第2方向の端部に前記画面の表示位置を移動させる。
【図面の簡単な説明】
【0007】
【
図1】実施形態の電子装置の開いた状態における斜視図。
【
図2】実施形態の電子装置の閉じた状態における斜視図。
【
図4】実施形態の電子装置と、同電子装置に接続されるウェアラブル表示機器との概略構成を示すブロック図。
【
図5】実施形態の電子装置と接続されるウェアラブル表示機器が装着されるユーザの頭部の動作に伴う画面の表示状態の遷移を示す図。
【
図6】実施形態の電子装置がユーザの頭部の動きに伴って実行するウェアラブル表示機器上の画面の制御の流れを示すフローチャート。
【発明を実施するための形態】
【0008】
以下、実施の形態について、図面を参照して説明する。
図1は、本実施形態の電子装置(キーボードPC100)の開いた状態における斜視図である。
キーボードPC100は、
図4を参照して後述する、CPU(Central Processing Unit)11、RAM(Random Access Memory)12、SSD(Solid State Drive)13などを備える、外部ディスプレイ機器を接続するだけでPCとして使用することのできるモバイルPCである。なお、本実施形態においては、キーボードPC100が、折り畳んで持ち運ぶことができる構造であることを想定するが、後述する、ユーザの頭部の移動・回転に応じて画面の表示を制御するための仕組みは、このような構造に限定されず、たとえば、折り畳むことができない構造であっても適用することができる。
【0009】
図1に示すように、キーボードPC100は、第1保持部161と、第2保持部162と、第1保持部161と第2保持部162とを開閉可能に支持するヒンジ163によって構成される筐体ユニット160を有している。第1保持部161と第2保持部162とが開いた状態で露出する第1保持部161の上面161aと第2保持部162の上面162aとには、タッチパッド123を含むキーボード120が分割して配置される。具体的には、キーボード120のキー121のうち、「H」に対応するキー121Hを含む右手で操作し易いものが第1保持部161に設けられ、「G」に対応するキー121Gを含む左手で操作し易いものが第2保持部162に設けられている。つまり、キーボード120は、キー121Hとキー121Gとの間隙を境にして分割される。また、スペースキー122は第1保持部161に設けられ、タッチパッド123は第2保持部162に設けられ、スペースキー122とタッチパッド123とは、第1保持部161と第2保持部162とが開いた状態において隣り合って位置するように配置されている。
【0010】
第2保持部162の前面162jには、ユーザの生体情報による認証が可能な指紋センサ162kが配置されている。第2保持部162の前面162jに配置される指紋センサ162kは、筐体ユニット160の開閉状態によらずに使用することができる。
第2保持部162の左側面162mには、電源スイッチ162n、ヘッドフォン出力端子162q、USB(Universal Serial Bus) Type-Cコネクタ130a、HDMI(High-Definition Multimedia Interface)(登録商標)端子162pなどが配置されている。メガネのように人体に装着して使用するウェアラブル表示機器300(
図3参照)などの外部ディスプレイ機器は、USB Type-Cコネクタ130a経由でキーボードPC100と接続される。
【0011】
図2は、キーボードPC100の閉じた状態における斜視図である。
図2は、第2保持部162が上下反転して第1保持部161に重ね合わせられている状態を示している。以下で述べる下面・右側面・左側面は、
図1に示すキーボードPC100の配置を基準とした向きに対応する。
図2に示すように、第2保持部162の下面162eには、外部タッチパッド162gと、CCD(Charge-Coupled Device)カメラ162iとが配置されている。外部タッチパッド162gは、たとえば、筐体ユニット160を閉じた状態において、他装置の外付けポインティングデバイスなどとして使用される。CCDカメラ162iは、指紋センサ162kと同様、ユーザ認証用の生体情報を取得するために使用される。CCDカメラ162iによって取得する生体情報としては、たとえば、顔、目の網膜、手の平の静脈などが考えられる。
【0012】
第2保持部162の右側面162cには、SIM(Subscriber Identity Module)カード用スロット162hと、筐体ユニット160の開閉状態を検出するための開閉センサ162lとが配置されている。開閉センサ162lは、たとえば光学センサであり、第1保持部161の左側面161cが近接しているか否かを検出する。
【0013】
図3は、キーボードPC100の一使用例を示す図である。
前述したように、キーボードPC100は、
図3に示すウェアラブル表示機器300などの外部ディスプレイ機器を接続することのできるUSB Type-Cコネクタ130aを有している。ユーザは、
図3に示すように、USBType-Cコネクタ130a経由でウェアラブル表示機器300などの外部ディスプレイ機器を接続することで、キーボードPC100を、一般的なPCと同様に使用することができる。
【0014】
ウェアラブル表示機器300を頭部に装着して作業を行う場合、据え置き型の表示デバイスを用いている場合とは違い、横を向いても、ディスプレイ(表示面)上の画面(画像の表示領域)が視界から外れない。換言すれば、画面(画像の表示領域)が視界に残って邪魔になる。そこで、このキーボードPC100は、
図3に示すように、USB Type-Cコネクタ130a経由で接続されるウェアラブル表示機器300について、ユーザの頭部の移動・回転に応じて画面の表示を制御するための仕組みを備えたものであり、以下、この点について詳述する。
【0015】
図4は、キーボードPC100と、キーボードPC100に接続されるウェアラブル表示機器300との概略構成を示すブロック図である。
図4に示すように、キーボードPC100は、CPU11、RAM12、SSD13、BIOS(Basic Input/Output System)-ROM(Read Only Memory)14、USBコントローラ15を有する。なお、
図4には示していないが、キーボードPC100は、キーボード120上で行われるキー操作に応じてキーコードを生成するEC(Embedded Controller)/KBC(Keyboard Controller)なども有する。
【0016】
CPU11は、SSD13に格納される、OS210や当該OS210の制御下で動作する各種アプリケーションプログラムをRAM12にロードして実行する。各種アプリケーションプログラムの中には、後述する表示制御ユーティリティ230が含まれる。CPU11は、BIOS-ROM14に格納されるBIOS220も実行する。
【0017】
RAM12は、主メモリとしての役割を担うストレージである。SSD13は、外部記憶装置としての役割を担うストレージである。また、BIOS-ROM14は、BIOS220格納用のストレージである。BIOS-ROM14は、電気的に内容を書き換え可能なEEPROM(Electronically Erasable and Programmable ROM)である。
【0018】
USBコントローラ15は、USB Type-Cコネクタ130a経由で接続される、たとえばウェアラブル表示機器300などとの間の通信を実行する。CPU11は、GPU(Graphics Processing Unit)11Aを含んでおり、GPU11Aによって生成した表示画面用の画像データをUSBコントローラ15経由でウェアラブル表示機器300へ送信することによって、ウェアラブル表示機器300のディスプレイ(表示面)上に画面(画像の表示領域)を表示させることができる。表示制御ユーティリティ230は、ウェアラブル表示機器300上での画面の表示領域の切替えや画面の消去などを適応的に制御するプログラムである。表示制御ユーティリティ230は、ウェアラブル表示機器300側から送られてくる、後述する加速度センサ33やジャイロセンサ34のセンサ値に基づき、ウェアラブル表示機器300が装着されるユーザの頭部の移動・回転量を計測する機能を有している。また、表示制御ユーティリティ230は、計測した移動・回転量からユーザの頭部の移動・回転の速度を得ることができる。表示制御ユーティリティ230は、計測したユーザの頭部の移動・回転量に基づき、ウェアラブル表示機器300のディスプレイ(表示面)上での画面(画像の表示領域)の表示を制御する。具体的には、ウェアラブル表示機器300側の後述するマイクロプロセッサ31に対して画面の表示に関するコマンドを送信する。ここで移動・回転量とは、移動及び回転の距離、速さ、方向を示す。
【0019】
一方、ウェアラブル表示機器300は、マイクロプロセッサ31、表示部32、加速度センサ33、ジャイロセンサ34を有する。
マイクロプロセッサ31は、第1に、キーボードPC100から送信されてくる表示画面用の画像データを使って表示部32への画面の表示を実行する。この表示部32への画面の表示に関して、マイクロプロセッサ31は、キーボードPC100上で動作する表示制御ユーティリティ230から送られるコマンドに基づき、表示領域の切替えや画面の消去などを実行する。
【0020】
表示部32は、たとえば光学透過型ディスプレイであり、ウェアラブル表示機器300がユーザに装着された際、表示面がユーザの視界と重なるようにウェアラブル表示機器300に配置される。
また、マイクロプロセッサ31は、第2に、加速度センサ33やジャイロセンサ34のセンサ値を読み取ってキーボードPC100側へ送信する。加速度センサ33やジャイロセンサ34は、ウェアラブル表示機器300が装着されるユーザの頭部の移動・回転量を計測するために設けられるセンサであって、センサは、これらに限られない。これらに加えて他のセンサが設けられてもよいし、これらの一部または全部に代えて他のセンサが設けられてもよい。マイクロプロセッサ31によってキーボードPC100側へ送信された加速度センサ33やジャイロセンサ34のセンサ値は、キーボードPC100上で動作する表示制御ユーティリティ230に供給される。
【0021】
ここで、
図5を参照して、ウェアラブル表示機器300が装着されるユーザの頭部の動作に伴って、ウェアラブル表示機器300の表示部32による画面の表示状態がどのように遷移するのかについて説明する。つまり、ウェアラブル表示機器300に搭載される加速度センサ33およびジャイロセンサ34のセンサ値に基づき、キーボードPC100上で動作する表示制御ユーティリティ230が、ウェアラブル表示機器300の表示部32による画面の表示をどのように制御するのかについて説明する。
【0022】
頭部動作の大きさ(距離)が予め定められた閾値未満であって、頭部動作の速さも予め定められた閾値未満である場合、画面の表示状態は変わらない(1段目)。以下、頭部動作の大きさが閾値未満であることを、頭部動作が小さい(「小」)と称し、頭部動作の大きさが閾値以上であることを、頭部動作が大きい(「大」)と称する。また、頭部動作の速さが閾値未満であることを、頭部動作が遅い(「遅」)と称し、頭部動作の速さが閾値以上であることを、頭部動作が速い(「速」)と称する。
【0023】
頭部動作が小さく、頭部動作が速い場合、その方向が上下左右であったならば、表示部32の表示面の端部に画面(画像の表示領域)が移動する(2段目)。具体的には、たとえば左に頭を小さく速く動かすと、逆の右側に画面が縮小して移動する。つまり、ユーザの視界の、ユーザが頭を動かして視線を向けた側から画面を外す。ユーザが頭を動かさずに視線を向けただけでは、画面の表示状態は変わらない。なお、上下左右への頭部動作は、垂直方向または水平方向の回転を伴う移動である。頭部動作が小さく、頭部動作が速い場合でも、回転を伴わない水平方向の移動であるたとえば左右方向の直線移動の場合、画面の表示状態は変わらない(3段目)。
【0024】
頭部動作が大きくても、頭部動作が遅い場合、画面の表示状態は変わらない(4段目)。つまり、頭部動作が遅い場合、頭部動作の大小に関わらず、画面の表示状態は変わらない。
一方、頭部動作が大きく、頭部動作が速い場合、その方向が上下左右であったならば、画面は表示面から消去される(5段目)。つまり、頭を小さく速く動かした場合とは違って、ユーザの視界全体から画面が外れ、ユーザの視界が広く確保される。頭部動作が大きく、頭部動作が速い場合で、その方向が前後であったならば、画面は拡大・縮小される(6段目)。具体的には、前に頭を大きく速く動かすと、画面は拡大され、逆に、後ろに頭を大きく速く動かすと、画面は縮小される。なお、両眼視差による錯覚を利用して画面を立体視させる場合には、拡大・縮小に代えて、奥行き位置(視認距離)を前後に移動させるようにしてもよい。つまり、拡大に代えて奥行き位置をユーザの頭部(視界)に近い側へ移動し、縮小に代えて奥行き位置をユーザの頭部(視界)から遠い側へ移動する。
【0025】
なお、頭部動作によって表示状態が遷移した画面を元の状態へ復帰させる指示としては、キーボード120上で何らかのキー操作を行うこととしてもよいし、表示状態を遷移させるために行った頭部動作と逆の動作を行うこととしてもよい。逆の動作とは、たとえば頭部を右に大きく速く動かして表示状態を遷移させた場合、頭部を左に大きく速く動かすなどといった(大きさや速さではなく)方向が逆の動作である。つまり、表示制御ユーティリティ230は、たとえば頭部を左に大きく速く動かす動作が行われた場合、頭部を右に大きく速く動かすことに起因して画面の表示状態が遷移していれば、画面を元の状態へ復帰させる。画面の表示状態が遷移していなければ、表示制御ユーティリティ230は、その頭部を左に大きく速く動かす動作に伴い、画面の表示状態を遷移させる。
【0026】
また、頭部動作によって表示状態が遷移した画面を元の状態へ復帰させる指示は、キーボード120上で何らかのキー操作を行うことと、表示状態を遷移させるために行った頭部動作と逆の動作を行うこととのいずれかが行われた場合としてもよい。なお、画面の拡大・縮小については、元の状態へ復帰させる指示を定義する必要がなく、たとえば拡大した画面を元に戻したい場合、縮小のための動作を行えばよいし、縮小した画面を元に戻したい場合、拡大のための動作を行えばよい。
【0027】
このように、本実施形態のキーボードPC100においては、上下左右に頭部が小さく速く動いた場合、その方向と逆の方向へ画面を縮小して移動させることにより、ユーザの視界の中の頭部が動いた方向から画面を外し、上下左右に頭部が大きく速く動いた場合、画面を消去して、ユーザの視界全体から画面を外す。また、前後に頭部が大きく速く動いた場合、画面を拡大・縮小する。
【0028】
つまり、本実施形態のキーボードPC100においては、ユーザの意に反して、ディスプレイ(表示面)上で画面(画像の表示領域)が視界に残って邪魔になることを防止できる。
図6は、ウェアラブル表示機器300が装着されるユーザの頭部の動きに伴って、キーボードPC100が実行するウェアラブル表示機器300のディスプレイ(表示面)上の画面の制御の流れを示すフローチャートである。
【0029】
キーボードPC100は、まず、ウェアラブル表示機器300が装着されるユーザの頭部の動作を検知する(ステップS1)。キーボードPC100は、検知した頭部の動作が大きいか、または、小さいかを判定する(ステップS2)。頭部の動作が小さい場合(ステップS2:小)、キーボードPC100は、続いて、その動作が速いか、または、遅いかを判定する(ステップS3)。頭部の動作が速い場合(ステップS3:速)、つまり、頭部の動作が小さく速い場合、キーボードPC100は、動作方向と逆の方向へ画面を縮小して移動させる(ステップS4)。頭部の動作が遅い場合(ステップS3:遅)、キーボードPC100は、画面の変更を行わず、ステップS1へ戻る。
【0030】
頭部の動作が大きい場合も(ステップS2:大)、キーボードPC100は、続いて、その動作が速いか、または、遅いかを判定する(ステップS5)。頭部の動作が速い場合(ステップS5:速)、つまり、頭部の動作が大きく速い場合、キーボードPC100は、さらに、その動作の方向が上下左右か、または前後かを判定する(ステップS6)。頭部の動作が上下左右の方向のものであった場合(ステップS6:上下左右)、キーボードPC100は、画面を消去する(ステップS7)。
【0031】
ステップS4で画面の表示状態の変更を行った場合、または、ステップS7で画面の消去を行った場合、キーボードPC100は、キー入力が行われたか、または、画面の変更・消去の要因となった動作と逆の動作が行われたかを判定する(ステップS8)。いずれも行われていない場合、(ステップS8:No)、キーボードPC100は、画面が変更または消去された状態を維持する。一方、いずれかが行われた場合(ステップS8:Yes)、キーボードPC100は、画面を元に戻す(ステップS9)。
【0032】
また、頭部の動作が前後の方向のものであった場合(ステップS6:前後)、キーボードPC100は、画面を拡大・縮小する(ステップS10)。具体的には、頭部が前へ動いた場合、画面を拡大し、後ろへ動いた場合、画面を縮小する。
以上のように、本実施形態のキーボードPC100は、ユーザの頭部の移動・回転に応じて画面の表示を制御することができる。
【0033】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0034】
11…CPU、12…RAM、13…SSD、14…BIOS-ROM、15…USBコントローラ、31…マイクロプロセッサ、32…表示部、33…加速度センサ、34…ジャイロセンサ、100…キーボードPC、210…OS、220…BIOS、230…表示制御ユーティリティ、300…ウェアラブル表示機器。