(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-08
(45)【発行日】2023-12-18
(54)【発明の名称】操作装置、表示制御方法、及び表示制御プログラム
(51)【国際特許分類】
G06F 3/04845 20220101AFI20231211BHJP
G09G 5/00 20060101ALI20231211BHJP
G09G 5/37 20060101ALI20231211BHJP
G09G 5/38 20060101ALI20231211BHJP
G06T 11/80 20060101ALI20231211BHJP
【FI】
G06F3/04845
G09G5/00 510H
G09G5/37 310
G09G5/00 550C
G09G5/00 530A
G09G5/00 530M
G09G5/00 530T
G09G5/38 100
G06T11/80 E
(21)【出願番号】P 2020068983
(22)【出願日】2020-04-07
【審査請求日】2023-03-22
【新規性喪失の例外の表示】特許法第30条第2項適用 1.CEATEC JAPAN 2019 令和1年10月15日発表 2.Sharp Smart Connected 2020 Conference 令和1年12月3日発表 3.シャープビジネスソリューションフェア 令和1年12月4日発表 4.CES 2020 令和2年1月7日発表
(73)【特許権者】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】100167302
【氏名又は名称】種村 一幸
(74)【代理人】
【識別番号】100135817
【氏名又は名称】華山 浩伸
(72)【発明者】
【氏名】藤本 英俊
【審査官】星野 裕
(56)【参考文献】
【文献】特開2013-214252(JP,A)
【文献】特開2011-170764(JP,A)
【文献】米国特許出願公開第2010/0066763(US,A1)
【文献】特開2014-063394(JP,A)
【文献】米国特許出願公開第2013/0169687(US,A1)
【文献】特開2006-259358(JP,A)
【文献】特開2006-068027(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/048
G09G 5/00
G09G 5/37
G09G 5/38
G06T 11/80
(57)【特許請求の範囲】
【請求項1】
所定の表示領域を含む表示部を備え、ユーザの操作に応じて所定の処理を実行する操作装置であって、
前記ユーザに対する前記操作装置の姿勢を第1姿勢に設定する姿勢設定部と、
前記第1姿勢に設定された前記操作装置の前記表示領域において、
図形部と前記図形部に配置されるテキスト情報とにより構成されるオブジェクトを第1方向に向けて表示させる表示処理部と、
前記ユーザが前記操作装置の姿勢を変化させた場合に、前記操作装置の姿勢変化を検出する姿勢検出部と、
前記操作装置が前記第1姿勢から第2姿勢に姿勢変化した場合に、前記表示領域において、前記オブジェクト
の前記図形部を前記第2姿勢に対応する第2方向に向けて表示させるとともに、前記オブジェクトの前記テキスト情報を前記第1方向に向けて表示させる表示変更部と、
を備える操作装置。
【請求項2】
前記表示変更部は、前記操作装置が前記第1姿勢から前記第2姿勢に姿勢変化した場合に、前記オブジェクトを、前記第1姿勢における前記表示領域に対する前記オブジェクトの表示位置に表示させ、
前記図形部を、前記表示位置を中心に回転させて前記第2方向に向けて表示させる、
請求項
1に記載の操作装置。
【請求項3】
前記表示処理部は、所定の方向に配列された複数の前記オブジェクトを含むオブジェクトグループを前記第1方向に向けて表示させ、
前記表示変更部は、前記操作装置が前記第1姿勢から前記第2姿勢に姿勢変化した場合に、前記表示領域において、
複数の前記オブジェクトのそれぞれの前記図形部を当該図形部の中心位置を中心に回転させて前記第2方向に向けて表示させ、複数の前記オブジェクトのそれぞれの前記テキスト情報を前記第1方向に向けて表示させる、
請求項
1に記載の操作装置。
【請求項4】
前記表示処理部は、所定の方向に配列された複数の前記オブジェクトを含むオブジェクトグループを前記第1方向に向けて表示させ、
前記表示変更部は、前記操作装置が前記第1姿勢から前記第2姿勢に姿勢変化した場合に、前記表示領域において、前記オブジェクトグループを
当該オブジェクトグループ全体の中心位置を中心に回転させて前記第2方向に向けて表示させ、前記オブジェクトグループに含まれる
複数の前記オブジェクトの
それぞれの前記テキスト情報を前記第1方向に向けて表示させる、
請求項
1に記載の操作装置。
【請求項5】
前記操作装置が前記第1姿勢から前記第2姿勢に姿勢変化することにより、前記オブジェクトの少なくとも一部が前記表示領域内に収まらなくなる場合に、前記表示変更部は、前記オブジェクトの表示位置を変更して前記表示領域内に表示させる、
請求項1から請求項
4のいずれか1項に記載の操作装置。
【請求項6】
前記操作装置が前記第1姿勢から前記第2姿勢に姿勢変化することにより、前記オブジェクトグループに含まれる第1オブジェクトが前記表示領域内に収まらなくなる場合に、前記表示変更部は、前記オブジェクトグループに含まれる複数の前記オブジェクトの配列状態を解除して、前記第1オブジェクトを前記表示領域内に表示させる、
請求項
3又は請求項
4に記載の操作装置。
【請求項7】
前記操作装置は、前記ユーザの操作に応じて操作対象物を操作可能であって、
前記操作装置の姿勢変化の変化量に応じて前記操作対象物の姿勢を変化させる第1動作指示を出力する動作出力部をさらに備える、
請求項1から請求項
6のいずれか1項に記載の操作装置。
【請求項8】
前記オブジェクトは、前記操作対象物に所定の処理を実行させるための機能アイコンであり、
前記動作出力部は、前記オブジェクトが前記ユーザに選択された場合に、前記所定の処理を実行させる第2動作指示を出力する、
請求項
7に記載の操作装置。
【請求項9】
前記操作対象物は、前記操作装置に通信可能に接続される表示装置に表示される操作対象画像である、
請求項
7又は請求項
8に記載の操作装置。
【請求項10】
ユーザの操作に応じて所定の処理を実行する操作装置の表示部に含まれる表示領域に画像を表示させる表示制御方法であって、
前記ユーザに対する前記操作装置の姿勢を第1姿勢に設定する姿勢設定ステップと、
前記第1姿勢に設定された前記操作装置の前記表示領域において、
図形部と前記図形部に配置されるテキスト情報とにより構成されるオブジェクトを第1方向に向けて表示させる表示ステップと、
前記ユーザが前記操作装置の姿勢を変化させた場合に、前記操作装置の姿勢変化を検出する姿勢検出ステップと、
前記操作装置が前記第1姿勢から第2姿勢に姿勢変化した場合に、前記表示領域において、前記オブジェクト
の前記図形部を前記第2姿勢に対応する第2方向に向けて表示させるとともに、前記オブジェクトの前記テキスト情報を前記第1方向に向けて表示させる表示変更ステップと、
を一又は複数のプロセッサにより実行する表示制御方法。
【請求項11】
ユーザの操作に応じて所定の処理を実行する操作装置の表示部に含まれる表示領域に画像を表示させる表示制御プログラムであって、
前記ユーザに対する前記操作装置の姿勢を第1姿勢に設定する姿勢設定ステップと、
前記第1姿勢に設定された前記操作装置の前記表示領域において、
図形部と前記図形部に配置されるテキスト情報とにより構成されるオブジェクトを第1方向に向けて表示させる表示ステップと、
前記ユーザが前記操作装置の姿勢を変化させた場合に、前記操作装置の姿勢変化を検出する姿勢検出ステップと、
前記操作装置が前記第1姿勢から第2姿勢に姿勢変化した場合に、前記表示領域において、前記オブジェクト
の前記図形部を前記第2姿勢に対応する第2方向に向けて表示させるとともに、前記オブジェクトの前記テキスト情報を前記第1方向に向けて表示させる表示変更ステップと、
を一又は複数のプロセッサに実行させるための表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、操作装置、表示制御方法、及び表示制御プログラムに関する。
【背景技術】
【0002】
従来、表示装置に表示された表示画像を、ユーザがコントローラーなどの操作装置を把持して操作装置の位置、傾きなどの姿勢を変化(移動、回転など)させることにより、前記表示画像の表示状態を操作装置の姿勢変化に応じた状態に変更させることが可能なシステムが提案されている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、従来、例えば表示画像に対して所定の処理を実行させるための機能アイコン(オブジェクト)を自身の表示部に表示可能な操作装置が知られている。この操作装置によれば、例えばユーザは、前記操作装置を回転させることにより表示装置に表示された前記表示画像を回転させることができるとともに、前記操作装置の機能アイコンを操作して前記表示画像に対して所定の処理を実行させることができる。
【0005】
しかし、従来の操作装置では、例えば、ユーザが前記操作装置を回転させた場合に、回転に伴ってユーザから見た前記機能アイコンの位置も回転してしまう。このため、ユーザが前記操作装置の姿勢を変化させる度に、ユーザから見た機能アイコンの位置が変化してしまい、機能アイコンの視認性が低下する問題が生じる。
【0006】
本発明の目的は、ユーザの操作に応じて所定の処理を実行する操作装置であって、当該操作装置に表示されるオブジェクトの視認性を向上させることが可能な操作装置、表示制御方法、及び表示制御プログラムを提供することにある。
【課題を解決するための手段】
【0007】
本発明の一の態様に係る操作装置は、所定の表示領域を含む表示部を備え、ユーザの操作に応じて所定の処理を実行する操作装置であって、前記ユーザに対する前記操作装置の姿勢を第1姿勢に設定する姿勢設定部と、前記第1姿勢に設定された前記操作装置の前記表示領域において、所定のオブジェクトを第1方向に向けて表示させる表示処理部と、前記ユーザが前記操作装置の姿勢を変化させた場合に、前記操作装置の姿勢変化を検出する姿勢検出部と、前記操作装置が前記第1姿勢から第2姿勢に姿勢変化した場合に、前記表示領域において、前記オブジェクトに含まれる少なくとも一部のオブジェクト情報を前記第1方向に向けて表示させる表示変更部と、を備える。
【0008】
本発明の他の形態に係る表示制御方法は、ユーザの操作に応じて所定の処理を実行する操作装置の表示部に含まれる表示領域に画像を表示させる表示制御方法であって、前記ユーザに対する前記操作装置の姿勢を第1姿勢に設定する姿勢設定ステップと、前記第1姿勢に設定された前記操作装置の前記表示領域において、所定のオブジェクトを第1方向に向けて表示させる表示ステップと、前記ユーザが前記操作装置の姿勢を変化させた場合に、前記操作装置の姿勢変化を検出する姿勢検出ステップと、前記操作装置が前記第1姿勢から第2姿勢に姿勢変化した場合に、前記表示領域において、前記オブジェクトに含まれる少なくとも一部のオブジェクト情報を前記第1方向に向けて表示させる表示変更ステップと、を一又は複数のプロセッサにより実行する方法である。
【0009】
本発明の他の形態に係る表示制御プログラムは、ユーザの操作に応じて所定の処理を実行する操作装置の表示部に含まれる表示領域に画像を表示させる表示制御プログラムであって、前記ユーザに対する前記操作装置の姿勢を第1姿勢に設定する姿勢設定ステップと、前記第1姿勢に設定された前記操作装置の前記表示領域において、所定のオブジェクトを第1方向に向けて表示させる表示ステップと、前記ユーザが前記操作装置の姿勢を変化させた場合に、前記操作装置の姿勢変化を検出する姿勢検出ステップと、前記操作装置が前記第1姿勢から第2姿勢に姿勢変化した場合に、前記表示領域において、前記オブジェクトに含まれる少なくとも一部のオブジェクト情報を前記第1方向に向けて表示させる表示変更ステップと、を一又は複数のプロセッサに実行させるためのプログラムである。
【発明の効果】
【0010】
本発明によれば、ユーザの操作に応じて所定の処理を実行する操作装置であって、当該操作装置に表示されるオブジェクトの視認性を向上させることが可能な操作装置、表示制御方法、及び表示制御プログラムが提供される。
【図面の簡単な説明】
【0011】
【
図1】
図1は、本発明の実施形態に係る表示制御システムの構成を示す模式図である。
【
図2】
図2は、本発明の実施形態に係る表示制御システムの構成を示すブロック図である。
【
図3A】
図3Aは、本発明の実施形態に係る操作装置に表示される画像の一例を示す図である。
【
図3B】
図3Bは、本発明の実施形態に係る操作装置に表示される画像の一例を示す図である。
【
図3C】
図3Cは、本発明の実施形態に係る操作装置に表示される画像の一例を示す図である。
【
図4A】
図4Aは、本発明の実施形態に係る操作装置に表示される画像の一例を示す図である。
【
図4B】
図4Bは、本発明の実施形態に係る操作装置に表示される画像の一例を示す図である。
【
図5】
図5は、本発明の実施形態に係る操作装置で実行される表示制御処理の手順の一例を示すフローチャートである。
【
図6A】
図6Aは、本発明の実施形態に係る操作装置に表示される画像の一例を示す図である。
【
図6B】
図6Bは、本発明の実施形態に係る操作装置に表示される画像の一例を示す図である。
【
図6C】
図6Cは、本発明の実施形態に係る操作装置に表示される画像の一例を示す図である。
【
図7A】
図7Aは、本発明の実施形態に係る操作装置に表示される画像の一例を示す図である。
【
図7B】
図7Bは、本発明の実施形態に係る操作装置に表示される画像の一例を示す図である。
【
図7C】
図7Cは、本発明の実施形態に係る操作装置に表示される画像の一例を示す図である。
【
図8A】
図8Aは、本発明の実施形態に係る操作装置の正対姿勢の設定方法の一例を示す図である。
【
図8B】
図8Bは、本発明の実施形態に係る操作装置の正対姿勢の設定方法の一例を示す図である。
【
図8C】
図8Cは、本発明の実施形態に係る操作装置の正対姿勢の設定方法の一例を示す図である。
【発明を実施するための形態】
【0012】
以下添付図面を参照しながら、本発明の実施形態について説明し、本発明の理解に供する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。
【0013】
[表示制御システム100]
図1及び
図2に示されるように、本発明の実施形態に係る表示制御システム100は、操作装置1と表示装置2とを含む。操作装置1と表示装置2とは、無線LAN、有線LANなどの通信網N1を介して通信可能である。操作装置1は本発明の操作装置の一例であり、表示装置2は本発明の表示装置の一例である。
【0014】
操作装置1は、ユーザの操作に応じて所定の処理を実行するコントローラーである。例えば
図1に示すように、ユーザが操作装置1を把持してD1方向に回転させた場合に、操作装置1は、表示装置2に表示された操作対象画像3をユーザの操作に応じてD1方向に回転させる。また、例えばユーザが操作装置1を把持してD2方向に回転させた場合に、操作装置1は、操作対象画像3をユーザの操作に応じてD2方向に回転させる。また、例えばユーザが操作装置1を前後方向又は左右方向に傾けた場合に、操作装置1は、操作対象画像3をユーザの操作に応じた方向に傾ける。このように、操作装置1は、ユーザの操作に応じて、表示装置2に表示される操作対象画像3を操作可能なコントローラーである。操作対象画像3は、本発明の操作対象物の一例である。すなわち、本実施形態では、操作対象物は、操作装置1に通信可能に接続される表示装置2に表示される操作対象画像3である。
【0015】
また、操作装置1は、所定の表示領域131を含む操作表示部13を備えている。操作装置1は、所定のオブジェクト(本発明のオブジェクトに対応)を表示領域131に表示する。前記オブジェクトは、例えば、操作対象画像3に所定の処理を実行させるための機能アイコン(以下、機能アイコンP1(
図3A参照)という。)である。ユーザは、操作装置1を動かしつつ、機能アイコンP1を選択することにより、表示装置2において、操作対象画像3の姿勢を変化させつつ所定の処理を実行させることが可能である。例えば、ユーザが色を指定する機能アイコンP1を選択した場合、操作装置1は、操作対象画像3の表示色をユーザに指定された色に変更させる。表示領域131に表示される機能アイコンP1は、一つであってもよいし複数であってもよい。各機能アイコンP1には、所定の処理が割り当てられて設定されている。機能アイコンP1が複数である場合、複数の機能アイコンP1は、所定の方向に配列される。例えば
図1に示す例では、9個の機能アイコンP1が行方向及び列方向に3×3の配列で表示されている。
【0016】
以下では、操作装置1の具体的構成について説明する。
【0017】
[操作装置1]
図2に示されるように、操作装置1は、制御部11、記憶部12、操作表示部13、カメラ14、姿勢検出センサ15、及び通信部16などを備える。操作装置1は、例えばスマートフォン、タブレット端末などの情報処理装置であってもよい。また、操作装置1で実行される各種の処理は、一又は複数のプロセッサによって分散して実行されてもよい。
図3Aには、操作装置1の外観を示している。操作装置1は、例えば円盤状の外形形状を有している。
【0018】
通信部16は、操作装置1を有線又は無線で通信網N1に接続し、通信網N1を介して表示装置2などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。
【0019】
カメラ14は、被写体の画像を撮像してデジタル画像データとして出力するデジタルカメラである。
【0020】
姿勢検出センサ15は、操作装置1の姿勢を検出するセンサであり、ジャイロセンサ、加速度センサ、地磁気センサなどである。例えば、姿勢検出センサ15は、操作装置1の回転、傾きなどの姿勢変化を検出して、検出信号を制御部11に出力する。また、姿勢検出センサ15は、操作装置1のXYZ方向の座標、傾きを検出して、検出信号を制御部11に出力する。
【0021】
操作表示部13は、各種の情報を表示する液晶ディスプレイ又は有機ELディスプレイのような表示部と、ユーザの操作を受け付けるタッチパネルなどの操作部とを備えるユーザーインターフェースである。操作表示部13は、所定の表示領域131を備え、表示領域131に情報を表示する。
図3Aに示すように、表示領域131は、例えば矩形状(長方形)に形成されている。表示領域131の形状は限定されない。なお、表示領域131の形状に対応する画角情報(例えば縦横比)は、記憶部12に記憶されている。
【0022】
図3Aに示す例では、9個の機能アイコンP1が表示領域131に表示されている。各機能アイコンP1には、機能の内容、種別など機能アイコンP1を識別する識別情報と、背景画像情報とが含まれる。
図3Aに示す機能アイコンP1には、前記識別情報として「A」~「I」のテキスト情報が含まれている。前記識別情報及び前記背景画像情報は、本発明のオブジェクト情報の一例である。各機能アイコンP1の形状は、円形に限定されず、矩形であってもよい。また、9個の機能アイコンP1は、X方向(行方向)及びY方向(列方向)に3×3の配列で表示されている。
【0023】
記憶部12は、各種の情報を記憶するHDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリーなどの不揮発性の記憶部である。記憶部12には、操作表示部13に表示される機能アイコンP1などのデータが記憶される。
【0024】
また、記憶部12には、制御部11に後述の表示制御処理(
図5参照)を実行させるための表示制御プログラムなどの制御プログラムが記憶されている。例えば、前記表示制御プログラムは、USB、CD又はDVDなどのコンピュータ読取可能な記録媒体に非一時的に記録されており、操作装置1に電気的に接続されるUSBドライブ、CDドライブ又はDVDドライブなどの読取装置(不図示)で読み取られて記憶部12に記憶される。また、前記表示制御プログラムは、操作装置1からアクセス可能なサーバからダウンロードされて、記憶部12に記憶されてもよい。
【0025】
制御部11は、CPU、ROM、及びRAMなどの制御機器を有する。前記CPUは、各種の演算処理を実行するプロセッサである。前記ROMは、前記CPUに各種の演算処理を実行させるためのBIOS及びOSなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記RAMは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記CPUが実行する各種の処理の一時記憶メモリー(作業領域)として使用される。そして、制御部11は、前記ROM又は記憶部12に予め記憶された各種の制御プログラムを前記CPUで実行することにより操作装置1を制御する。
【0026】
具体的に、制御部11は、
図2に示されるように、表示処理部111、姿勢設定部112、姿勢検出部113、表示変更部114、動作出力部115などの各種の処理部を含む。なお、制御部11は、前記CPUで前記表示制御プログラムに従った各種の処理を実行することによって、表示処理部111、姿勢設定部112、姿勢検出部113、表示変更部114、及び動作出力部115として機能する。また、制御部11に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記表示制御プログラムは、複数のプロセッサを前記各種の処理部として機能させるためのプログラムであってもよい。
【0027】
表示処理部111は、各種情報を操作表示部13に表示させる。例えば、操作装置1に、表示装置2に表示される操作対象画像3を操作するための専用アプリケーションがインストールされている場合には、ユーザが当該専用アプリケーションを起動する操作を行うことにより、表示処理部111は、操作表示部13に機能アイコンP1を表示させる。表示処理部111は、本発明の表示処理部の一例である。
【0028】
姿勢設定部112は、操作装置1の姿勢を、操作装置1がユーザに対して正対する正対姿勢(本発明の第1姿勢)に設定する。具体的には、カメラ14がユーザと、ユーザの周囲の天井、床、壁などの周辺環境を撮像し、姿勢設定部112が、カメラ14から取得する撮像画像に基づいて、ユーザが操作装置1に正対する位置、すなわちユーザが操作装置1の正面となる位置の操作装置1の姿勢(正対姿勢)を登録する。例えば、姿勢設定部112は、正対姿勢における操作装置1のXYZ方向の座標、傾きを姿勢検出センサ15から取得して登録する。
【0029】
ここで、姿勢設定部112により操作装置1の正対姿勢が設定された場合に、表示処理部111は、機能アイコンP1を正対姿勢に対応する所定の方向に向けて表示させる。例えば
図3Aに示すように、表示処理部111は、ユーザから操作装置1に向かう正面方向(本発明の第1方向の一例)に向けて機能アイコンP1を表示させる。すなわち、
図3Aに示すように、操作装置1が正対姿勢に設定された場合、各機能アイコンP1のテキスト情報「A」~「I」及び背景画像情報は、正面方向に向けて表示される。姿勢設定部112は、本発明の姿勢設定部の一例である。
【0030】
姿勢検出部113は、ユーザが操作装置1の姿勢を変化させた場合に、操作装置1の姿勢変化を検出する。具体的には、姿勢検出部113は、姿勢検出センサ15から取得する検出信号に基づいて操作装置1の姿勢変化を検出する。姿勢検出部113は、本発明の姿勢検出部の一例である。
【0031】
例えば
図1に示すように、ユーザは、表示装置2に表示された操作対象画像3の向きを変えたい場合に、操作装置1を把持して右方向D1又は左方向D2に回転させる。操作対象画像3は、操作装置1の動きに追従して表示方向が変更される。
【0032】
ここで、例えば
図3Bに示すように、ユーザが操作装置1を右方向D1に回転させた場合に、操作装置1の中心軸C1の向きは正面方向から右方向D1に回転する。この場合に、姿勢検出部113は、姿勢検出センサ15から取得する検出信号に基づいて操作装置1の姿勢変化(右回転)を検出する。
【0033】
表示変更部114は、操作装置1が正対姿勢から姿勢変化した場合に、表示領域131において、機能アイコンP1に含まれる少なくとも一部のオブジェクト情報(テキスト情報、背景画像情報)を正面方向に向けて表示させる。表示変更部114は、本発明の表示変更部の一例である。具体的には、
図3Bに示すように、表示変更部114は、右方向D1に回転した表示領域131において、機能アイコンP1を正面方向に向けて表示させる。また
図3Cに示すように、表示変更部114は、左方向D2に回転した表示領域131において、機能アイコンP1を正面方向に向けて表示させる。例えば、表示変更部114は、表示領域131において、機能アイコンP1のテキスト情報(「A」~「I」)及び背景画像情報を正面方向に向けて表示させる(
図3B、
図3C参照)。
図3B、
図3Cに示す操作装置1の姿勢は、本発明の第2姿勢の一例である。
【0034】
また、表示変更部114は、表示領域131において、複数の機能アイコンP1を含むアイコングループ(本発明のオブジェクトグループ)を正面方向に向けて表示させる。すなわち、表示変更部114は、操作装置1が正対姿勢から姿勢変化した場合に、表示領域131において、前記アイコングループを、前記アイコングループの表示方向を正面方向に維持して表示させる。
【0035】
このように、表示変更部114は、操作装置1が回転した場合に、ユーザから見た機能アイコンP1の表示位置、配列、テキスト情報の向きが変化しないように表示させる。これにより、ユーザから見た機能アイコンP1の見た目の状態が変化しない(固定される)ため、機能アイコンP1の視認性を向上させることができる。なお、例えば、表示変更部114は、表示領域131において、機能アイコンP1の前記テキスト情報を正面方向に向けて表示させ、前記背景画像情報を回転方向側(本発明の第2方向の一例)に向けて表示させてもよい。例えば、前記背景画像が機能アイコンP1の外形を表す場合に、表示変更部114は、機能アイコンP1を、その表示位置(座標)を固定したまま操作装置1の回転に伴って回転させてもよい。
【0036】
他の実施形態として、表示変更部114は、操作装置1が正対姿勢から姿勢変化した場合に、機能アイコンP1を、正対姿勢における表示領域131に対する機能アイコンP1の表示位置(座標)に表示させてもよい。具体的には、
図4Aに示すように、表示変更部114は、右方向D1に回転した表示領域131において、機能アイコンP1を、その表示位置を右方向D1側にずらして表示させる。
図4Bに示すように、表示変更部114は、左方向D2に回転した表示領域131において、機能アイコンP1を、その表示位置を左方向D2側にずらして表示させる。この場合に、表示変更部114は、表示領域131において、機能アイコンP1のテキスト情報(「A」~「I」)及び背景画像情報を正面方向に向けて表示させる(
図4A、
図4B参照)。
【0037】
また、表示変更部114は、表示領域131において、複数の機能アイコンP1を含むアイコングループを、回転移動した中心軸C1の方向(本発明の第2方向の一例)に向けて表示させる(
図4A、
図4B参照)。表示変更部114は、アイコングループ全体を回転させる。すなわち、表示変更部114は、操作装置1が正対姿勢から姿勢変化した場合に、表示領域131において、前記アイコングループを中心軸C1の方向に向けて表示させ、前記アイコングループに含まれる少なくとも一つの機能アイコンP1のテキスト情報を正面方向に向けて表示させる。
【0038】
このように、表示変更部114は、操作装置1が回転した場合に、機能アイコンP1の表示位置を操作装置1の姿勢変化に応じて変更する一方、テキスト情報の向きが変化しないように機能アイコンP1を表示させる。これにより、ユーザの指と機能アイコンP1との相対位置を維持しつつ、機能アイコンP1のテキスト情報が正面方向に向けて表示されるため、機能アイコンP1の操作性及び視認性を向上させることができる。なお、例えば、表示変更部114は、表示領域131において、機能アイコンP1の前記テキスト情報及び前記背景画像情報を正面方向に向けて表示させてもよい。
【0039】
動作出力部115は、操作装置1の姿勢変化の変化量に応じて操作対象画像3の姿勢を変化させる第1動作指示を出力する。具体的には、ユーザが操作装置1を所定角度だけ回転させた場合に、動作出力部115は、姿勢検出センサ15から取得する回転角度、傾き角度、座標などの情報(姿勢情報)を含む第1動作指示を表示装置2に出力する。
【0040】
また、動作出力部115は、表示領域131に表示された機能アイコンP1がユーザに選択された場合に、選択された機能アイコンP1に対応する処理を実行させる第2動作指示を出力する。例えば、ユーザが色を指定する機能アイコンP1を選択した場合、動作出力部115は、操作対象画像3の表示色をユーザに指定された色に変更させる第2動作指示を表示装置2に出力する。
【0041】
[表示装置2]
図2に示されるように、表示装置2は、制御部21、記憶部22、表示部23、及び通信部24などを備える。表示装置2は、例えばパーソナルコンピュータのような情報処理装置であってもよい。
【0042】
通信部24は、表示装置2を有線又は無線で通信網N1に接続し、通信網N1を介して操作装置1などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。
【0043】
表示部23は、各種の情報を表示する液晶ディスプレイ又は有機ELディスプレイである。表示部23は、例えば操作対象画像3を表示する。なお、表示装置2は、各種の操作を受け付けるマウス、キーボード、又はタッチパネルなどの操作部(不図示)を備えてもよい。
【0044】
記憶部22は、各種の情報を記憶するHDD、SSD又はフラッシュメモリーなどの不揮発性の記憶部である。記憶部22には、表示部23に表示される操作対象画像3(
図1参照)などのデータが記憶される。
【0045】
また、記憶部22には、制御部21に各種制御処理を実行させるための制御プログラムが記憶されている。例えば、前記制御プログラムは、USB、CD又はDVDなどのコンピュータ読取可能な記録媒体に非一時的に記録されており、表示装置2に電気的に接続されるUSBドライブ、CDドライブ又はDVDドライブなどの読取装置(不図示)で読み取られて記憶部22に記憶される。また、前記制御プログラムは、表示装置2からアクセス可能なサーバからダウンロードされて、記憶部22に記憶されてもよい。
【0046】
制御部21は、CPU、ROM、及びRAMなどの制御機器を有する。前記CPUは、各種の演算処理を実行するプロセッサである。前記ROMは、前記CPUに各種の処理を実行させるためのBIOS及びOSなどの制御プログラムが予め記憶された不揮発性の記憶部である。前記RAMは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記CPUが実行する各種の処理の一時記憶メモリー(作業領域)として使用される。そして、制御部21は、前記ROM又は記憶部22に予め記憶された各種の制御プログラムを前記CPUで実行することにより表示装置2を制御する。
【0047】
具体的に、制御部21は、
図2に示されるように、表示処理部211、動作制御部212などの各種の処理部を含む。なお、制御部21は、前記CPUで前記制御プログラムに従った各種の処理を実行することによって、表示処理部211、動作制御部212として機能する。また、制御部21に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記制御プログラムは、複数のプロセッサを前記各種の処理部として機能させるためのプログラムであってもよい。
【0048】
表示処理部211は、各種情報を表示部23に表示させる。例えば、表示処理部211は、操作対象画像3(
図1参照)を表示部23に表示させる。
【0049】
動作制御部212は、操作装置1から動作指示(第1動作指示、第2動作指示)を受信し、表示部23に表示された操作対象画像3に対して当該動作指示に応じた処理を実行する。
【0050】
例えば、ユーザが操作装置1を所定角度だけ回転させた場合に、操作装置1の動作出力部115は、姿勢検出センサ15から取得する回転角度、傾き角度、座標などの情報(姿勢情報)を含む第1動作指示を表示装置2に出力する。動作制御部212は、前記第1動作指示を受信すると、前記姿勢情報に基づいて操作対象画像3の回転角度、傾き角度、座標などを変更する。例えば、
図3Bに示すように、ユーザが操作装置1を所定角度だけ右方向D1に回転させた場合に、動作制御部212は、操作対象画像3を所定角度だけ右方向D1に回転させて表示する。
【0051】
また、例えば、ユーザが操作装置1において色を指定する機能アイコンP1を選択した場合に、操作装置1の動作出力部115は、操作対象画像3の表示色をユーザに指定された色に変更させる第2動作指示を表示装置2に出力する。動作制御部212は、前記第2動作指示を受信すると、操作対象画像3の表示色をユーザに指定された色に変更する。
【0052】
[表示制御処理]
次に、
図5を参照しつつ、表示制御システム100において実行される表示制御処理について説明する。具体的に、本実施形態では、操作装置1の制御部11によって表示制御処理が実行される。なお、制御部11は、操作装置1の所定の操作によって表示制御処理を途中で終了することがある。
【0053】
なお、本発明は、前記表示制御処理に含まれる一又は複数のステップを実行する表示制御方法(本発明の表示制御方法の一例)の発明として捉えることができる。また、ここで説明する前記表示制御処理に含まれる一又は複数のステップは適宜省略されてもよい。なお、前記表示制御処理における各ステップは同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは制御部11によって前記表示制御処理における各ステップが実行される場合を例に挙げて説明するが、複数のプロセッサによって前記表示制御処理における各ステップが分散して実行される表示制御方法も他の実施形態として考えられる。
【0054】
ここで、操作装置1は、前記専用アプリケーションが起動されることにより、表示装置2に表示された操作対象画像3を操作することが可能となる。
【0055】
先ず、ステップS1において、制御部11は、操作装置1の姿勢が正対姿勢(正面方向)に設定されたか否かを判定する。具体的には、制御部11は、前記専用アプリケーションを起動させて、操作装置1の正面となる位置の操作装置1の姿勢を正対姿勢に設定する。
【0056】
例えば、制御部11は、カメラ14から取得する撮像画像(ユーザを含む周辺環境の画像)に基づいて正対姿勢を設定する。
【0057】
操作装置1の正対姿勢が設定された場合(S1:Yes)、処理はステップS2に移行する。制御部11は、操作装置1の正対姿勢が設定されるまで待機する(S1:No)。ステップS1は、本発明の姿勢設定ステップの一例である。
【0058】
ステップS2において、制御部11は、操作装置1の表示領域131において、機能アイコンP1を正対姿勢に対応する所定の方向に向けて表示させる。例えば
図3Aに示すように、制御部11は、ユーザから操作装置1に向かう正面方向に向けて機能アイコンP1を表示させる。ステップS2は、本発明の表示ステップの一例である。
【0059】
ステップS3において、制御部11は、操作装置1に対するユーザの操作の受け付けを開始する。
【0060】
ステップS4において、制御部11は、操作装置1の姿勢変化を検出したか否かを判定する。具体的には、制御部11は、姿勢検出センサ15から取得する検出信号に基づいて操作装置1の姿勢変化の有無を検出する。例えば
図3Bに示すように、ユーザが操作装置1を右方向D1に回転させた場合に、制御部11は、姿勢検出センサ15から取得する検出信号に基づいて操作装置1の姿勢変化(右回転)を検出する。制御部11が操作装置1の姿勢変化を検出した場合(S4:Yes)、処理はステップS5に移行する。一方、制御部11が操作装置1の姿勢変化を検出しない場合(S4:No)、処理はステップS7に移行する。ステップS4は、本発明の姿勢検出ステップの一例である。
【0061】
ステップS5において、制御部11は、機能アイコンP1に含まれる少なくとも一部のオブジェクト情報(テキスト情報、背景画像情報)を正面方向に向けて表示させる。具体的には、
図3Bに示すように、操作装置1が右方向D1に回転した場合に、制御部11は、右方向D1に回転した表示領域131において、機能アイコンP1を正面方向に向けて表示させる。また
図3Cに示すように、操作装置1が左方向D2に回転した場合に、制御部11は、左方向D2に回転した表示領域131において、機能アイコンP1を正面方向に向けて表示させる。例えば、制御部11は、表示領域131において、機能アイコンP1のテキスト情報(「A」~「I」)及び背景画像情報を正面方向に向けて表示させる(
図3B、
図3C参照)。このように、制御部11は、操作装置1の姿勢変化に関わらず、ユーザから見た機能アイコンP1の表示状態を固定する。ステップS5は、本発明の表示変更ステップの一例である。
【0062】
なお、例えば、ユーザが機能アイコンP1を選択する操作を行っているときに操作装置1を回転させた場合に、表示領域131に対する機能アイコンP1の位置が変更されてしまうと、ユーザは機能アイコンP1を選択し難くなるおそれがある。そこで、制御部11は、ユーザが機能アイコンP1を選択している間は、操作装置1の姿勢変化を検出した場合に、表示領域131に対する機能アイコンP1の位置を変更しない構成としてもよい。すなわち、制御部11は、操作装置1の姿勢変化とともに機能アイコンP1の表示位置を変化させる。これにより、ユーザの指と機能アイコンP1との相対位置関係を維持することができるため、機能アイコンP1の操作性が低下することを防ぐことができる。
【0063】
ステップS6において、制御部11は、操作装置1の姿勢変化の変化量に応じて操作対象画像3の姿勢を変化させる第1動作指示を出力する。例えば、ユーザが操作装置1を所定角度だけ右方向D1に回転させた場合に、制御部11は、姿勢検出センサ15から取得する回転角度の情報(姿勢情報)を含む第1動作指示を表示装置2に出力する。表示装置2は、前記第1動作指示を受信すると、操作対象画像3を右方向D1に所定角度だけ回転させる。
【0064】
ステップS7において、制御部11は、ユーザから機能アイコンP1を選択する操作を受け付けたか否かを判定する。ユーザから機能アイコンP1を選択する操作を受け付けた場合(S7:Yes)、処理はステップS8に移行する。ユーザから機能アイコンP1を選択する操作を受け付けない場合(S7:No)、処理はステップS4に移行する。
【0065】
ステップS8において、制御部11は、選択された機能アイコンP1に対応する処理を実行させる第2動作指示を表示装置2に出力する。例えば、ユーザが色を指定する機能アイコンP1を選択した場合、制御部11は、操作対象画像3の表示色をユーザに指定された色に変更させる第2動作指示を表示装置2に出力する。表示装置2は、前記第2動作指示を受信すると、操作対象画像3の表示色をユーザに指定された色に変更する。
【0066】
ステップS9において、制御部11は、ユーザから終了操作を受け付けたか否かを判定する。ユーザから終了操作を受け付けた場合(S9:Yes)、処理は終了する。ユーザから終了操作を受け付けない場合(S9:No)、処理はステップS4に移行する。制御部11は、ユーザから終了操作を受け付けるまで、ステップS4~S8の処理を繰り返す。以上のようにして、制御部11は、前記表示制御処理を実行する。
【0067】
以上説明したように、本実施形態に係る操作装置1は、所定の表示領域131を含む操作表示部13を備え、ユーザの操作に応じて所定の処理を実行可能なコントローラーである。また、操作装置1は、ユーザに対する操作装置1の姿勢を正対姿勢(正面方向)に設定し、正対姿勢に設定された操作装置1の表示領域131において、機能アイコンP1を正対方向(正面方向)に向けて表示させる。また、操作装置1は、ユーザが操作装置1の姿勢を変化させた場合に操作装置1の姿勢変化を検出し、操作装置1が第1姿勢から第2姿勢に姿勢変化した場合に、表示領域131において、機能アイコンP1に含まれる少なくとも一部のオブジェクト情報(テキスト情報、背景画像情報)を正面方向に向けて表示させる。この構成によれば、操作装置1の姿勢が変化した場合、例えば操作装置1が回転した場合であっても、例えば機能アイコンP1のテキスト情報の向きがユーザの方向に固定されるため、機能アイコンP1の視認性を向上させることができる。
【0068】
本発明は上述の実施形態に限定されない。本発明の他の実施形態について以下に説明する。
【0069】
例えば、
図3B及び
図3Cに示す実施形態では、操作装置1が姿勢変化(例えば回転)した場合に、機能アイコンP1と表示領域131との相対位置関係がずれることになる。このため、操作装置1が姿勢変化(回転)した場合に、一つの機能アイコンP1の全部又は一部が表示領域131内に収まらなくなる場合がある。また、操作装置1が姿勢変化(回転)した場合に、複数の機能アイコンP1を含むアイコングループの全部又は一部が表示領域131内に収まらなくなる場合がある。この問題は、操作装置1が姿勢変化(回転)した場合に、正面方向から見た表示領域131の形状の方向が変化する場合に起こり得る。例えば、表示領域131の形状が矩形状(
図6A参照)の場合において、操作装置1が姿勢変化(回転)した場合に、
図6Bに示すように、正面方向から見た表示領域131の矩形(長方形)の方向が斜め方向に変化し、機能アイコンP1の一部が表示領域131内に収まらなくなる場合がある。
図6Bに示す例では、「A」及び「I」の機能アイコンP1の一部が表示領域131内に収まらず途切れた状態となる。
【0070】
そこで、本発明の他の実施形態として、表示変更部114は、操作装置1が第1姿勢(正対姿勢)から第2姿勢に姿勢変化することにより機能アイコンP1の少なくとも一部が表示領域131内に収まらなくなる場合に、当該機能アイコンP1の表示位置を変更して表示領域131内に表示させる。また、表示変更部114は、操作装置1が正対姿勢から第2姿勢に姿勢変化することによりアイコングループに含まれる第1機能アイコンP1(本発明の第1オブジェクトの一例)が表示領域131内に収まらなくなる場合に、前記アイコングループに含まれる複数の機能アイコンP1の配列状態(配列方向)を解除して、前記第1機能アイコンP1を表示領域131内に表示させる。
【0071】
例えば、
図6Cに示すように、表示変更部114は、「A」及び「I」の機能アイコンP1の表示位置を変更して表示領域131内に収まるように表示させる。なお、表示変更部114は、9個の機能アイコンP1の全てが表示領域131内に表示されるように、9個の機能アイコンP1を配列状態を解除して配列し直してもよい。
【0072】
本発明の他の実施形態として、表示変更部114は、操作装置1が正対姿勢から第2姿勢に姿勢変化した場合に、機能アイコンP1の表示位置を変更してもよい。例えば、表示変更部114は、操作装置1が正対姿勢から第2姿勢に姿勢変化した場合に、前記アイコングループに含まれる複数の機能アイコンP1の配列状態(配列方向)を解除して、一又は複数の機能アイコンP1を表示領域131内に表示(再配列)させる。例えば、操作装置1が
図3Bに示す位置に回転した場合に、「A」及び「I」の機能アイコンP1が表示領域131内に収まっている場合であっても、「A」及び「I」の機能アイコンP1の表示位置を変更する。このように、操作装置1の姿勢変化に応じてグループアイコンの配列状態を変更することにより、グループアイコン全体を見易くすることができる。
【0073】
また、本発明の他の実施形態として、表示領域131に表示されるオブジェクトは、
図7Aに示すように、キーボードなどの操作アイコンP2であってもよい。なお、キーボードの個々のキーが操作アイコンP2に相当する。
図7Aに示す例では、テンキー(数字キー)の操作アイコンP2からなるグループアイコンGp1と、文字キーの操作アイコンP2からなるグループアイコンGp2とを示している。ここで、例えばユーザが操作装置1を右方向D1に回転させた場合に、表示変更部114は、グループアイコンGp1のキー配列及びグループアイコンGp2のキー配列を維持しつつ、各操作アイコンP2(各キー)を正面方向に向けて表示させる。
【0074】
また、操作装置1が第1姿勢(正対姿勢)から第2姿勢に姿勢変化することにより操作アイコンP2の少なくとも一部が表示領域131内に収まらなくなる場合に、表示変更部114は、
図7Bに示すように、グループアイコンGp1及びグループアイコンGp2の表示位置を変更して表示領域131内に収まるように表示させる。なお、表示変更部114は、
図7Cに示すように、操作装置1の姿勢変化に応じてグループアイコンGp1及びグループアイコンGp2の表示位置を変更する。これにより、キー配列を維持したまま、各操作アイコンP2を表示領域131内に表示させ、かつ、各操作アイコンP2を正面方向に向けて表示させることができる。
【0075】
上述の実施形態では、姿勢設定部112は、カメラ14から取得する撮像画像に基づいて、操作装置1の姿勢を、操作装置1がユーザに対して正対する正対姿勢に設定する。正対姿勢の設定方法は、カメラ14を利用した上記方法に限定されない。他の実施形態として、姿勢設定部112は、ユーザが操作装置1に設けられたキャリブレーションボタン(不図示)を押したときの操作装置1の姿勢を正対姿勢に設定してもよい。例えば、ユーザは操作装置1を把持して操作装置1が自身の正面方向に向くように位置合わせする。その後、ユーザが前記キャリブレーションボタンを押すと、制御部11は、そのときの操作装置1の姿勢を正対姿勢に設定する。なお、前記キャリブレーションボタンの機能は、操作装置1に対する所定の操作に代替することもできる。例えば、前記位置合わせ後に、ユーザが操作装置1を所定方向に振った場合、又は、操作表示部13を所定回数タッチした場合に、制御部11は、そのときの操作装置1の姿勢を正対姿勢に設定する。これらの方法により操作装置1の正対姿勢を設定する場合、操作装置1はカメラ14を備えていなくてもよい。
【0076】
また、姿勢設定部112は、操作装置1に設けられる地磁気センサ(方位磁石)を利用して、正対姿勢を設定してもよい。例えば、
図8Aに示すように、表示装置2を予め所定の方位Aに向くように位置合わせし、表示装置2の正面に操作装置1を所定時間(例えば5秒)載置する。そして、姿勢設定部112は、表示装置2の前記方位Aと、地磁気センサの方位B(N極)との相対関係により、表示装置2に対する操作装置1の正面方向を算出する。これにより、姿勢設定部112は、操作装置1の姿勢を正対姿勢に設定する。
【0077】
また、姿勢設定部112は、操作装置1に設けられる地磁気センサ(方位磁石)と、表示装置2の正面に配置された磁石Mとを利用して、正対姿勢を設定してもよい。例えば、
図8Bに示すように、表示装置2の正面に磁石Mを配置し、磁石Mの前方に操作装置1を所定時間(例えば5秒)載置する。そして、地磁気センサが磁石Mの方向を検出し、姿勢設定部112は、地磁気センサが検出した方向に基づいて、表示装置2に対する操作装置1の正面方向を算出する。これにより、姿勢設定部112は、操作装置1の姿勢を正対姿勢に設定する。
【0078】
また、姿勢設定部112は、操作装置1に設けられる加速度センサを利用して、正対姿勢を設定してもよい。例えば、
図8Cに示すように、表示装置2の正面に、表示装置2に向かって角度d(例えば5度)だけ傾斜する傾斜台Lを設置し、傾斜台Lに操作装置1を所定時間(例えば5秒)載置する。なお、
図8Cの点線は水平の台の位置を表している。そして、加速度センサがX軸、Y軸、Z軸の加速度を検出し、姿勢設定部112は、加速度センサが検出した加速度に基づいて、表示装置2に対する操作装置1の正面方向を算出する。これにより、姿勢設定部112は、操作装置1の姿勢を正対姿勢に設定する。
【0079】
このように、操作装置1は、様々な方法により操作装置1の正面方向(正対姿勢)を設定することができる。また、操作装置1は、ユーザが操作装置1を所定の場所に載置する度に正対姿勢を設定することが可能である。
【0080】
本発明の操作対象物の一例である操作対象画像は、表示装置2においてゲームアプリケーションにより表示されるゲーム画像であってもよい。また本発明の操作対象物は、表示装置2に表示される操作対象画像に限定されない。本発明の操作対象物は、操作装置1に通信可能に接続され、操作装置1の動きに応じて移動可能な移動体であってもよい。前記移動体は、例えば、ロボット、ドローン、ラジコンなどであってもよい。
【0081】
また、本発明の操作対象物は、操作装置1の操作表示部13に表示される画像であってもよい。例えば、操作装置1は、操作対象画像3を操作表示部13に表示させて、操作装置1の姿勢に応じて操作対象画像3の表示方向を変更させてもよい。この場合、例えば、操作装置1は、操作対象画像3に相当するゲーム画像を操作表示部13に表示させるゲーム装置に適用することができる。
【0082】
本発明の操作装置の形状は、円盤状に限定されない。具体的には、操作装置1は、操作対象物に関連した形状又は模型であってもよい。例えば、操作対象物が車の画像である場合(
図1参照)、操作装置1の形状は、車の模型又はハンドルの模型であってもよい。
【0083】
本発明の操作装置は、コミュニケーションツールを実行可能なコミュニケーション機器に適用することが可能である。例えば、操作装置1は、表示領域131に、個々の会話の内容に対応する複数のオブジェクトを表示させる。例えば、操作装置1は、操作装置1の姿勢に関わらず、前記オブジェクトの表示方向を正面方向に維持する。
【符号の説明】
【0084】
1 :操作装置
2 :表示装置
3 :操作対象画像
11 :制御部
12 :記憶部
13 :操作表示部
14 :カメラ
15 :姿勢検出センサ
16 :通信部
21 :制御部
22 :記憶部
23 :表示部
24 :通信部
100 :表示制御システム
111 :表示処理部
112 :姿勢設定部
113 :姿勢検出部
114 :表示変更部
115 :動作出力部
131 :表示領域
211 :表示処理部
212 :動作制御部