(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0010】
本実施形態の情報処理装置(コンピュータ)は、ユーザのいる位置に応じてユーザ毎に正対位置から見た画像を表示する。またユーザの立ち位置に応じて、表示された正対位置画像に対する操作を反映させる。
【0011】
(第1実施形態)
以下、図面を参照しつつ本実施形態の態様について説明する。
図1は、実施形態の卓上型情報処理装置の外観を示した図である。卓上型情報処理装置100はテーブル型(卓上型)の情報処理装置であり、その天板面上に、操作表示用の大型のタッチパネルディスプレイ50が配置されている。
【0012】
タッチパネルディスプレイ50は、複数の接触位置を同時検出するマルチタッチセンサ(入力部)がパネル式の表示部上に積層配置されており、画面上の画像を指先やペン先でコントロールすることが可能である。タッチパネルディスプレイ50は、様々なコンテンツ画像を表示可能とし、操作入力のためのユーザインターフェースの役割も担う。
【0013】
タッチパネルディスプレイ50の操作面表層には、さらにレンチキュラーレンズ51(
図4(B)参照)が積層配置されている。レンチキュラーレンズ51は、見る角度によって画像を変化させたりするレンズである。
【0014】
図2は、卓上型情報処理装置100内部のハードウェア構成の一例を示すブロック図である。卓上型情報処理装置100は、プロセッサ10、DRAM(Dynamic Random Access Memory)20、ROM(Read Only Memory)30、HDD(Hard Disk Drive)40、タッチパネルディスプレイ50、ネットワークI/F(Interface)60、センサユニット70、カメラ80を有する。これらは通信バスBにより互いに制御信号、データの送受信を行う。
【0015】
プロセッサ10は、例えばCPU(Central Processing Unit)などの演算処理装置であり、ROM30やHDD40などに格納されているプログラムをDRAM20にロードし、演算実行することで、プログラムに従い様々な処理を行う。DRAM20は、揮発性の主記憶装置である。ROM30は、永続的に記憶する不揮発性の記憶装置であり、システム起動時のBIOS(Basic Input Output System)などが記憶されている。HDD40は、永続的に記憶可能な不揮発性の補助記憶装置であり、ユーザが使用するデータやプログラムを記憶する。
【0016】
タッチパネルディスプレイ50は、タッチパネルの入力部、およびフラット型パネルの表示部を有する。タッチパネルは、複数の同時接触を検知するマルチタッチに対応しており、接触位置に応じた座標値(x値、y値)を得ることができる。フラット型パネルは、表示用の発光素子をパネル全面に備えている。タッチパネルディスプレイ50は、その上層にレンチキュラーレンズ51を有する。
【0017】
ネットワークI/F60は、外部機器と通信を担うユニットであり、LAN(Local Area Network)ボードを含む。またネットワークI/F60は、近距離無線通信規格に準拠したデバイスやUSB(Universal Serial Bus)の規格に準拠したコネクタを有する。
【0018】
センサユニット70は、後述のセンサ70A〜70Dを含み、ユーザが所持するID(Identification)カードを検知し、IDカード内に記述されている情報を読み取るユニットである。読み取られた情報は、卓上型情報処理装置100のログイン認証などに用いられる。このIDカードは、非接触型のICカードであり、ユーザの識別情報が少なくとも記憶されている。
【0019】
カメラ80は、タッチパネルディスプレイ50の上方に位置し、下向きが撮像方向となるように配置されており、タッチパネルディスプレイ50の全面を撮像する。カメラ80の配置については後述する。
【0020】
図3は、卓上型情報処理装置100を上側から視認したときの平面図である。卓上型情報処理装置100は、複数ユーザの同時ログインを可能としている。センサユニット70に含まれるセンサ70A〜70Dは、本例では天板付近の四方側面の中央部にそれぞれ配置されている。IDカード150A〜150Dを携帯したユーザがセンサ70A〜70Dに近接することで、センサユニット70がIDカード内の情報を読み取り、ログイン認証が行われる。IDカード内の情報が事前にHDD40もしくは外部の認証機構に登録されているものである場合、認証適合となる。
【0021】
卓上型情報処理装置100は、認証を済ませたユーザに対し、打ち合わせなどを行うための画面を表示する。ユーザはこの中でドキュメント編集や資料、ホームページの閲覧などを行う。これら表示されるオブジェクト(以下、表示されている画像や、その画像に紐づくデータの集合体をオブジェクトと称す)は、公知の技術を用いて、ユーザの所定操作により、移動、拡大、縮小、回転、選択や削除等を行うことができる。
【0022】
尚、
図3以降の図面では、空間的な座標系を大文字のX、Y、Zで示し、タッチパネルディスプレイ50の座標系や得られる画像の座標系を小文字のx、yで示す。これら座標系は、全ての図面で共通である。
【0023】
次に、レンチキュラーレンズ51を介して視認したときのタッチパネルディスプレイ50の見え方や制御方法ついて説明する。
図4(A)は、表示部の画素のラインを示す図である。各ラインは、タッチパネルディスプレイ50の各画素をx軸方向に並べることで構成される。ここでは、斜線網掛けのラインをラインAと称し、黒色網掛けのラインをラインBと称する。タッチパネルディスプレイ50の表示部は、プロセッサ10の指示に従い、ラインA、ラインBで映し出す像が異なるように表示する。
【0024】
ユーザは、レンチキュラーレンズ51を介して、一つの方向(例えば
図4(B)の実線矢印)から視認したときは黒網掛け部のラインBのみを見ることができ、他の方向(例えば
図4(B)の破線矢印)から視認したときは、斜線網掛け部のラインAのみを見ることができる。本例では、レンチキュラーレンズ51の偏光により、ユーザAはラインAにより映し出される像を視認することができ、ラインBにより映し出される像を視認することはできない。一方ユーザBは、ラインBにより映し出される像を視認することができ、ラインAにより映し出される像を視認することはできない。このレンチキュラーレンズ51を用いたタッチパネルディスプレイは、従来技術のものが採用されてもよい。
【0025】
プロセッサ10は、レンチキュラーレンズ51を介して視認される表示内容が、ユーザA、ユーザBそれぞれで正規向きとなるように、タッチパネルディスプレイ50の表示を制御する。
図5は、対面したユーザそれぞれの見え方を示す図である。
図5(A)は、
図4に示すユーザBからの見え方を示しており、
図5(B)は、ユーザAからの見え方を示している。いずれの方向からの視認でも、オブジェクトA、Bは正規向きで表示される。
【0026】
タッチパネルディスプレイ50の基準点やx軸、y軸の方向が、
図4や
図5に示す通りの場合、上下逆転することなく正規に見える位置はユーザBの位置となり、ユーザAの位置では、従来構成の場合では上下逆転して視認される。本実施形態では、モードを変えることで、プロセッサ10は、タッチパネルディスプレイ50のライン(x軸方向に配列したライン)を、互い違いに異ならせるように表示させる。プロセッサ10は、
図4に示す黒網掛けのラインBをそのままの状態で表示させ、斜線網掛けのラインAを、ラインBでの表示像を上下逆転させて表示させる。このように制御した画面を、レンチキュラーレンズ51を介して視認することで、ユーザAの位置でも上下逆転することなく正規の向きで視認することができる。
【0027】
ラインBは、そのまま表示させることで正規の向きとなるが、ラインAは、座標変換を行って表示する必要がある。この座標変換を、
図6を用いて説明する。
図6のように、x軸方向の最大値をxmax、y軸方向の最大値をymaxとすると、表示領域の4隅の各頂点は、(0,0)、(xmax,0)、(0,ymax)、(xmax,ymax)となる。ここで、正規向きとなるラインBの任意の座標値を(x1,y1)とすると、当該座標値は、ラインAでは(xmax−x1,ymax−y1)の位置に相当する。プロセッサ10は、ラインBの座標(x1,y1)で例えば赤色となるように発光させる場合、これと同時に座標変換を行い、ラインAの座標(xmax−x1,ymax−y1)でも同じ赤色となるように発光させる。他の座標値も同様に変換することで、いずれの位置にいるユーザでも正規向きの像が映し出される。
【0028】
このように各ユーザそれぞれで正規向きとなるように表示制御をした場合において、表示のみを制御したときの問題点を説明する。一例として、ユーザAがオブジェクトを移動させようとする状況を
図7(A)に示す。
図7(A)は、ユーザAがオブジェクトB上をタッチし、ユーザAにとっての右方向に移動させる場合を例示している。このように右方向に移動させると、表示のみの制御の場合、ユーザBにとってはオブジェクトAが移動し(
図7(B)参照)、またユーザAにとってもオブジェクトBは移動せずにオブジェクトAが移動する(
図7(C)参照)。
【0029】
この理由を、
図8(A)を用いて説明する。
図8(A)では、実線で示すオブジェクトがユーザBから視認できるオブジェクトである。すなわち実線で示すオブジェクトは、ラインBで表示されるオブジェクトであり、表示上での座標変換を行わずにそのままの状態で上下正しく視認できるオブジェクトである。このようなオブジェクトを、ここでは実体オブジェクトと称す。また破線で示すオブジェクトはユーザAから視認できるオブジェクトである。すなわち破線で示すオブジェクトは、ラインAで表示されるオブジェクトであり、表示上での座標変換を行った状態で上下正しく視認できるオブジェクトである。このようなオブジェクトを、ここでは仮オブジェクトと称する。
【0030】
ユーザAがオブジェクトB(破線矩形)だと判断してタッチした位置には、実際には実体オブジェクトAがある。よってユーザAがこのタッチ位置を移動させると、実体オブジェクトAが追随して移動することとなる。これにより、実体オブジェクトAを視認しているユーザBは、オブジェクトBでは無くオブジェクトAが移動するように見える。またこの場合、上記の表示変換により、実体オブジェクトAが移動することで仮オブジェクトAが移動する。これにより、ユーザAは、オブジェクトAが移動するように見える。このことから、ユーザAがオブジェクトBを移動させようとした操作であるにも拘わらず、ユーザA、ユーザBともにオブジェクトAが移動するように見える。尚、ここではユーザAがオブジェクトBと判断してタッチした位置に実体オブジェクトAがある場合を例示したが、ユーザAがオブジェクトBと判断してタッチした位置に何も無い場合、いずれのオブジェクトも移動しない。
【0031】
本実施形態では、この問題を解消するため、表示変換のみならずタッチ位置(接触位置)の変換も行う。このタッチ位置の変換手法の一例を、
図8(B)を用いて説明する。ユーザAが仮オブジェクトB内の任意位置(x1,y1)をタッチすると、プロセッサ10は、上記表示変換と同様に、そのタッチ位置を(xmax−x1,ymax−y1)の座標となるように変換する。このタッチ位置の座標変換により、タッチ位置が実体オブジェクトBの位置となり、ユーザAがタッチ位置を移動させることで実体オブジェクトBが移動する。これにより、ユーザBは、オブジェクトBが移動しているように視認することができる。また、上記表示変換も合わせて行われることから、実体オブジェクトBが移動することで、仮オブジェクトBも移動する。これにより、ユーザAは、オブジェクトBが移動しているように視認することができる。このように、プロセッサ10は、表示変換に加えてタッチ位置の座標変換も行うことで、上記不整合を解消することができる。
【0032】
ユーザBがタッチする場合は、そのまま直接実体オブジェクトをタッチすることとなるため、上記の表示変換やタッチ位置の座標変換は、共に不要である。このことから、プロセッサ10は、卓上型情報処理装置100のテーブル四方にいるいずれのユーザがタッチしたかを判定し、その判定結果に従い変換する/変換しないを制御する必要がある。このいずれの位置にいるユーザが操作しているかを判定するため、実施形態では、カメラ80を用いてタッチパネルディスプレイ50を撮像する。この構成例を
図9に示す。カメラ80は、本実施形態ではタッチパネルディスプレイ50の上方に位置する(
図9(A)参照)。カメラ80は、タッチパネルディスプレイ50の中心軸直上に位置するように配置される。カメラ80は、
図9(B)に示すようにタッチパネルディスプレイ50の全面を含むように撮像し、撮像画像がタッチパネルディスプレイ50の座標系と同様の基準点、同方向の座標軸となるように、配置設定される。
【0033】
カメラ80は、リアルタイムにタッチパネルディスプレイ50を撮像している。プロセッサ10は、タッチパネルディスプレイ50での接触を検知すると、そのときの撮像画像をカメラ80から取得する。プロセッサ10は、得られた撮像画像内でのタッチ位置を特定する。プロセッサ10は、例えばエッジ検出処理などの従来の画像処理を用いて、画像上、テーブル四方のいずれからタッチ位置にエッジ線が延伸しているかを判定する。これにより、プロセッサ10は、テーブル四方のいずれから腕が侵入したかを特定することができる。撮像画像の状態によっては、複数の腕の侵入を検出することもあるが、プロセッサ10は、タッチ位置を特定できているため、複数の腕(エッジ線)の中から、検知したタッチ位置(もしくはその近傍)から延伸しているエッジ線を特定することで、テーブル四方のいずれから腕が侵入して当該タッチ位置に接触したかを特定することができる。
【0034】
上記例では、正規に視認できる位置にいるユーザBの座標値を上下反転させ、対面にいるユーザAでも正規に視認できるように変換する手法を説明したが、同様の手法で
図3に示すユーザC、ユーザDに対しても正規に視認させることができる。ユーザBでの座標値を例えば(x1,y1)とすると、ユーザCの場合の変換座標は(xmax−y1,x1)となり、ユーザDの場合の変換座標は(y1,ymax−x1)となる。尚、本例のようにタッチパネルディスプレイ50の縦長さと横長さが異なる場合、上記変換後の座標値にさらにxmax、ymaxの比率を積算させることで、表示領域内に収めることができる。また、タッチパネルディスプレイ50のレンチキュラーレンズ51も4方向で異なるように視認できるものを採用する。プロセッサ10は、タッチパネルディスプレイ50の表示パネルを4方向で異ならせるようにラインを分割して表示制御する。
【0035】
図10は、実施形態の動作例を示すフローチャートである。このフローチャートは、プロセッサ10が、HDD40に事前に記憶されているプログラムをDRAM20に展開し、演算実行することで、プロセッサ10がこのプログラムコードに従い実施する。
【0036】
プロセッサ10は、表示切り替えモードがオンであるかを判定し(ACT001)、オンとなるまで本処理は待機する(ACT001、Noのループ)。このモードの切り替えは、タッチパネルディスプレイ50上に表示される所定ボタンが押下されることで行われる。モードがオンとなる場合(ACT001、Yes)、プロセッサ10は、ユーザの位置を特定する(ACT002)。このユーザ位置の特定は、例えばユーザ所持のIDカードをセンサ70A〜70Dのいずれで検知したかに基づく。
【0037】
プロセッサ10は、上記手法に従い、また上記の座標変換式を用いて、特定した向きでそれぞれ正規向きとなるようにオブジェクトの表示を切り替える(ACT003)。
【0038】
タッチパネルディスプレイ50が接触(タッチ)を検知すると、プロセッサ10は、カメラ80から現在の撮像画像を取得し(ACT005)、タッチパネルディスプレイ50上での接触のあった位置の座標値を取得する(ACT006)。プロセッサ10は、撮像画像、接触座標値に基づき、正規位置からの侵入であるかを判定する(ACT007)。ここでの正規位置とは、モードを切り替える前の通常の表示状態でも上下向きが正しく視認できる位置である。正規位置からの侵入である場合(ACT007、Yes)、プロセッサ10はタッチ位置の変換を行わない(ACT008)。一方、正規位置からの侵入ではない場合(ACT007、No)、プロセッサ10は、さらにいずれの方向から腕の侵入があったかを判定し、その向きに従い、タッチ位置の変換を実施する(ACT009)。
【0039】
プロセッサ10は、変換後の座標(変換不要の場合はそのタッチ位置)に実体オブジェクトがあるか否かを判定する(ACT010)。実体オブジェクトがある場合(ACT010、Yes)、接触位置に移動するように、その実体オブジェクトを再描画し、且つ仮オブジェクトを再描画する(ACT011)。尚、オブジェクトが無い場合(ACT010、No)、ACT012に進む。
【0040】
ユーザが指先やペン先を離すまで、すなわちタッチパネルディスプレイ50との接触が解除されるまでACT006〜ACT011が繰り返し行われる(ACT012、Noのループ)。この繰り返し処理により、ユーザが指先やペン先を移動させるとその移動位置に追随してオブジェクトも移動する。またモードがオフになるまで、プロセッサ10は、ACT004〜ACT012を繰り返し実行する(ACT013、Noのループ)。モードがオフになると、終了となる。
【0041】
(第2実施形態)
上記第1実施形態では、各ユーザに対し正規向きとなるように表示するとともに、各オブジェクトの表示位置までも、各ユーザに対して一致するように表示制御している。第2実施形態では、オブジェクトの向きのみを各ユーザに対し正規方向となるように制御する。
図11は、第2実施形態の表示例を示す図である。尚、装置構成などは、第1実施形態と同様であるためここでの説明を割愛する(
図1〜
図4参照)。また、符号も第1実施形態のものを流用する。
【0042】
図11(A)は、ユーザBが視認する場合の各オブジェクトの表示例である。ユーザBにとって、タッチパネルディスプレイ50の画面右上にオブジェクトAが配置され、画面左下にオブジェクトBが配置されている。またオブジェクトA、Bともに、ユーザBに対し正規向きとなるように配置されている。
【0043】
このように配置されている状態での、ユーザBに対面したユーザAの見え方を
図11(B)に示す。第2実施形態では、タッチパネルディスプレイ50の基準(図中の基準(0,0))に対しての各オブジェクトの表示位置は変わらない。本例の場合、オブジェクトAは、ユーザBにとって右上の位置を維持したまま、オブジェクトBは、ユーザBにとって左下の位置を維持したまま、表示の向きのみがユーザAから視認しやすい方向となるように、180度回転して表示される。ユーザAにとっては、画面右上にオブジェクトBが配置され、画面左下にオブジェクトAが配置される。また各オブジェクトは、ユーザAにとっても正規向きとなるように表示される。
【0044】
第2実施形態において、プロセッサ10は、各オブジェクトの中心の位置もしくは重心の位置の座標値を変えないように、タッチパネルディスプレイ50のラインA(
図4参照)の表示を制御する。且つ、プロセッサ10は、各オブジェクトの表示が、オブジェクトそれぞれの中心点(重心点)を回転中心として180度回転させたものとなるように、タッチパネルディスプレイ50のラインAの表示を制御する。
【0045】
尚、第2実施形態の態様においては、各オブジェクトの表示位置の座標値は変わらないため、オブジェクトを移動させる操作が行われる場合、第1実施形態で説明したタッチ位置の変換は不要となる。このことから、いずれのユーザがタッチしたかの検出処理やその機構なども不要となる。また、対面位置にいないユーザC、ユーザDに対しても、90度もしくは270度となるように、オブジェクト単位で回転表示させることで、各ユーザで正規向きの表示となる。
【0046】
卓上型情報処理装置100は、モードの切り替えにより第1実施形態の態様と第2実施形態の態様を切り替えて実施してもよい。
【0047】
上記各実施形態では、オブジェクトの移動について言及したが、オブジェクトの回転、拡大、縮小にも適用できる。
【0048】
上記各実施形態のように、表示の上下向きを正規向きとすることにより、表示のみならず文字入力も正規向きで入力することができる。例えばオブジェクトの印刷部数を入力する際、逆方向のユーザから例えば”16部印刷”と手書き入力した場合、誤って91部印刷されてしまう事態を、未然に防止することができる。
【0049】
上記各実施形態では、卓上型情報処理装置での態様を説明したが、態様はこれに限定されない。たとえばタブレット型のコンピュータなど、タッチパネルディスプレイを有するコンピュータであればよい。
【0050】
上記実施形態では、上方にカメラを設置し、このカメラを用いてタッチしたユーザの位置を特定する実装例を示した。これ以外にも、各ユーザを撮像対象とし、その動作を検出する方法や、人体通信機能を有する構成など、さまざまな実装が考えられる。人体通信機能の場合、ユーザの持つIDカードやユーザが着席する椅子などに人体通信機能を持たせる。ユーザの指先がタッチパネルディスプレイ50に接触することで、ユーザ所持のIDカードの識別情報を、人体を伝達媒体として取得可能となる。プロセッサ10は、この識別情報と、センサ70A〜70Dで検知される情報とに基づきタッチしたユーザの位置を特定する。IDカードは、首にぶら下げた状態やポケットにしまった状態であってもよい。当然、卓上型情報処理装置100には人体通信を可能にするユニットを含ませることが必要となる。
【0051】
制御部は、実施形態のプロセッサ10、DRAM20、通信バス90を少なくとも有する構成に相当する。プロセッサ10、DRAM20、通信バス90などの各ハードウェアと協働して動作するプログラムは、HDD40(ROM30でもよい)に事前に記憶されており、プロセッサ10によりDRAM20にロードされ、演算実行される。検知部はセンサユニット70に相当する。また偏光フィルタは、レンチキュラーレンズ51に相当する。
【0052】
上記各実施形態で説明した機能をコンピュータに実行させるためのプログラムが提供されてもよい。このプログラムは、表示制御プログラム、ユーザインターフェイスプログラム、デバイス制御プログラムなど、どのような名称であってもよい。
【0053】
上記各実施形態では装置内部に発明を実施する機能が予め記録されている場合で説明をしたが、これに限らず同様の機能をネットワークから装置にダウンロードしても良いし、同様の機能を記録媒体に記憶させたものを装置にインストールしてもよい。記録媒体としては、CD−ROM等プログラムを記憶でき、かつ装置が読み取り可能な記録媒体であれば、その形態は何れの形態であっても良い。またこのように予めインストールやダウンロードにより得る機能は装置内部のOS(オペレーティング・システム)等と協働してその機能を実現させるものであってもよい。
【0054】
以上に詳説したように、ユーザがいずれの方向にいても、正規表示を行うことができ、その視認性を損なわないようにすることができる。
【0055】
本発明は、その精神または主要な特徴から逸脱することなく、他の様々な形で実施することができる。そのため、前述の実施の形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する全ての変形、様々な改良、代替および改質は、すべて本発明の範囲内のものである。