(58)【調査した分野】(Int.Cl.,DB名)
前記出力するステップにより出力される情報と、前記受信するステップにより受信される情報とは、各々、前記所定画像のうちの入力部への第1の操作に応じた領域を特定するための領域情報である、請求項1〜請求項7のいずれかに記載のプログラム。
前記出力するステップにより出力される情報と、前記受信するステップにより受信される情報とは、各々、前記所定画像のうちの入力部への第1の操作に応じた領域の画像を表示可能とするための画像情報である、請求項1〜請求項7のいずれかに記載のプログラム。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術において、端末装置Bにおいて表示していた画面を端末装置Aに表示させて共有する場合には、端末装置Aから端末装置Bへの共有を解除する操作や、端末装置Bからの画面共有操作および端末装置Aにおける承諾操作などを要する。つまり、共有する都度、共有操作が必要となる。このため、複数の端末装置において双方向で画面を共有する場合には、操作が煩雑となる虞があった。
【0005】
また、例えば、端末装置Aを所有するユーザは、ユーザの意思およびタイミングで、端末装置A自体の画像を表示させたり、端末装置Bの画像を表示させたりすることができない。このため、利便性を向上させることができない虞があった。
【0006】
本発明は、かかる実情に鑑み考え出されたものであり、その目的は、複数の装置各々において画面を共有し合いかつ簡便な操作で切り替え可能となる、プログラム、方法、および、情報処理装置を提供することである。
【課題を解決するための手段】
【0007】
本開示に示す一実施形態のある局面によれば、プロセッサ、メモリ、入力部、および表示部を備える情報処理装置(例えば、ユーザ端末)において実行されるプログラム(例えば、WEBページに含まれるプログラム)であって、
前記情報処理装置に、
所定画像のうち前記入力部への第1の操作(例えば、スクロール操作)に応じて前記表示部に表示し得る画像を、他の情報処理装置において特定可能とするための情報を出力するステップ(例えば、ステップS14)と、
他の情報処理装置の入力部への第1の操作に応じて当該他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信するステップ(例えば、ステップS15)と、
前記表示部に表示する画像を、前記入力部に対する第2の操作(例えば、切替操作)に応じて、前記所定画像のうち前記情報処理装置の前記入力部への第1の操作に応じた第1の画像と、前記受信するステップにより受信した情報から特定される第2の画像とを含む複数種類の画像のうちのいずれかに切り替えるステップ(例えば、ステップS24〜S30)とを実行させる。
【0008】
この構成によると、情報処理装置および他の情報処理装置各々において表示している第1の操作に応じた画像を共有し合うことができ、なおかつ情報処理装置への第2の操作(ユーザの意思)に応じて当該情報処理装置において表示している画像と、他の情報処理装置において表示している画像とを切り替えることができる。その結果、情報処理装置を所有するユーザのタイミングで他の情報処理装置において表示している画像を認識可能となり、他の情報処理装置を所有するユーザと円滑なコミュニケーションを図ることができる。
【0009】
また、前記複数種類の画像は、前記情報処理装置と前記他の情報処理装置との間におけるビデオ通話画像である第3の画像を含む(
図5等参照)。
【0010】
この構成によると、他の情報処理装置を所有するユーザの様子を把握でき、より円滑なコミュニケーションを図ることができる。
【0011】
また、前記複数種類の画像は、前記情報処理装置と前記他の情報処理装置との間におけるチャット画像である第3の画像を含む。
【0012】
この構成によると、他の情報処理装置を所有するユーザとの間でチャットを行うことができるため、より円滑なコミュニケーションを図ることができる。
【0013】
また、前記複数種類の画像は、前記第1の画像とも前記第2の画像とも異なる予め定められた第3の画像を含む。
【0014】
この構成によると、処理負担を軽減させつつ、例えば、ユーザの都合や好みに応じて、自分の映像を他の情報処理装置に表示させないようにすることなどが可能となる。
【0015】
また、前記第1の画像を他の情報処理装置において表示することを許可するための操作を受け付ける所定のアイコン画像を、前記第1の画像および前記第2の画像に切り替えられているときには表示せず、前記第3の画像に切り替えられているときに表示するステップを実行させる。
【0016】
この構成によると、ユーザの都合や好み等に応じて第1の画像を他の情報処理装置において表示するか否かを選択できる。また、選択するためのアイコン画像は、第1の画像および第2の画像に切り替えられているときには表示されないため、第1の画像および第2の画像の視認性を低下させてしまうことを防止できる。
【0017】
また、前記切り替えるステップは、前記第1の画像から前記第2の画像への切り替えと、前記第2の画像から前記第1の画像への切り替えとを規制し、前記第1の画像と前記第3の画像との間における切り替えと、前記第2の画像と前記第3の画像との間における切り替えとを許容する。
【0018】
この構成によると、第1の画像から第3の画像を介さず直接第2の画像に切り替えられることや、第2の画像から第3の画像を介さず直接第1の画像に切り替えられることがないため、第1の画像を第2の画像であると誤認識してしまうことや、第2の画像を第1の画像であると誤認識してしまうことを低減できる。
【0019】
また、前記切り替えるステップにより切り替えられている画像の種類にかかわらず前記複数種類の画像各々に対応する複数種類の対応画像を表示し、前記切り替えるステップにより切り替えられている画像に対応する対応画像を他の対応画像とは異なる態様で表示(例えば、反転表示)するステップを実行させる。
【0020】
この構成によると、対応画像の態様から、現在切り替えられている画像の種類をユーザにわかりやすく報知でき、誤認識させてしまうことを防止できる。
【0021】
また、前記複数種類の対応画像は、所定方向(例えば、水平方向)に配置して表示され、
前記入力部はタッチパネルであり、
前記第2の操作は、前記タッチパネルに対する前記所定方向と同じ方向に沿って移動させる操作(例えば、左右方向へのスワイプ操作)である。
【0022】
この構成によると、対応画像の並びから、第2の操作を感覚的にわかりやすいものとすることができる。
【0023】
また、前記出力するステップにより出力される情報と、前記受信するステップにより受信される情報とは、各々、前記所定画像のうちの入力部への第1の操作に応じた領域を特定するための領域情報である。
【0024】
この構成によると、出力あるいは受信する情報のデータ量を低減できるとともに、画像を特定するための処理負担を低減できる。
【0025】
また、前記入力部はタッチパネルであり、
前記第1の操作は、前記タッチパネルに対する操作を含み、
前記出力するステップにより出力される情報と、前記受信するステップにより受信される情報とは、各々、前記タッチパネルに対する操作の態様を特定可能とするための操作態様情報である。
【0026】
この構成によると、出力あるいは受信する情報のデータ量を低減できるとともに、画像を特定するための処理負担を低減できる。
【0027】
また、前記出力するステップにより出力される情報と、前記受信するステップにより受信される情報とは、各々、前記所定画像のうちの入力部への第1の操作に応じた領域の画像を表示可能とするための画像情報である。
【0028】
この構成によると、画像を特定するための処理負担を低減できる。
【0029】
本開示に示す一実施形態のある局面によれば、プロセッサ、メモリ、入力部、および表示部を備える情報処理装置において実行される方法であって、
所定画像のうち前記入力部への第1の操作(例えば、スクロール操作)に応じて前記表示部に表示し得る画像を、他の情報処理装置において特定可能とするための情報を出力するステップ(例えば、ステップS14)と、
他の情報処理装置の入力部への第1の操作に応じて当該他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信するステップ(例えば、ステップS15)と、
前記表示部に表示する画像を、前記入力部に対する第2の操作(例えば、切替操作)に応じて、前記所定画像のうち前記情報処理装置の前記入力部への第1の操作に応じた第1の画像と、前記受信するステップにより受信した情報から特定される第2の画像とを含む複数種類の画像のうちのいずれかに切り替えるステップ(例えば、ステップS24〜S30)とを備える。
【0030】
この構成によると、情報処理装置および他の情報処理装置各々において表示している第1の操作に応じた画像を共有し合うことができ、なおかつ情報処理装置への第2の操作(ユーザの意思)に応じて当該情報処理装置において表示している画像と、他の情報処理装置において表示している画像とを切り替えることができる。その結果、情報処理装置を所有するユーザのタイミングで他の情報処理装置において表示している画像を認識可能となり、他の情報処理装置を所有するユーザと円滑なコミュニケーションを図ることができる。
【0031】
本開示に示す一実施形態のある局面によれば、プロセッサ、メモリ、入力部、および表示部を備える情報処理装置であって、
所定画像のうち前記入力部への第1の操作(例えば、スクロール操作)に応じて前記表示部に表示し得る画像を、他の情報処理装置において特定可能とするための情報を出力するステップ(例えば、ステップS14)と、
他の情報処理装置の入力部への第1の操作に応じて当該他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信するステップ(例えば、ステップS15)と、
前記表示部に表示する画像を、前記入力部に対する第2の操作(例えば、切替操作)に応じて、前記所定画像のうち前記情報処理装置の前記入力部への第1の操作に応じた第1の画像と、前記受信するステップにより受信した情報から特定される第2の画像とを含む複数種類の画像のうちのいずれかに切り替えるステップ(例えば、ステップS24〜S30)とを備える、情報処理装置。
【0032】
この構成によると、情報処理装置および他の情報処理装置各々において表示している第1の操作に応じた画像を共有し合うことができ、なおかつ情報処理装置への第2の操作(ユーザの意思)に応じて当該情報処理装置において表示している画像と、他の情報処理装置において表示している画像とを切り替えることができる。その結果、情報処理装置を所有するユーザのタイミングで他の情報処理装置において表示している画像を認識可能となり、他の情報処理装置を所有するユーザと円滑なコミュニケーションを図ることができる。
【発明を実施するための形態】
【0034】
本開示に係る通信システムは、複数のユーザ各々が所有する情報処理装置間において画面を共有し合いかつ簡便な操作で切り替え可能とするシステムである。以下、図面を参照しつつ通信システムに関する実施の形態について説明する。なお、本発明は以下の例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が本発明に含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を繰り返さない。
【0035】
<通信システムのハードウェア構成>
図1は、通信システム1のハードウェア構成例を示す図である。通信システム1は、複数のユーザ端末100と、WEBサーバ200と、シグナリングサーバ300とを含む。複数のユーザ端末100、WEBサーバ200、および、シグナリングサーバ300は、各々、ネットワーク2を介して通信接続可能であり、双方向に情報(データ)を送受信できる。ネットワーク2は、インターネットおよび図示しない無線基地局によって構築される各種移動通信システム等で構成される。この移動通信システムとしては、例えば、所謂4G、5G移動通信システム、LTE(Long Term Evolution)、および所定のアクセスポイントによってインターネットに接続可能な無線ネットワーク(例えばWi-Fi(登録商標))等が挙げられる。
【0036】
ユーザ端末100(コンピュータ、情報処理装置)は、例えば、スマートフォン、フィーチャーフォン、PDA(Personal Digital Assistant)、またはタブレット型コンピュータ等の携帯端末であってよく、据え置き型のパーソナルコンピュータ等の汎用コンピュータであってもよい。また、ユーザ端末100は、WEBページを閲覧するためのWEBブラウザを実装(インストール)している。
【0037】
図2は、ユーザ端末100のハードウェア構成例を示す図である。ユーザ端末100は、図示の通り、制御処理部を構成するプロセッサ101、記憶部を構成するRAM102、ROM103、EEPROM104、撮像素子(例えば、CMOS(Complementary Metal-Oxide Semiconductor)センサなど)で撮影した画像をデジタル信号に変換するカメラ105、音波によって生ずる振動板などの機械的な振動を電気信号に変換するマイクロフォン106、音声を出力するスピーカ107、画像を表示する表示部を備え当該表示部に対するタッチ操作を検出するタッチスクリーン108、所定のボタン(操作部)に対するユーザからの押圧操作等を検出する操作検出部109、通信IF110、および、入出力IF111を備える。ユーザ端末100が備えるこれらの構成は、通信バスによって互いに電気的に接続される。通信IF110は、NIC(Network Interface Controller)及び無線LAN(Local Area Network)チップなどを含む。なお、ユーザ端末100は、タッチスクリーン108に代えて、または、加えて、ユーザ端末100本体とは別に構成されたディスプレイ(表示部)を接続可能な入出力IFを備えていてもよい。
【0038】
プロセッサ101は、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、およびGPU(Graphics Processing Unit)などを含む。プロセッサ101は、例えば、EPROM104に記憶されたプログラムをRAM102上に読み込み、プログラムの指示に従ってタッチスクリーン108や操作検出部109、通信IF110などからデータを受け取り、取得したデータをプログラムに規定される手順で演算・加工した上で、演算済み・加工済みのデータをEEPROM104やタッチスクリーン108、通信IF110などに出力する。
【0039】
図1に戻り、WEBサーバ200およびシグナリングサーバ300(コンピュータ、情報処理装置)は、各々、ワークステーションまたはパーソナルコンピュータ等の汎用コンピュータであってよい。WEBサーバ200およびシグナリングサーバ300は、少なくともプロセッサと、メモリと、ストレージと、通信IFと、入出力IFとを備え、通信バスによって互いに電気的に接続される。
【0040】
WEBサーバ200は、所定のWEBページを提供するサーバである。WEBページは、1階層のページであってもよく、ページ内の所定のリンクをクリック操作することによりリンク先のページに遷移するような複数階層のページであってもよい。WEBサーバ200が提供するWEBページには、例えば、WebRTC(Web Real-time Communications)サービスを提供するためのプログラム(例えば、スクリプト、JavaScript(登録商標)等)を含むWEBページが設けられている。ユーザは、ユーザ端末100に実装されているWEBブラウザを利用してWEBサーバ200にアクセスすることにより、WEBページに含まれるプログラムに基づいてWebRTC技術を利用したビデオ通話・画面共有等の通信サービスを受けることができる。
【0041】
シグナリングサーバ300は、複数のユーザ端末100各々に実装されているWEBブラウザ間にRTC Peer Connectionを確立するための情報の交換を仲介するサーバである。ユーザ端末100は、WEBブラウザを利用してWEBサーバ200にアクセスすることにより、WEBページを構成するhtmlファイルを受信してWEBページを表示可能となるとともに、WebRTC技術を利用して映像通信・画面共有等を行うためのプログラムファイルをダウンロードして、他のユーザ端末100とリアルタイムでビデオ通話・画面共有等を行うことが可能となる。
【0042】
本実施形態におけるユーザ端末100は、ダウンロードしたプログラムに基づいて、例えば、シグナリングサーバ300を介してRTC Peer Connectionが確立されてPeer to Peer(P2P)通信が可能となった複数のユーザ端末100間において、リアルタイムで例えばカメラ105で撮像した画像やマイクロフォン106に入力された音声を送受信するビデオ通話が実行可能になる。さらに、本実施形態におけるユーザ端末100は、ダウンロードしたプログラムによって、例えば、ユーザ端末100で実際に閲覧しているWEBページ画像を他のユーザ端末100において表示可能とするための情報を送受信可能となり、かつ、ユーザ端末100を所有するユーザからの切替操作(例えば、左右方向へのスワイプ操作等)に応じて当該タッチスクリーンに表示する画像を複数種類の画像(例えば、自端末の画像、相手端末の画像、ビデオ通話の画像等)のいずれかに切り替えて表示する画面共有が実行可能となる。以下においては、P2P通信を成立させてから、ビデオ通話および画面共有するまでの流れを説明する。
【0043】
図3は、複数のユーザ端末間においてWebRTC(例えばP2P通信を含む)を開始するまでのフローを説明するための図である。
図3では、複数のユーザ端末のうちのユーザXが所有するユーザ端末Xと、ユーザYが所有するユーザ端末Yとの間においてP2P通信が成立するまでのフローを示している。
図3の横軸においては、ユーザ端末X、ユーザ端末Y、WEBサーバ200、シグナリングサーバ300などの各構成を示し、縦軸においては、時間の経過に応じて各構成における処理内容を示している。なお、
図3は、複数のユーザ端末間においてWebRTC(例えばP2P通信を含む)を開始するまでのフローの一例に過ぎず、複数のユーザ端末間において通信可能な状態となるものであれば以下に説明するものに限るものではない。また、
図4は、ユーザ端末Xにおけるタッチスクリーン108の表示画面例を示している。
【0044】
まず、t1では、ユーザ端末XにおいてWebブラウザを立ち上げてWEBサーバ200へWEBページ要求が送信される。WEBページ要求には、ユーザ端末Xが他のユーザ端末とP2P通信を可能にするための通信可能情報(例えば、メディアの種類(音声、映像)やコーデック形式、IPアドレスやポート番号、データ転送で利用するプロトコル(TCP、UDP等)、暗号化の鍵などの情報(RTC Peer Connectionを確立するための情報)などを特定可能な情報)が含まれる。WEBサーバ200は、WEBページ要求を受信すると、通信可能情報をシグナリングサーバ300へ送信する。
【0045】
また、t2では、WEBサーバ200からユーザ端末Xに対して、WEBページ応答が送信される。WEBページ応答には、所定画像を表示するための情報(htmlファイル、画像データ等)が含まれる。これにより、WEBサーバ200から提供されるWEBページがユーザ端末Xのタッチスクリーン108に表示される。また、WEBページ応答には、プログラムファイル(スクリプト、JavaScript(登録商標)等)が含まれる。これにより、WEBサーバ200にアクセスしたユーザ端末100は、WEBページに含まれるプログラムを実行することにより、P2P通信を成立させてビデオ通話や画面共有が可能となる。なお、WEBページ応答に含まれRAM102に保存されるプログラムファイルは、WEBサーバ200へのアクセスを終了したときに破棄されるが、これに限らず、ユーザの設定等に応じて破棄せずに次回アクセス時において利用可能となるように維持されるものであってもよい。
【0046】
図4(a)には、WEBサーバ200にアクセスしてWEBページがタッチスクリーン108に表示されたときの画面例を示している。タッチスクリーン108の画面上方領域108aには、現在時刻(例として「18:21」)と、アクセス先のアドレス(例として「abc.com」)と、アクセスしたユーザ名(ここではユーザXであるため「X」)と、後述するルームを作成するためのアイコン401とが表示されている。
【0047】
タッチスクリーン108の画面中央領域108bには、WEBページ(所定画像)のうちの一部画像(閲覧開始時の画面)が表示される。本実施形態では、ショッピングサイトのページを例示しているが、WEBページの種類はこれに限るものではない。ユーザ端末Xは、WEBサーバ200から提供されるWEBページのうち、画面中央領域108bに対する例えば上下方向のスワイプ操作やスクロールバーに対する操作などのスクロール操作(第1の操作)に応じて任意の箇所を画面中央領域108bに表示することができる。これにより、ユーザは、画面中央領域108bに対するスクロール操作により、WEBページのうちの閲覧したい箇所を閲覧することができる。
【0048】
また、画面中央領域108a内の上方においては、相手端末報知画像402、ビデオ通話報知画像403、および自端末報知画像404がWEBページに重畳させて表示される。相手端末報知画像402、ビデオ通話報知画像403、および自端末報知画像404は、各々、画面中央領域108bの表示モードを報知するための画像である。表示モードとしては、自端末の画像を表示するための自端末モード、相手端末の画像を表示するための相手端末モード、および、ビデオ通話の画像を表示するためのビデオ通話モードとを含む複数種類の表示モードが設けられている。本実施形態におけるユーザ端末100は、WEBページに含まれるプログラムに基づいて、例えば左右方向へのスワイプ操作や後述するアイコンへの操作などの切替操作(第2の操作)に応じて、いずれかの表示モードに切り替えて、当該表示モードに対応する画像を表示できる。WEBページの表示を開始した際には、表示モードが自端末モードに設定される。このため、画面中央領域108aにおいては、自端末の画面(WEBページの一部画像)が表示されるとともに、自端末報知画像404が反転表示されることにより、自端末の画面が表示されていることが報知される。
【0049】
タッチスクリーン108の画面下方領域108cには、自分の映像を相手端末に表示可能となるビデオ通話と、自分の映像を相手端末に表示せずにデフォルト画面を表示する音声通話とを切り替える通話切替アイコン405aと、P2P通信を終了するための終了アイコン405bと、チャットを行うための入力欄406と、WEBブラウザの各種アイコン407〜411とが表示される。相手端末とP2P通信が成立しているときには、通話切替アイコン405をタッチ操作することにより、ビデオ通話から音声通話へ、あるいは音声通話からビデオ通話へ切り替えることができ、終了アイコン405bをタッチ操作することよりP2P通信(ビデオ通話)を終了して自端末の画像を表示することができ、入力欄406をタッチ操作することにより、文字・スタンプ等の入力が可能となり、入力された文字等を相手端末に送信可能となる。
【0050】
なお、各種アイコン407〜411は、WEBブラウザの機能によって表示されるアイコンである。このうち、アイコン409は、ビデオ通話・画面共有等を開始するための共有用リンクを相手端末に共有する際に操作される共有用アイコンである。共有用リンクは、例えば、ユーザが作成したルーム固有のアドレスを特定するための文字列情報を含む。共有用リンクをクリックすることにより、WEBサーバ200にアクセスするとともに作成されたルームに入室可能となる。以上のように、WEBサーバ200にアクセスしてWEBページを表示する際には、当該WEBページに含まれるプログラムに基づいて、WEBページ以外に複数のアイコンや画像などが表示される。
【0051】
図3に戻り、t1において通信可能情報を受信したシグナリングサーバ300においては、ユーザ端末Xに対しSDP(Session Description Protocol)を発行するための処理が行われ、t3では、発行されたSDPがユーザ端末Xに送信されてRAM102の所定領域に格納される。SDPには、例えば、メディアの種類(音声、映像)やコーデック形式、IPアドレスやポート番号、データ転送で利用するプロトコル(TCP、UDP等)、暗号化の鍵などの情報(RTC Peer Connectionを確立するための情報)が含まれる。
【0052】
また、ユーザ端末Xは、WEBサーバ200から提供されるWEBページを表示している際に、t4に示すように、共有開始条件を成立させて共有用リンクを他のユーザに送信することにより、当該他のユーザが所有するユーザ端末との間においてP2P通信を成立させることが可能となる。
【0053】
図4(b)〜(d)は、共有開始条件を成立させて共有用リンクを他のユーザ(
図4ではユーザY)に送信するまでの画面例を示している。まず、
図4(a)で示したアイコン401をタッチ操作して、
図4(b)に示す「ルームを作成」といったルーム作成アイコン420を含む画面を表示させる。
【0054】
次に、ルーム作成アイコン420をタッチ操作して、P2P通信接続に用いる固有のルームを作成するとともに、当該ルーム固有のアドレス(例えば、暗号化の鍵や暗号化されたテキスト等を所定のURLの語尾に付与されたルーム固有のURL)を発行し、当該アドレスを特定するための情報を含む共有用リンクを生成する。また、ルーム作成アイコン420をタッチ操作することにより、P2P通信開始に備えて、表示モードがビデオ通話モードに切り替えられる。その結果、画面中央領域108bの画像は、自端末の画像からビデオ通話の画像に切り替えられる。これに伴って、
図4(c)の画面では、画面中央領域108bがWEBページを表示していた自端末画面から「AUDIO」といった文字列を含む画面に切り替えられる。
図4(c)の段階では、未だP2P通信が成立しておらずビデオ通話が開始していないため、ビデオ通話画面として「AUDIO」といった文字列を含む画面が表示される。また、ビデオ通話モードに切り替えられた際には、ビデオ通話報知画像403が反転表示された状態となる。
【0055】
P2P通信は、共有用リンクを相手端末に通知してクリックさせることにより成立する。
図4(c)では、WEBブラウザの共有機能を利用して共有用リンクを相手端末に通知する例について説明する。
図4(c)に示すように、WEBブラウザの共有用アイコン409をタッチ操作して、WEBブラウザの機能により
図4(d)に示す画面を表示させる。
図4(d)に示す画面では、画面下半分にウインドウ430が重畳表示される。ウインドウ430内には、作成したルーム固有のアドレスを特定するための情報を含む共有用リンクを他の特定ユーザに送信するために利用できるアプリに対応するアプリアイコン431〜434が表示される。ユーザXは、いずれかのアプリアイコンをタッチ操作することにより、当該アプリを起動させて他のユーザ(ここではユーザY)の宛先等を選択して共有用リンクを送信する。当該アプリにより共有用リンクの送信を完了させると、タッチスクリーン108には、再び
図4(c)に示す画面が表示され、ユーザYからの接続待ち状態となる。なお、接続待ち状態においては、一旦、
図4(c)に示す画面が表示されるが、この間においても切替操作を行うことにより自端末モードに切り替えて自端末の画像を表示してWEBページを閲覧可能となり、ユーザYの接続が完了したときに自動的にビデオ通話モードに切り替えられるものであってもよい。
【0056】
以上のように、ユーザXは、アイコン401操作→ルーム作成(
図4(b)参照)→共有アイコン409操作(
図4(c)参照)→アプリアイコン操作により共有開始条件を成立させて、アプリを用いて共有用リンクを他のユーザに送信することができる。なお、共有用リンクの通知方法は、
図4(c)および
図4(d)で示したものに限るものではなく、メール等で通知するものなどであってもよい。ユーザXが所有するユーザ端末Xは、ルームを作成した時点で、当該ルーム固有のURLにアクセスした状態となる。
【0057】
共有用リンクを受信したユーザ端末Yにおいては、当該共有用リンクがタッチ操作(クリック)されることにより、WEBサーバ200にアクセスし、ユーザXが作成したルームに入室(ルーム固有のURLにアクセス)してユーザ端末XとのP2P通信を成立させるための処理を開始する。共有リンクがタッチ操作されると、
図3のt5に示されるように、ユーザ端末YにおいてWebブラウザを立ち上げてWEBサーバ200へWEBページ要求が送信される。WEBページ要求には、ユーザ端末Yが共有用アドレス送信元のユーザ端末XとP2P通信を可能にするための通信可能情報が含まれる。WEBサーバ200は、WEBページ要求を受信すると、通信可能情報をシグナリングサーバ300へ送信する。
【0058】
また、t6では、WEBサーバ200からユーザ端末Yに対して、WEBページ応答が送信される。当該WEBページ応答にも、前述した所定画像を表示するための情報や、プログラムファイル(スクリプト、JavaScript(登録商標)等)が含まれる。これにより、WEBサーバ200から提供されるWEBページがユーザ端末Yのタッチスクリーン108に表示される(
図4(a)と同様)とともに、P2P通信を成立させてビデオ通話や画面共有が実行可能となる。
【0059】
一方、t5において通信可能情報を受信したシグナリングサーバ300においては、ユーザ端末Yに対しSDPを発行するための処理が行われ、t7では、発行されたSDPがユーザ端末Yに送信されてRAM102の所定領域に格納される。t7に引き続いてt8では、シグナリングサーバ300を介して、受信したSDPが共有用リンク送信元のユーザ端末Xに送信され、t9に示されるように、ユーザ端末Xにおいて、ユーザ端末YからのSDPが登録される。
【0060】
ユーザ端末Xは、t9に続くt10において、t3ですでに格納しているユーザ端末XのSDPを、シグナリングサーバ300を介してユーザ端末Yに送信し、t11に示されるように、ユーザ端末Yにおいて、ユーザ端末XからのSDPが登録される。これにより、ユーザ端末Xとユーザ端末Yとの間で接続確認が実行され、P2Pで通信できるIPアドレスおよびポート番号のペアが決定されRTC Peer Connectionが確立される。その結果、ユーザ端末Xとユーザ端末Yとの間においてP2P通信が成立して、ビデオ通話が開始されるとともに画面共有が可能となる。
【0061】
図4(e)は、P2P通信が成立して相手方であるユーザYとのビデオ通話が開始されている画面を示している。P2P通信が開始されると、自端末においては、カメラ105で撮像される画像のデータとマイクロフォン106で収集された音声のデータとを相手端末に送信するとともに、相手端末からも同様に送信されてくる画像および音声のデータを受信し、画面中央領域108bに相手端末からの画像を表示するとともにスピーカ107から音声を出力することが可能となる。画像および音声のデータの送受信は、予め定められた時間(例えば、50msec)毎に行われる。これにより、ビデオ通話画面が表示可能となる。
図4(e)では、ユーザ端末XにおいてユーザYを含む画像(動画像)が表示されている様子が示されている。
【0062】
また、P2P通信が開始されると、自端末においては、WEBページのうち当該自端末において自端末モード中におけるスクロール操作に応じて表示され得る画像(領域)を特定可能とするための特定用情報を相手端末に送信するとともに、相手端末からも同様に送信されてくる特定用情報を受信する。
【0063】
自端末において送信する特定用情報は、例えば、WEBサーバ200にアクセスしたときに受信したWEBページの特定位置(例えば当該WEBページの左上隅の位置、x軸およびy軸において座標0となる位置等)を基点とした場合の、自端末モード中におけるスクロール操作に応じて画面中央領域108bに表示される画像の所定位置(例えば左上隅の位置等)の座標位置を特定する情報である。また、自端末において受信する特定用情報は、例えば、相手端末においてWEBサーバ200にアクセスしたときに受信したWEBページの特定位置(例えば左上隅の位置、x軸およびy軸において座標0となる位置等)を基点とした場合の、当該相手端末における自端末モード中のスクロール操作に応じて当該相手端末の画面中央領域108bに表示される画像の所定位置(例えば左上隅の位置等)の座標位置を特定する情報である。特定用情報の送受信は、所定時間(例えば、100msec)毎に行われる。これにより、WEBページのうち自端末において閲覧している画像のみならず、相手端末において閲覧している画像をリアルタイムに特定可能となる。
【0064】
ユーザ端末100は、WEBページに含まれるプログラムに基づいて、切替操作に応じた表示モードに切り替えて設定し、当該表示モードに対応する画像を当該ユーザ端末100の画面中央領域108bに表示可能となる。なお、P2P通信中のユーザ端末100は、設定されている表示モードにかかわらず、少なくとも画像・音声のデータと特定用情報とを相手端末に送信し、相手端末からの画像・音声のデータと特定用情報とを受信する。
【0065】
図5および
図6は、P2P通信中におけるユーザ端末Xにおけるタッチスクリーン108の表示画面例と、相手端末であるユーザ端末Yにおける自端末モード中のタッチスクリーン108の表示画面例とを示している。
【0066】
図5(a)には、ユーザ端末Xの表示画面例が示されており、
図5(a1)が相手端末モード時の表示画面例であり、
図5(a2)がビデオ通話モード時の表示画面例であり、
図5(a3)が自端末モード時の表示画面例である。設定されている表示モードが例えばビデオ通話モード時であるときには、
図5(a2)に示すように、ユーザ端末Yから送信されてくる画像・音声のデータに基づいて、相手であるユーザYを撮像した画像(動画像)を画面中央領域108bに表示するとともにスピーカ107から音声を出力する。これにより、ビデオ通話画面が表示される。
【0067】
ビデオ通話モード時の表示画面が表示されているときにおいて、例えば、右から左へスワイプさせる切替操作を受け付けたときには、
図5(a3)に示すように、表示モードが自端末モードに切り替えられて、自端末モード時の表示画面が表示されるとともに、自端末報知画像404が反転表示された状態に切り替えられる。
図5(a3)では、WEBページのうちの閲覧開始時の画面が表示されている例を示している。
【0068】
自端末モード時には、WEBページのうちの自端末であるユーザ端末Xに対するスクロール操作に応じた任意の箇所を表示可能である。また、ユーザ端末100は、前述したように、いずれの表示モードが設定されているかにかかわらず、P2P通信中においては所定時間毎に、WEBページのうち自端末モード時のスクロール操作に応じた箇所(WEBページ内の画像)を特定可能な特定用情報を相手端末であるユーザ端末Yに送信する。これにより、ユーザ端末Xにおける自端末モード時のスクロール操作に応じてユーザXが閲覧している箇所の画像をユーザ端末Y側で特定可能となる。なお、自端末モード時においてもユーザ端末Yから送信されてくる音声のデータに基づいて、ユーザYからの音声をスピーカ107から出力する。
【0069】
また、自端末モード時の表示画面が表示されているときにおいて、例えば、左から右へスワイプさせる切替操作を受け付けたときには、
図5(a2)に示すように、表示モードがビデオ通話モードに切り替えられて、ビデオ通話モード時の表示画面が表示されるとともに、ビデオ通話報知画像403が反転表示された状態に切り替えられる。これにより、相手端末からの画像を画面中央領域108bに表示するとともにスピーカ107から音声を出力する。
【0070】
ビデオ通話モード時の表示画面が表示されているときにおいて、例えば、左から右へスワイプさせる切替操作を受け付けたときには、
図5(a1)に示すように、表示モードが相手端末モードに切り替えられて、相手端末モード時の表示画面が表示されるとともに、相手端末報知画像402が反転表示された状態に切り替えられる。前述したように、相手端末であるユーザ端末Yは、ユーザ端末Xと同様に、いずれの表示モードが設定されているかにかかわらず、P2P通信中においては所定時間毎に、WEBページのうち当該ユーザ端末Yにおける自端末モード時のスクロール操作に応じた箇所(WEBページ内の画像)を特定可能な特定用情報を相手端末であるユーザ端末Xに送信する。このため、ユーザ端末Yにおける自端末モード時のスクロール操作に応じてWEBページのうちユーザYが閲覧している箇所の画像をユーザ端末X側で特定可能となる。
【0071】
図5(a’)に示すように、ユーザ端末Yでは、WEBページのうちの閲覧開始時の画面が表示されている例が示されており、当該画面を特定可能な特定用情報をユーザ端末Xに送信する。このため、ユーザ端末Xの表示モードとして相手端末モードが設定されているときには、
図5(a1)に示すように、ユーザ端末Yから送信される特定用情報に基づいて、WEBページのうちの閲覧開始時の画面がユーザ端末Xの画面中央領域108bに表示される。これにより、ユーザ端末Yにおける自端末モード時の操作に応じてWEBページのうちユーザYが閲覧している箇所の画像をユーザ端末X側で特定可能となる。なお、相手端末モード時においてもユーザ端末Yから送信されてくる音声のデータに基づいて、ユーザYからの音声をスピーカ107から出力する。
【0072】
また、相手端末モード時の表示画面が表示されているときにおいて、例えば、右から左へのスワイプ操作を受け付けたときには、表示モードがビデオ通話モードに切り替えられて、ビデオ通話モード時の表示画面が表示されるとともに、ビデオ通話報知画像403が反転表示された状態に切り替えられる。これにより、相手端末からの画像を画面中央領域108bに表示するとともにスピーカ107から音声を出力する。以上のように、ユーザ端末100の画面中央領域108bに表示する画像を、当該ユーザ端末100への切替操作により、自端末の画像、相手端末の画像、および、ビデオ通話の画像のいずれかに切り替えることができる。
【0073】
なお、自端末モード時の表示画面において、例えばさらに右から左へスワイプさせる操作が行われたとしても、相手端末モードなどの他の表示モードに切り替えられることはない。また、相手端末モード時の表示画面において、例えばさらに左から右へスワイプさせる操作が行われたとしても、自端末モードなどの他の表示モードに切り替えられることはない。つまり、自端末モード時の表示画面から相手端末モード時の表示画面への切り替えと、相手端末モード時の表示画面から自端末モード時の表示画面への切り替えとが規制されている。
【0074】
図5(b)および
図5(b’)は、ユーザYが閲覧している箇所が変化した場合の表示画面例を示している。
図5(b’)は、ユーザ端末Yの自端末モード時において、ユーザYがスクロール操作して、WEBページのうちの例えば「今日のイチ押し」の商品画像等を含む箇所をユーザ端末Yの画面中央領域108bに表示している表示画面例を示している。前述したように、ユーザ端末Yは、設定されている表示モードにかかわらず、自端末モード時において当該ユーザ端末Yの画面中央領域108bに表示され得る画像を特定するための特定用情報を所定時間毎に送信しており、当該特定用情報をユーザ端末Xは受信する。このため、ユーザXは、ユーザ端末Xの表示モードを相手端末モードに切り替えることにより、
図5(b1)に示すようにユーザ端末Xの画面中央領域108bにWEBページのうちの「今日のイチ押し」の商品画像等を含む箇所が表示されて、ユーザYが閲覧している箇所をリアルタイムに把握することができる。
【0075】
図6は、ユーザXが閲覧している箇所およびユーザYが閲覧している箇所各々が変化した場合の表示画面例を示している。
図6(c’)は、ユーザ端末Yの自端末モード時において、ユーザYがスクロール操作して、WEBページのうちの例えば「あなたにおすすめのクーポン」のクーポン画像等を含む箇所をユーザ端末Yの画面中央領域108bに表示している表示画面例を示している。この場合、ユーザXは、ユーザ端末Xの表示モードを相手端末モードに切り替えることにより、
図6(c1)に示すようにユーザ端末Xの画面中央領域108bにWEBページのうちの「あなたにおすすめのクーポン」のクーポン画像等を含む箇所が表示されて、ユーザYが閲覧している箇所をリアルタイムに把握することができる。
【0076】
同様に、
図6(c3)においては、ユーザ端末Xの自端末モード時においてユーザXがスクロール操作して、WEBページのうちの例えば「新商品!」の商品画像等を含む箇所をユーザ端末Xの画面中央領域108bに表示している表示画面例を示している。前述したように、ユーザ端末Xは、画面中央領域108bに表示している画像を特定するための特定用情報を所定時間毎に送信しており、当該特定用情報をユーザ端末Yは受信する。このため、図示していないが、ユーザYは、ユーザ端末Yの表示モードを相手端末モードに切り替えることにより、ユーザ端末Yの画面中央領域108bにWEBページのうちの「新商品!」の商品画像等を含む箇所が表示されて、ユーザXが閲覧している箇所をリアルタイムに把握することができる。
【0077】
図6(d)および
図6(d’)についても同様に、ユーザXは、ユーザ端末Xの表示モードを相手端末モードに切り替えることにより、
図6(d1)に示すように、ユーザ端末Xの画面中央領域108bにWEBページのうちの「最近チェックした商品」の商品画像等を含む箇所が表示されて、ユーザYが閲覧している箇所をリアルタイムで把握することができる。また、図示していないが、ユーザYは、ユーザ端末Yの表示モードを相手端末モードに切り替えることにより、ユーザ端末Yの画面中央領域108bにWEBページのうちの「あなたにおすすめのクーポン」のクーポン画像等を含む箇所(
図6(d3)と同じ箇所)が表示されて、ユーザXが閲覧している箇所をリアルタイムに把握することができる。
【0078】
ユーザ端末100は、前述したWEBページに含まれるプログラムに基づいて各種処理を行うことにより、
図4〜
図6で例示したように表示画面を制御している。以下では、WEBページに含まれるプログラムに基づいて実行される処理の一例として、タッチスクリーン108に表示するための画像をRAM102に描画するための描画処理と、複数のユーザ端末100各々においてWEBページのうち自端末モード時において画面中央領域108bに表示し得る画像(箇所)を特定するための画像特定処理と、切替操作に応じた表示モードに切り替えて表示モードに対応する画像を画面中央領域108bに表示するための表示処理とについて説明する。
【0079】
図7は、描画処理を説明するためのフローチャートである。ユーザ端末100は、WEBサーバ200にアクセスしてWEBページを受信してから当該WEBページの閲覧を終了するまでの間、WEBページに含まれるプログラムに基づいて、描画処理を予め定められた時間(例えば、50msec)毎に繰り返し実行する。
【0080】
ステップS01においては、WEBサーバ200にアクセスし、WEBページ応答に応じて閲覧を開始するときであるか否かが判定される。閲覧を開始するときであると判定されたときには、ステップS02において、ユーザ端末100のRAM102の予め定められた第1領域に、所定画像であるWEBページ全体が描画される。自端末モード時には、当該第1領域に描画されたWEBページのうちスクロール操作に応じた領域の画像が画面中央領域108bに表示可能となる。一方、閲覧を開始するときであると判定されなかったときには、すでに閲覧中でありWEBページ全体が描画されているため、ステップS03へ移行する。
【0081】
ステップS03においては、P2P通信が成立して当該P2P通信を開始するときであるか否かが判定される。P2P通信を開始するときであると判定されたときには、ステップS04においてRAM102の予め定められた第2領域に、相手端末から受信した画像データに基づいてビデオ通話画像が描画される。ビデオ通話モード時には、当該第2領域に描画された画像が画面中央領域108bに表示可能となる。
【0082】
ステップS05においては、RAM102の予め定められた第3領域に、所定画像であるWEBページ全体を描画して、描画処理を終了する。相手端末モード時には、当該第3領域に描画されたWEBページのうち、相手端末から受信した特定用情報に応じた領域の画像が画面中央領域108bに表示可能となる。
【0083】
一方、ステップS03においてP2P通信を開始するときであると判定されなかったときには、ステップS06においてP2P通信中であるか否かが判定される。P2P通信中であると判定されたときには、ステップS07において第2領域のビデオ通話画像を相手端末から受信した画像データに基づくビデオ通話画像に更新して、描画処理を終了する。これにより、ビデオ通話画像として動画像を表示可能となる。一方、P2P通信中であると判定されなかったときには、そのまま描画処理を終了する。
【0084】
以上のように、描画処理により、画面中央領域108bに表示するための基となる画像が描画される。なお、本実施形態における描画処理では、自端末モード時に用いる第1領域への描画をも行う例について説明したが、当該第1領域への描画についてはWEBブラウザの機能により描画されるものとし、本描画処理においてステップS01およびS02の処理を行わないものであってもよい。
【0085】
図8は、画像特定処理を説明するためのフローチャートである。ユーザ端末100は、WEBサーバ200にアクセスしてWEBページを受信してから当該WEBページの閲覧を終了するまでの間、WEBページに含まれるプログラムに基づいて、画像特定処理を予め定められた時間(例えば、50msec)毎に繰り返し実行する。
【0086】
ステップS11では、表示モードが自端末モードであるか否かが判定される。なお、表示モードは、後述する表示処理(ステップS21、S23〜S25等)において設定される。ステップS11において自端末モードであると判定されたときには、ステップS12においてRAM102の第1領域に描画されたWEBページのうち、自端末に対するスクロール操作に応じて画面中央領域108bに表示する領域(画像)を特定して、ステップS13に移行する。これにより、自端末モード時において画面中央領域108bに表示する画像が特定される。なお、ステップS12で特定された領域(画像)は、他の表示モードに切り替えられた後においても維持され、再び自端末モードに切り替えたときには当該維持されている領域(画像)が画面中央領域108bに表示されることになる。一方、ステップS11において自端末モードであると判定されなかったときには、そのままステップS13へ移行する。
【0087】
ステップS13では、P2P通信中であって特定用情報を送受信する所定時間が経過したか否かが判定される。P2P通信中であって所定時間が経過したと判定されなかったときには、そのまま画像特定処理を終了する。一方、P2P通信中であって所定時間が経過したと判定されたときには、設定されている表示モードの種類にかかわらず、ステップS14において、ステップS12において特定されている領域(画像)であって、スクロール操作に応じた領域(画像)を特定可能とするための特定用情報を相手端末に送信する。これにより、自端末モード時において画面中央領域108bに表示する画像が相手端末においても特定可能となる。
【0088】
ステップS15において、自端末のRAM102の第3領域に描画されたWEBページのうち、相手端末からの特定用情報に応じて画面中央領域108bに表示する領域(画像)を特定して、画像特定処理を終了する。これにより、相手端末モード時において画面中央領域108bに表示する画像が特定可能となる。
【0089】
以上のように、画像特定処理により、画面中央領域108bに表示するための画像が特定される。なお、本実施形態における画像特定処理では、自端末モード時における領域(画像)についても特定する例について説明したが、自端末モード時における領域(画像)を特定する処理についてはWEBブラウザの機能により行うものとし、本画像特定処理においてステップS11およびS12の処理を行わないものであってもよい。この場合、S14では、スクロール操作に応じてWEBブラウザの機能により特定された領域(画像)を利用して、当該領域(画像)を特定する特定用情報を送信するようにしてもよい。
【0090】
図9は、表示処理を説明するためのフローチャートである。ユーザ端末100は、WEBサーバ200にアクセスしてWEBページを受信してから当該WEBページの閲覧を終了するまでの間、WEBページに含まれるプログラムに基づいて、表示処理を実行する。
【0091】
ステップS21では、WEBページの閲覧を開始したとき等であるため、表示モードとして自端末モードを設定する。自端末モード時においては、自端末報知画像404を反転表示させる処理も行われる。ステップS22では、P2P通信の開始時であるか否かが判定される。ステップS22においては、ルームが作成されることによりP2P通信の開始時であると判定されるものとするが、実際にP2P通信が成立することによりP2P通信の開始時であると判定されるものであってもよい。
【0092】
ステップS22でP2P通信の開始時であると判定されなかったときには、ステップS27において、RAM102の第1領域に描画されたWEBページのうち、自端末に対するスクロール操作に応じてステップS12において特定されている領域の画像を画面中央領域108bに表示する。これにより、P2P通信中でないときや自端末モードが設定されているときには、WEBページのうちスクロール操作に応じた箇所の画像が画面中央領域108bに表示されて、閲覧可能となる(
図4(a)等参照)。
【0093】
一方、ステップS22においてP2P通信の開始時であると判定されたときには、ステップS23において、開始時におけるデフォルトの表示モードとしてビデオ通話モードを設定する(
図4(c)等参照)。また、ビデオ通話報知画像403を反転表示させる処理も行われる。なお、デフォルトの表示モードは、ビデオ通話モードに限らず、他の表示モードであってもよく、自端末モードを維持するものであってもよい。
【0094】
ステップS24においては、切替操作が検出されたか否かが判定される。切替操作が検出されたときには、ステップS25において自端末モード、相手端末モード、およびビデオ通話モードのうち、当該切替操作に応じた表示モードを設定して、ステップS26へ移行する。また、相手端末報知画像402、ビデオ通話報知画像403、および自端末報知画像404のうち、設定された表示モードに対応する報知画像を反転表示させる処理が行われる。なお、自端末モードからビデオ通話モードを介することなく相手端末モードに切り替えることや、相手端末モードからビデオ通話モードを介することなく自端末モードに切り替えることは規制されている。一方、ステップS24において切替操作が検出されていると判定されていないときには、ステップS26に移行する。
【0095】
ステップS26においては、設定されている表示モードが自端末モードであるか否かが判定される。自端末モードであると判定されたときには、ステップS27に移行して前述したように自端末の画像を表示する。一方、自端末モードであると判定されなかったときには、ステップS28において設定されている表示モードが相手端末モードであるか否かが判定される。
【0096】
ステップS28において相手端末モードであると判定されたときには、ステップS29においてRAM102の第3領域に描画されたWEBページのうち、相手端末からの特定用情報に応じてステップS15において特定されている領域の画像を画面中央領域108bに表示する。これにより、P2P通信中において相手端末モードが設定されているときには、相手端末における自端末モード中のスクロール操作に応じて当該相手端末に表示されている画像を把握可能となる。
【0097】
一方、ステップS28において相手端末モードであると判定されなかったときには、ビデオ通話モードが設定されていることになるため、ステップS30においてRAM102の第2領域においてステップS04で描画されたビデオ通話画像を画面中央領域108bに表示する。これにより、P2P通信中においてビデオ通話モードが設定されているときには、相手端末において撮像された画像(動画像)であって相手ユーザの様子を確認することができる。前述したように、P2P通信中においては、表示モードにかかわらず、相手端末からの音声のデータに基づいて相手ユーザの音声を出力することができる。
【0098】
なお、ビデオ通話モードが設定されているときであっても、相手端末において通話切替アイコン405aが操作されて映像なしの音声通話に切り替えられている場合、ステップS30では、予め定められた画面(例えば、
図4(c)で示した「AUDIO」といった文字列を含む画面、相手端末のユーザ名あるいはユーザが設定したキャラクタ画像等を表示する画面等)を画面中央領域108bに表示する。
【0099】
ステップS31においては、終了アイコン405bがタッチ操作されてP2P通信が終了したか否かが判定される。P2P通信が終了したと判定されたときには、ステップS21に移行して自端末の画像を表示するための処理が行われる。一方、P2P通信が終了したと判定されていないときには、ステップS32において閲覧を終了したか否かが判定される。ステップS32においては、例えば、WEBブラウザを終了させたときや、WEBサーバ200へのアクセスを終了したときなどに閲覧を終了したと判定される。
【0100】
閲覧を終了したと判定されていないときには、ステップS24に移行して表示モードの切替や表示モードに応じた画像を表示するための処理が行われる。一方、閲覧を終了したと判定されたときには、表示処理を終了する。
【0101】
<本実施形態による効果の一例>
(1) 上記実施形態におけるユーザ端末100(例えば、ユーザ端末X)は、WEBサーバ200からのWEBページ応答に含まれるプログラムに基づいて、
図8のステップS14で示したように、当該WEBページのうち当該ユーザ端末Xのタッチスクリーン108に対するスクロール操作に応じて表示し得る領域(画像)を、他のユーザ端末100(例えば、P2P通信中のユーザ端末Y)において特定可能とするための特定用情報を出力するとともに、
図8のステップS15で示したように、ユーザ端末Yのタッチスクリーン108に対するスクロール操作に応じて表示し得る領域(画像)を特定可能とするための特定用情報を受信する。また、ユーザ端末Xは、WEBサーバ200からのWEBページ応答に含まれるプログラムに基づいて、
図9のステップS24〜S30等で示したように、当該ユーザ端末Xのタッチスクリーン108(画面中央領域108b)に表示する画像を、タッチスクリーン108に対する切替操作に応じて、WEBページのうち当該ユーザ端末Xに対するスクロール操作に応じた画像と、ユーザ端末Yから受信した特定用情報から特定される画像とを含む複数種類の画像のうちのいずれかに切り替える。これにより、あるユーザ(例えば、ユーザX)は、WEBサーバ200にアクセスすることにより、WEBページのどの部分を閲覧しているのかを他のユーザ(例えば、ユーザY)と双方向で共有し合うことができ、なおかつユーザXの意思に応じてスワイプ操作等の簡便な操作によりWEBページのうち自端末(ユーザ端末X)において閲覧している画像(箇所)と、相手端末(ユーザ端末Y)において閲覧されている画像(箇所)とを切り替えて表示させることができる。その結果、ユーザXおよびユーザYは、各自のタイミングで他のユーザが閲覧している画像を認識可能となり、円滑なコミュニケーションを図ることができる。
【0102】
(2) 切替操作により切り替えられる複数種類の画像には、
図5等で示されるように、自端末と相手端末との間におけるビデオ通話画像が含まれる。これにより、相手端末において閲覧されている画像(箇所)に加えて、他のユーザの様子を把握でき、より円滑なコミュニケーションを図ることができる。また、切替操作により切り替えられる複数種類の画像には、相手端末において通話切替アイコン405aが操作されて映像なしの音声通話に切り替えられている場合、
図4(c)に示されるように、ビデオ通話画像ではなく予め定められた画像が含まれる。これにより、ユーザの都合や好みに応じて、自分の映像を相手端末に表示させないようにすることが可能となる。
【0103】
(3) 自端末モードからビデオ通話モードを介することなく相手端末モードに切り替えることや、相手端末モードからビデオ通話モードを介することなく自端末モードに切り替えることは規制されている。これにより、自端末モードから直接相手端末モードに切り替えられることや、相手端末モードから直接自端末モードに切り替えられることがないため、自端末の画面を相手端末の画面であると誤認識してしまうことや、相手端末の画面を自端末の画面であると誤認識してしまうことを低減できる。
【0104】
(4) 設定されている表示モードの種類にかかわらず、表示モード各々に対応する複数種類の報知画像402〜404が表示され、現在設定されている表示モードに対応する報知画像が反転表示(他の報知画像とは異なる態様で表示)される。このため、現在設定されている表示モードをユーザにわかりやすく報知でき、誤認識させてしまうことを防止できる。
【0105】
また、複数種類の表示モード各々に対応する報知画像402〜404は、
図4(a)等に示されるように、水平方向に所定の順で配置表示されており、これと合せて、表示モードを切り替えるための切替操作も、水平方向に沿って移動させる操作、すなわち左右へのスワイプ操作に定められている。これにより、切替操作を感覚的にわかりやすいものとすることができる。
【0106】
(5) 自端末および他端末において送信する特定用情報は、WEBサーバ200にアクセスしたときに受信したWEBページの特定位置を基点とした場合の、自端末モード中におけるスクロール操作に応じて画面中央領域108bに表示される画像の所定位置の座標位置を特定する情報であって、スクロール操作に応じた表示領域を特定する領域情報である。これにより、特定用情報のデータ量および画像を特定するための処理負担を低減できる。
【0107】
<変形例>
以上説明した実施形態の変形例などを以下に列挙する。
【0108】
(1) 上記実施形態においては、切替対象となる複数種類の画像として、自端末の画像と、相手端末の画像と、ビデオ通話画像とを例示したが、自端末の画像と、相手端末の画像とを含むものであれば、ビデオ通話画像などの他の画像を含まないものであってもよく、また、他の画像を含む場合であっても当該他の画像はビデオ通話画像に限るものではない。切替対象となる複数種類の画像は、例えば、ビデオ通話画像に替えてあるいは加えて、複数のユーザ端末間においてチャットを可能とし、当該チャットにより送受信したメッセージ履歴を表示するチャット画像や、音声通話時における予め定められた画像(ビデオ通話画像が表示されることがない)などであってもよい。
【0109】
(2) 上記実施形態においては、P2P通信が成立すると、自端末の画像を特定可能とするための特定用情報を相手端末に送信する例について説明したが、これに限らず、特定用情報を相手端末に送信するか否かを自端末のユーザが選択できるようにしてもよい。例えば、共有アイコンを配置して、当該共有アイコンへの操作が検出されることにより特定用情報を相手端末に送信する制御を行って相手端末に自端末の画像が表示されることを許容し、特定用情報を相手端末に送信する制御を行っている間において当該共有アイコンへの操作が検出されることにより特定用情報を相手端末に送信しないことにより相手端末に自端末の画像が表示されることを許容しないようにしてもよい。これにより、ユーザの都合や好みに応じて、自端末の画像を相手端末に共有するか否かを選択することが可能となり、利便性を向上させることができる。なお、P2P通信が開始されたときには、デフォルトとして、相手端末において自端末の画像が表示されることを許容した状態に設定されるものであってもよく、許容しない状態に設定されるものであってもよく、また、P2P通信が開始されたときに許容した状態か許容しない状態かを当該P2P通信を開始する前の段階から設定(例えば初期設定)できるようにしてもよい。
【0110】
また、上記の共有アイコンは、WEBページが表示されていない画面(例えばビデオ通話モード時の画面)においてのみ表示され、WEBページを表示する自端末モード時や相手端末モード時の画面においては非表示となるようにしてもよい。これにより、共有アイコンによりWEBページを表示する自端末モード時や相手端末モード時の画面が阻害されてしまうことを防止できる。これに限らず、上記の共有アイコンは、WEBページが表示されている画面のうち自端末モード時の画面において表示されるものであってもよい。これにより、自端末モード時の画面においてセキュリティー面などにおいて相手に見せたくない画面を表示する(あるいは表示している)場合の利便性を向上させることができる。
【0111】
(3) 上記実施形態においては、ユーザ端末100において送受信される特定用情報として、WEBページの特定位置を基点とした場合の自端末モード中におけるスクロール操作に応じて画面中央領域108bに表示される画像の所定位置の座標位置を特定する情報であって、スクロール操作に応じた表示領域を特定する領域情報である例について説明した。しかし、ユーザ端末100において送受信される特定用情報は、自端末モード中におけるスクロール操作に応じて画面中央領域108bに表示される画像を相手端末において特定可能となる情報であればこれに限るものではない。ユーザ端末100において送受信される特定用情報は、例えば、自端末モード中における画面中央領域108bに対するスワイプ操作の態様(方向・スクロール量等)や、タッチ操作、ピンチアウト操作・ピンチイン操作、スクロールバーに対する操作などスクロール操作の態様(操作内容)を特定可能な操作態様情報であってもよく、自端末モード中における画面中央領域108bに表示されている画像そのものを表示可能とする画像情報であってもよい。いずれの場合においても、
図8のステップS15においては、特定用情報に応じた領域(画像)を随時特定し、相手端末モード時には、
図9のステップS29において当該特定されている相手端末において表示している領域の画像を表示し、相手端末の画面を把握可能となる。
【0112】
(4) 上記実施形態においては、
図7〜
図9に示す処理を行い
図4〜
図6に例示する画面を表示するためのプログラムを、WEBサーバ200にアクセスして得られるWEBページに含まれる例について説明したが、これに限らず、所定のサーバから予めダウンロードしてインストールされるものであってもよく、この場合、当該プログラムがインストールされているユーザ端末間において各ユーザ端末の画像を各々共有できるものであってもよい。
【0113】
(5) 上記実施形態においては、ユーザ端末間において共有される所定画像として、WEBサーバ200にアクセスして得られるWEBページを例示したが、所定画像としては、これに限らず、少なくとも一のユーザ端末において保存されている画像(例えば、WEBページ、資料、写真、ドキュメント等)であってもよい。この場合、P2P通信中のユーザ端末のうち当該画像を保存するユーザ端末が他のユーザ端末に対して、当該画像を表示可能とするための画像データを送信するようにしてもよい。
【0114】
(6) 上記実施形態においては、2つのユーザ端末間において画像を共有する例について説明したが、画像を共有するユーザ端末の数は、これに限らず、3つ以上であってもよい。例えば3人のユーザで共有する場合、切替対象となる複数種類の画像としては、例えば、自端末の画像と、他の第1ユーザ所有の第1相手端末の画像と、他の第2ユーザ所有の第2相手端末の画像と、ビデオ通話画像などの他の画像とを含み、左から第1相手端末の画像、第2相手端末の画像の順で配置され、次に他の画像が配置され、最も右に自端末の画像が配置(つまり、相手端末の画像と、自端末の画像との間に他の画像を挟むように配置)されるようにしてもよい。これにより、最も左の画像を表示するように左から右にスワイプ操作することにより、第1相手端末の画像を表示し、その状態から右から左にスワイプ操作する毎に、第2相手端末の画像→他の画像→自端末の画像といったように、ユーザの意思に応じた画像を表示可能となる。また、画像の配置順に対応するように、報知画像を、左から第1相手端末報知画像、第2相手端末報知画像、他の画像に対応する報知画像、自端末報知画像の順となるように表示するようにしてもよい。また、複数のユーザ端末間においては、P2P通信により接続する例について説明したが、通信形式はこれに限らず、例えば、所定のサーバを介して接続するものであってもよく、無線LANあるいは有線LANを介して接続するものや、近距離間データ通信が可能な無線通信技術により接続するものであってもよい。
【0115】
(7) 上記実施形態においては、切替操作としてタッチスクリーン108に対する例えば左右方向へのスワイプ操作を例示したが、タッチスクリーン108のうち画面中央領域108b内への左右方向へのスワイプ操作を切替操作として有効に受け付けるものであってもよい。
また、切替操作は、画面中央領域108bの一部領域(例えば縦(垂直)方向の領域が報知画像を含む領域であって左端から右端までの領域などの所定画像(WEBページ)に重畳して画像が表示され得る領域)内へのスワイプ操作を有効に受け付けるものであってもよい。また、切替操作は、画面中央領域108b以外の特定の領域(例えば、画面上方領域108a、画面下方領域108c等)内へのスワイプ操作を有効に受け付けるものであってもよい。この場合には、画面中央領域108bのWEBページの任意の箇所を表示させるためのスクロール操作を受け付ける領域と、切替操作を受け付ける領域とを切り分けることができるため、操作性を向上させることができる。
また、切替操作は、スワイプ操作に限らず、例えば、相手端末報知画像402、ビデオ通話報知画像403、および自端末報知画像404に対するタッチ操作であってもよく、この場合、タッチ操作された報知画像に対応する表示モードに切り替えられるようにしてもよい。また、切替操作は、ユーザ端末に搭載されている操作検出部109への操作であってもよく、また、ユーザ端末自体への動作を特定するためのセンサ(例えば、加速度センサ、角速度センサ等)を備えておりユーザ端末自体を左あるいは右へ振る操作などであってもよい。
【0116】
(8) 上記実施形態においては、相手端末の画像を表示するために、ステップS05においてRAM102の第3領域に所定画像であるWEBページ全体を描画する例について説明した。しかし、共有する画像は同じ画像(例えば、同じWEBページの画像)であるため、ステップS05の処理は行わずに、例えば、相手端末における画像の特定においても、ステップS02において第1領域に描画されたWEBページを用いて、当該第1領域に描画されたWEBページのうち、相手端末から受信した特定用情報に応じた領域の画像を画面中央領域108bに表示可能となるようにしてもよい。
【0117】
(9) 上記実施形態においては、タッチスクリーン108の画面下方領域108cに複数のアイコン類を表示する例について説明したが、これに限らず、当該複数のアイコン類を表示せずに、当該画面下方領域108cにおいてもWEBページなどの所定画像を表示するようにしてもよい。これにより、所定画像を表示する画面領域が広くなり、視認性を向上させることができる。この場合、画面下方領域108cに表示されていた複数のアイコン類は、例えばアイコン401をタッチ操作することにより表示されるようにしてもよい。
【0118】
(10) 上記実施形態においては、自端末の画像と相手端末の画像とを含む複数種類の画像が左右方向(水平方向)に沿って切り替えられ、切替操作も左右方向(水平方向)に沿った操作に定められている例を示したが、切り替えられる方向は、これに限らず、例えば上下方向(垂直方向)に沿って切り替えられるものであってもよく、この場合の切替操作も上下方向(垂直方向)に沿った操作に定められているものであってもよい。
【0119】
(11) 上記実施形態においては、情報処理装置として携帯可能なスマートフォンなどを主に説明したが、例えば据え置き型のパーソナルコンピュータの場合においても、自端末の画像と相手端末の画像とを含む複数種類の画像のうち切替操作に応じたいずれかの画像を当該パーソナルコンピュータに接続されている表示装置に表示するが、これに加えて、自端末の画像と相手端末の画像とを含む複数種類の画像を1画面に表示するか否かを設定できるようにし、当該設定に応じて切替操作により切り替えて表示するか1画面に表示するようにしてもよい。
【解決手段】所定画像のうち入力部への第1の操作(例えば、スクロール操作)に応じて表示部に表示し得る画像を、他の情報処理装置において特定可能とするための情報を出力し、他の情報処理装置の入力部への第1の操作に応じて当該他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信し、表示部に表示する画像を、入力部に対する第2の操作に応じて、所定画像のうち情報処理装置の入力部への第1の操作に応じた第1の画像と、受信した情報から特定される第2の画像とを含む複数種類の画像のうちのいずれかに切り替える。