(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0013】
以下、図を参照して本実施形態による端末間通信システム1の実施形態について説明する。
本実施形態の端末間通信システム1は、複数の端末装置10の間における情報共有機能を提供する。ここでいう端末装置10とは、音声や文字により装置間で相互に通信が可能な通信装置であり、例えば、携帯電話やスマートフォンである。この端末装置10は、音声情報と、画像情報とを同一の回線で送受信可能な、高速データ通信回線に接続が可能である。この高速データ通信回線とは、例えば、LTE(Long Term Evolution)通信網である。この高速データ通信回線は、画像や文字などのデジタル情報の送受信に加えて、音声通話を可能にするサービス(VoLTE;Voice over LTE)を提供する。
【0014】
この情報共有機能とは、複数の端末装置10の間において、画像情報又は音声情報を共有する機能である。より具体的には、ある端末装置10は、他の端末装置10に対して、画像情報又は音声情報を送信する。これにより、端末間通信システム1は、送信側の端末装置10に表示されている画像、又は再生されている音声を、受信側の端末装置10に表示又は再生させる。また、端末間通信システム1は、ある端末装置10から他の端末装置10に対する一方向の情報共有機能のみならず、端末装置10間の双方向の情報共有機能を提供する。
この実施形態において、情報発信側の端末装置10は、共有される情報の送信制御情報に基づいて、情報の送信を制御し、および/または、送信される情報の視覚効果の変化を制御する。
【0015】
この端末間通信システム1には、複数の端末装置10が含まれる。以下の説明において、複数の端末装置10のそれぞれを区別する場合には、例えば、端末装置10−1、端末装置10−2と記載する。また、以下の説明において、これら複数の端末装置10のそれぞれを区別しない場合には、単に端末装置10と記載する。この端末装置10の構成について
図1を参照して説明する。
【0016】
[端末装置の構成]
図1は、本実施形態の端末装置10の構成の一例を示す模式図である。端末装置10は、表示部100と、操作検出部110と、撮像部120と、音再生部130(音声出力部)と、収音部140と、通信部150と、制御部160(情報処理部を含む)とを備えている。
【0017】
表示部100は、液晶ディスプレイを備えており、文字や写真などの画像を表示する。この表示部100が表示する画像には、着信を待ち受けている場合に表示される待ち受け画像、端末装置10において動作するアプリケーションが提供するアプリ画像、端末装置が提供する各種の機能をユーザが選択するためのメニュー画像などが含まれる。
【0018】
このアプリ画像には、電話(音声通信)アプリケーションが提供するダイヤラ画像、氏名や電話番号、メールアドレスを管理するアドレス帳アプリケーションが提供するアドレス帳の画像が含まれる。また、このアプリ画像には、動画再生アプリケーションが提供する動画像、ウェブブラウザアプリケーションが提供するウェブ画像、地図アプリケーションが提供する地図画像、写真アルバムアプリケーションが提供する写真の画像が含まれる。また、このアプリ画像には、電子メールアプリケーションが提供するメール文面の画像、電子ドキュメントを公開および配布する文書アプリケーションが提供するドキュメント文書の画像や、テキストチャットアプリケーションが提供するチャットの画像など、種々の画像が含まれる。
【0019】
また、表示部100が表示するメニュー画像のうち、情報共有機能を選択するためのメニュー画像を、特に情報共有メニュー画像という。また、この情報共有メニュー画像を、共有メニューボール画像、又は共有メニューボタン画像ともいう。ここで、メニューには、情報共有メニューの他に、種々のメニューが含まれる。
【0020】
図1に戻り、操作検出部110は、表示部100を覆う透明なタッチパネルセンサを備えており、ユーザの操作を検出する。ユーザの操作には、様々な種類がある。操作の種類の一例には、タップ操作と、ドラッグ操作と、ピンチ操作とがある。タップ操作とは、ユーザが、タッチパネルのある位置に指を触れた後、すぐに指を離す操作である。ドラッグ操作とは、ユーザが、タッチパネルに触れた指を、タッチパネルに触れた状態のままある方向に移動させる操作である。ピンチ操作とは、ユーザが、タッチパネルに触れた2本の指の間隔を変化させる操作である。また、タップ操作には、1回だけ触れるシングルタップ操作と、シングルタップ操作をすばやく2回繰り返すダブルタップ操作とが含まれる。
また、ドラッグ操作には、移動速度がドラッグ操作に比べて速いスワイプ操作と、さらに速いフリック操作とが含まれる。また、ピンチ操作には、タッチパネルに触れた2本の指の間隔を広げるピンチアウト操作と、タッチパネルに触れた2本の指の間隔を狭めるピンチイン操作とが含まれる。
【0021】
なお、ここでは、ユーザが、指によってタッチパネルセンサに触れることにより操作する場合を一例にして説明したが、これに限られない。例えば、ユーザは、指に代えて、操作用の指示棒などを用いて操作してもよい。すなわち、操作検出部110は、指や、指以外の物体(例えば、指示棒)による操作を、ユーザの操作として検出する。
【0022】
音再生部130は、スピーカを備えており、入力される音情報に基づく音を再生する。この音再生部130は、耳あて通話用スピーカ131と、スピーカモード用スピーカ132とを備えている。耳あて通話用スピーカ131は、端末装置10をユーザの耳に当てて通話する場合に用いられる。スピーカモード用スピーカ132は、端末装置10を耳から話した状態で音を再生する場合に用いられる。
【0023】
収音部140は、マイクを備えており、端末装置10の周囲の音を収音して、収音した音を音情報に変換する。この端末装置10の周囲の音には、端末装置10の周囲の雑音、ユーザが通話のために発音している音、及び音再生部130のスピーカが発音している音が含まれる。すなわち、収音部140は、端末装置10の周囲の雑音や、通話中のユーザの声、端末装置10のスピーカが発している音など、種々の音を収音する。
【0024】
通信部150は、通信制御用IC(Integrated Circuit)を備え、他の装置との通信を行う。端末装置10は、この通信部150による通信動作によって、他の装置と通信を行う。以下の説明において、通信部150の構成及び動作の説明は省略する。
【0025】
制御部160は、CPU(Central Processing Unit)を備え、端末装置10が備える各部を制御する。端末装置10は、この制御部160による各部の制御によって、表示部100への表示、操作検出部110による操作の検出、通信部150による他の装置との通信等の動作を行う。
また、制御部160は、CPUが画像処理を実行するアプリケーションを実行することにより、情報の視覚効果を変化させる情報処理部を実現する。情報の視覚効果とは、情報を表示部100に表示させたときにおいてユーザに与える視覚的な刺激である。情報の視覚効果としては、情報の輝度、色、解像度、透明度、縁の滑らかさ、動画像の表示レート等が挙げられる。制御部160は、後述するように表示部100に表示される情報の送信制御情報に基づいて、当該情報の視覚効果を変化させる。
以下の説明において、制御部160の構成及び動作の説明は省略する。
【0026】
[情報共有機能の概要]
次に、端末間通信システム1が提供する情報共有機能の概要について
図2を参照して説明する。
図2は、端末間通信システム1が提供する情報共有機能の概要の一例を示す模式図である。端末間通信システム1が提供する情報共有機能には、一例として、表示中の画像を共有する機能、手書き画像を共有する機能がある。
表示中の画像を共有する機能による表示画像の一例を、
図2(A)に示す。手書き画像を共有する機能による表示画像の一例を、
図2(B)に示す。
【0027】
これらの情報共有機能は、端末装置10上で動作する情報共有機能アプリケーションによって提供される。以下の説明において、この情報共有機能アプリケーションを、情報共有アプリケーションAP1とも記載する。情報共有アプリケーションAP1は、端末装置10内の基本ソフトウエア、及び他のアプリケーションと連携して動作することにより、情報共有機能を提供する。
【0028】
ここで、情報共有機能を説明するにあたり、本実施形態の説明中における端末装置10の表記の方法について説明する。
端末装置10は、情報共有対象の情報を発信する側の端末装置10と、情報共有対象の情報を受信する側の端末装置10とに区別される。以下の説明において、複数の端末装置10のうち、情報共有対象の情報を発信する側の端末装置10を、情報発信側の端末装置10又は端末装置10−Sとも記載する。また、情報共有対象の情報を受信する側の端末装置10を、情報受信側の端末装置10、又は端末装置10−Rとも記載する。
なお、情報共有を要求する側の端末装置10と、情報共有が要求される側の端末装置10とのうち、いずれが情報共有対象の情報を発信し、いずれがこの情報を受信するのかは、各情報共有機能間の機能の違いや、端末装置10の動作状態などに依存する。すなわち、この端末間通信システム1においては、情報共有を要求する側の端末装置10が情報共有対象の情報を発信する場合と、情報共有が要求される側の端末装置10が情報共有対象の情報を発信する場合とがある。
【0029】
[情報共有機能1:表示中の画像の共有(表示画面共有機能)]
次に、
図2を参照して、各情報共有機能の概要について説明する。端末間通信システム1が提供する情報共有機能のうち、まず、表示中の画像の共有(表示画面共有機能)について説明する。
【0030】
端末間通信システム1は、表示画面共有機能を提供する。この表示画面共有機能とは、端末装置10の表示部100に表示されている画像P1を、他の端末装置10の表示部100に画像P2として表示させることにより、端末装置10の間において画像を共有する機能である。この表示画面共有機能により端末装置10に表示される画面の一例を
図2(A)に示す。ここでいう表示部100に表示されている画像には、上述した待ち受け画像、アプリ画像、及び、メニュー画像が含まれる。
【0031】
ある端末装置10−1において、この表示画面共有機能が選択されると、端末間通信システム1は、この端末装置10−1の表示部100に表示されている画像P1を、共有先である他の端末装置10−2の表示部100に画像P2として表示させる。
【0032】
この表示画面共有機能の具体例について説明する。例えば、端末装置10−1において、写真アルバムアプリケーションが起動されており、この写真アルバムアプリケーションが写真の画像(
図2(A)に示す画像P1)を表示部100に表示している場合について説明する。この場合、端末間通信システム1は、端末装置10−1の表示部100に表示されている写真の画像P1を、共有先である他の端末装置10−2の表示部100に画像P2として表示させる。このようにして2台の端末装置10のそれぞれの表示部100に、同一の写真の画像P1が表示されることにより、写真の画像P1が共有される。
【0033】
次に、表示画面共有機能の他の具体例について説明する。例えば、端末装置10−1において、動画アプリケーションが起動されており、この動画アプリケーションが音声付の動画像を表示部100に表示している場合について説明する。この場合、端末間通信システム1は、端末装置10−1の表示部100に表示されている動画像を、共有先である他の端末装置10−2の表示部100に表示させる。このようにして2台の端末装置10のそれぞれの表示部100に、同一の動画像が表示されることにより、動画像が共有される。また、画像の共有と同時に端末間通信システム1は、端末装置10−1の音再生部130から再生されている音を、共有先である他の端末装置10−2の音再生部130から再生させる。このようにして2台の端末装置10のそれぞれの音再生部130から、同一の音が再生されることにより、動画像に付されている音声が共有される。このようにして、2台の端末装置10間において、音声付の動画像が共有される。すなわち、端末間通信システム1によれば、画像情報と音情報とのいずれの情報も共有が可能である。
【0034】
[情報共有機能2:手書き画像の共有(手書き共有機能)]
次に、端末間通信システム1が提供する情報共有機能のうち、手書き画像の共有(手書き共有機能)について、
図2(B)を参照して説明する。
端末間通信システム1は、手書き図形の画像を共有する手書き共有機能を提供する。ここで、手書き図形の画像とは、端末装置10の操作検出部110を指などでドラッグ操作することにより、表示部100に表示されたドラッグ操作の軌跡の画像である。すなわち、手書き共有機能とは、端末装置10の操作検出部110を指などでドラッグ操作して表示部100に表示された手書きの図形の画像P3を、他の端末装置10の表示部100に画像P4として表示させることにより、端末装置10の間において画像を共有する機能である。
【0035】
この手書き共有機能の具体例について説明する。例えば、端末装置10−1において、手書きツールアプリケーションが起動されており、この手書きツールアプリケーションが手書き図形の画像(
図2(B)に示す画像P3)を表示部100に表示している場合について説明する。この場合、端末間通信システム1は、端末装置10−1の表示部100に表示されている手書き図形の画像P3を、共有先である他の端末装置10−2の表示部100に画像P4として表示させる。このようにして2台の端末装置10のそれぞれの表示部100に、同一の手書き図形の画像が表示されることにより、手書き図形の画像が共有される。
【0036】
[画像のレイヤ表示]
なお、端末装置10の表示部100は、写真アルバムアプリケーションが表示する写真(例えば、
図2(B)の画像P5)と、手書きツールアプリケーションが表示する手書き図形の画像(例えば、
図2(B)の画像P3)とを重ねて表示することができる。すなわち、端末装置10の表示部100は、複数の画像を積層させて表示することができる。この場合、表示部100は、アプリケーションごとに設定されているレイヤによって、画像を表示する。このレイヤとは、積層されて表示される画像の論理的な階層である。
例えば、表示部100は、下位のレイヤである第1のレイヤに画像P5を、第1のレイヤよりも上位のレイヤである第2のレイヤに画像P3を、それぞれ表示する。ここで、上位のレイヤとは、積層された複数のレイヤのうち、手前側(ユーザに近い側)に画像を表示するレイヤである。また、下位のレイヤとは、積層された複数のレイヤのうち、奥側(ユーザから遠い側)に画像を表示するレイヤである。これらのレイヤに表示される画像には、不透明度を例えば0%から100%の間で設定することができる。上位のレイヤに表示される画像の不透明度が100%の場合には、上位の画像が不透明になり、下位のレイヤの画像が隠されるため、下位のレイヤの画像は表示されない。また、上位のレイヤに表示される画像の不透明度が0%の場合には、上位の画像が透明になり、下位のレイヤの画像が隠されずに透過して表示される。
【0037】
また、操作検出部110は、最も上位のレイヤに対する操作を検出する。この一例では、手書きツールアプリケーションが、手書き図形の画像P3を、最も上位の第2レイヤに表示している場合について説明する。この場合には、操作検出部110は、タッチパネルによって検出した操作(例えば、ドラッグ操作)を、最も上位のレイヤに画像を表示している手書きツールアプリケーションに出力する。手書きツールアプリケーションは、操作検出部110が出力したドラッグ操作に基づいて、このドラッグ操作の軌跡を示す画像を、手書き図形の画像として、表示部100に表示する。
ここで、別の一例として、第2レイヤよりも上位の第3レイヤに、メニュー制御ソフトウエアが共有メニューボタン画像を表示している場合について説明する。この場合、操作検出部110は、最も上位のレイヤ、すなわち第3レイヤに対する操作を検出する。操作検出部110は、共有メニューボタン画像が表示されている位置に対する操作(例えば、タップ操作)を、タッチパネルによって検出する。操作検出部110は、検出した操作(例えば、タップ操作)を、最も上位のレイヤに画像を表示しているメニュー制御ソフトウエアに出力する。メニュー制御ソフトウエアは、操作検出部110が出力した操作に基づいて、このタップ操作の位置に対応する機能を選択して、選択した機能を提供する。
つまり、操作検出部110は、表示部100に表示される画像の複数のレイヤのうち、最上位のレイヤに対する操作を検出する。したがって、
図2(B)に示す例において、手書き図形の画像P3が、写真の画像P5よりも下位側のレイヤに表示される場合には、ユーザが表示部100のタッチパネルを操作しても、この操作に応じた手書き図形の画像は描画されない。
【0038】
なお、手書き共有機能において、端末間通信システム1は、複数の端末装置10の間で手書き図形の画像を双方向に共有することも可能である。具体的には、端末間通信システム1は、端末装置10−1の表示部100に表示されている手書き図形の画像P3を、共有先である他の端末装置10−2の表示部100に画像P4として表示させる。この場合において、端末間通信システム1は、端末装置10−2の表示部100に表示されている手書き図形の画像P6を、共有先である他の端末装置10−1の表示部100に画像P7表示させる。このようにして2台の端末装置10のそれぞれの表示部100に、手書き図形の画像が表示されることにより、手書き図形の画像が双方向に共有される。
なお、手書き共有機能において、端末間通信システム1が画像を共有する仕組みと、上述した表示画像共有機能において、端末間通信システム1が画像を共有する仕組みとは、次の点で相違する。すなわち、表示画像共有機能においては、端末間通信システム1は、表示部100に表示されている画像をキャプチャしたデータを、端末装置10間において共有することにより、画像を共有する。一方、手書き共有機能においては、端末間通信システム1は、画像をキャプチャしたデータではなく、画像を描画するためのデータを共有することにより、画像を共有する。具体的には、手書き共有機能においては、情報発信側の端末装置10−Sは、端末装置10−Sの操作検出部110が検出した手書き図形の座標データ、及び線の色、太さなどのデータ(すなわち、画像を描画するためのデータ)を、情報受信側の端末装置10−Rに対して送信する。情報受信側の端末装置10−Rは、受信した手書き図形の座標データ、及び線の色、太さなどのデータに基づいて、端末装置10−Rの表示部100に画像を表示する。
【0039】
[情報共有機能の選択操作の概要]
次に、ユーザが情報共有機能を起動する操作の概要について、
図3を参照して説明する。
図3は、本実施形態の端末間通信システム1が提供する情報共有機能の選択操作の一例を示す模式図である。
ここでは、ユーザA(Aさん)と、ユーザB(Bさん)とが、それぞれ端末装置10を使用して表示画面共有を利用する場合を一例にして説明する。また、この一例の説明において、ユーザAが利用する端末装置10が、情報発信側の端末装置10、すなわち端末装置10−1Sである。また、この一例の説明において、端末装置10−2が、情報受信側の端末装置10、すなわち端末装置10−2Rである。
【0040】
ユーザAと、ユーザBとは、
図3(A)から
図3(E)に示す操作を順に行うことにより、表示画面共有機能を利用する。このユーザAと、ユーザBとは、LTE通信網を経由した音声通話セションを利用して音声通話を行っている。このユーザAと、ユーザBとが、LTE通信網を経由した音声通話を行っている場合の、各端末装置10に表示される画像の一例を、
図3(A)に示す。
【0041】
このとき、ユーザAの端末装置10−1Sの表示部100、及びユーザBの表示部100には、いずれも共有メニューボタンの画像PMBが表示されている。この共有メニューボタンの画像PMBの表示は、通信の相手側の端末装置10が、上述した情報共有機能のうち、いずれかの情報共有機能に対応していることを示す。この一例では、共有メニューボタンの画像PMBの表示は、端末装置10−1Sと、端末装置10−2Rとが、いずれも表示画面共有機能に対応していることを示す。
【0042】
ユーザAは、端末装置10−1Sの表示部100に表示されている共有メニューボタンの画像PMBをタップ操作する。このタップ操作を端末装置10−1Sの操作検出部110が検出すると、ランチャー画像P20が表示される(
図3(B)を参照)。このランチャー画像P20とは、上述したメニュー画像の一例である。この一例においては、ランチャー画像P20は、表示画面共有機能及び手書き共有機能のアイコン画像を示す。このアイコン画像が表示されている表示部100上の位置を、ユーザがタップ操作することにより、アイコン画像に対応づけられた機能が起動する。ここでは、ユーザAが、ランチャー画像P20に表示される各情報共有機能のうち、表示画面共有機能のアイコン画像P21をタップ操作する場合について説明する。
【0043】
このタップ操作を端末装置10−1Sの操作検出部110が検出すると、表示画面共有機能の機能説明画像P22が表示される(
図3(C)を参照)。また、このタップ操作を端末装置10−1Sの操作検出部110が検出すると、共有先の端末装置10−2Rの表示部100に画面共有開始の承諾画像P23が表示される。この承諾画像P23とは、情報共有の被要求側の端末装置10に表示される画像であり、要求側の端末装置10による情報共有の要求を承諾するか否かを示す操作を、ユーザに促す画像である。この一例においては、承諾画像P23とは、ユーザAからの画面共有の要求を承諾するか否かを示すタップ操作をユーザBに対して促す画像である。
【0044】
次に、ユーザBは、承諾画像P23の承諾ボタンの画像P24をタップ操作する。このタップ操作を端末装置10−2Rの操作検出部110が検出すると、端末装置10−2R及び端末装置10−1Sの各表示部100に、接続中を示す画像P25が表示される(
図3(D)を参照)。このとき、端末装置10−1Sと端末装置10−2Rとの間において、表示画面共有のための端末間通信のセションが構築される。
【0045】
次に、端末装置10−1Sと端末装置10−2Rとの間において、表示画面共有のための端末間通信のセションが確立すると、端末装置10−1Sの表示部100に表示されている画像P26が、端末装置10−2Rの表示部100に画像P27として表示される(
図3(E)を参照)。すなわち、端末装置10−1Sと端末装置10−2Rとの間において、表示画面共有が開始される。
なお、端末装置10−1Sおよび端末装置10−2Rの双方の端末装置10は、それぞれ、後述するように、音声通話セションが構築されている通話相手の電話番号およびIPアドレスを保持している。音声通話中において、双方の端末装置10は、音声データに含まれる情報と、保持している電話番号およびIPアドレスとを照合して、音声通話が継続されているか否かを監視する。
端末装置10−1Sまたは端末装置10−2Rの何れか一方により通話終了の操作が受け付けられた場合、通話終了の操作を受け付けた端末装置10は、音声通話セションを終了させると共に、表示画面共有のための情報通信セション(端末間の情報共有のセションともいう)も終了させる。このとき、端末装置10は、音声通話セションを構築したLTE通信網におけるサーバ装置にセションの終了要求を送信すると共に、シグナリングサーバ20に情報通信セションの終了要求を送信する。他方の端末装置10は、保持している電話番号およびIPアドレスを含む音声データの受信が所定時間に亘り無いことを検出すると、音声通話が継続されていないと判定する。これにより、他方の端末装置10は、音声通話セションおよび表示画面共有のための情報通信セションが終了されたことを判定する。
【0046】
[端末間通信システムの構成]
次に、上述した情報共有機能を提供する端末間通信システム1の構成について、
図4を参照して説明する。
図4は、本実施形態の端末間通信システム1の構成の一例を示す概要図である。端末間通信システム1は、複数の端末装置10(この一例では、端末装置10−1S及び端末装置10−2R)の他に、次の装置を備える。すなわち、端末間通信システム1は、シグナリングサーバ20と、認証サーバ30と、プッシュサーバ40と、リレーサーバ50とを備えている。
【0047】
シグナリングサーバ20は、端末装置10の間において行われる情報通信セションを管理する。具体的には、シグナリングサーバ20は、複数の端末装置10、認証サーバ30、及びプッシュサーバ40との間において通信が可能である。シグナリングサーバ20は、端末装置10が情報共有機能に対応している場合、その端末装置10の情報のレジストレーション(初期登録)を行う。また、シグナリングサーバ20は、端末装置10から情報共有の要求があった場合に、共有先の端末装置10との間の通信の情報通信セションを構築するためのシグナリング処理を行う。また、シグナリングサーバ20は、端末装置10から情報共有の要求があった場合に、共有の要求先の端末装置10が情報共有機能に対応しているか否かの返答を、要求側の端末装置10に対して行う。
【0048】
このシグナリングサーバ20は、端末情報受信部と、適合性判定部と、判定結果送信部と、セション構築部とを、その機能部として備えている。
このうち、端末情報受信部は、端末情報を端末装置10から受信する。この端末情報には、端末装置10を識別する端末識別情報と、端末装置10において動作するアプリケーションを識別するアプリケーション識別情報とが含まれている。
適合性判定部は、端末装置10−1において動作する第1アプリケーションと、端末装置10−2において動作する第2アプリケーションとの適合性を、端末情報に基づいて判定する。
判定結果送信部は、端末装置10−1において動作する第1アプリケーションが送信する判定要求に応じて、適合性判定部による判定結果を端末装置10−1に送信する。
セション構築部は、第1アプリケーションが送信する通信開始の要求に応じて、通信開始の要求を送信した第1アプリケーションと、第2アプリケーションとの間の情報通信セションを、端末情報に基づいて構築する。
【0049】
また、シグナリングサーバ20は、情報通信セションの構築開始時に端末装置10が正規の装置であるか否かを判定する。端末装置10が正規の装置であるか否かは、様々な手段によって判定することができる。この一例においては、シグナリングサーバ20は、端末装置10から送信される電話番号及びIPアドレスに基づいて、端末装置10が正規の装置であるか否かを判定する。より具体的には、シグナリングサーバ20は、端末装置10から送信される電話番号及びIPアドレスと、この端末装置10に予め割り当てられている電話番号及びIPアドレスとが一致するか否かに基づいて、端末装置10が正規の装置であるか否かを判定する。以下の説明において、シグナリングサーバ20が行う、端末装置10が正規の装置であるか否かの判定を、セキュア判定とも記載する。
【0050】
なお、シグナリングサーバ20は、セション構築時およびセション構築後の情報通信中において、音声通話セションにより音声データを通信している双方の端末装置10間について情報通信セションを構築していることを確認する処理を実施してもよい。
すなわち、シグナリングサーバ20は、現在通話中の双方の端末装置10の電話番号を予め記憶しておく。例えば、シグナリングサーバ20は、図示しない音声通話セションを構築したサーバから通話中の双方の端末装置10の電話番号を受信して、内部に記憶する。
シグナリングサーバ20は、セション構築の要求を受信したことに応じて、情報通信セションを構築する双方の端末装置10の電話番号が、音声通話中の双方の端末装置10の電話番号であるか否かの判定によって、端末装置10が正規の装置であるか否かを判定する。なお、セション構築時の判定処理の具体例は、後述する。
【0051】
また、シグナリングサーバ20は、セション構築後において、所定時間毎に、情報を挙有している双方の端末装置10が、音声通話中の端末装置10であるか否かを判定する。
シグナリングサーバ20は、所定時間毎に、現在通話中の双方の端末装置10電話番号を、音声通話セションを構築したサーバから取得すると共に、情報通信セションを構築した際に取得して記憶された双方の端末装置10の電話番号を読み出す。シグナリングサーバ20は、音声通話セションを構築したサーバから取得した双方の端末装置10の電話番号と、読み出した双方の端末装置10の電話番号が一致するか否かを判定する。シグナリングサーバ20は、双方の電話番号が一致したと判定した場合には、情報共有セションを維持する。一方、シグナリングサーバ20は、双方の電話番号が一致しないと判定した場合には、情報共有セションを切断する。これにより、シグナリングサーバ20は、端末装置10が正規の装置であるか否かの判定を行う。
【0052】
また、シグナリングサーバ20は、レジストレーション情報を記憶する。シグナリングサーバ20は、このレジストレーション情報を利用して、情報通信セションの構築、及びセキュア判定を行う。このシグナリングサーバ20が記憶するレジストレーション情報について、
図5を参照して説明する。
【0053】
図5は、本実施形態のシグナリングサーバ20が記憶するレジストレーション情報の一例を示す表である。シグナリングサーバ20は、レジストレーション情報として、端末装置10の電話番号と、端末モデル名と、プッシュIDと、アプリケーションバージョンとを記憶する。ここで、プッシュIDとは、端末装置10上で動作する情報共有機能対応のアプリケーションについて、このアプリケーションを識別する識別情報である。
【0054】
図4に戻り、シグナリングサーバ20は、情報通信セションが確立された後には、所定の頻度で端末装置10が正規の装置であるか否かを判定する。シグナリングサーバ20は、端末装置10が正規の装置であると判定した場合に限り、情報通信セションを構築し、又は確立された情報通信セションを維持する。具体的には、シグナリングサーバ20は、端末装置10が正規の装置であると判定した場合には、端末装置10に対してトークンを発行する。このトークンとは、高速通信回線を経由して端末装置10どうしが通信を行うための承諾情報である。このトークンには、発行の時点からの有効期限が設定されている。端末装置10は、この有効なトークンが発行されている場合に、他の端末装置10との画面情報共有を行うことができる。また、端末装置1は、トークンが発行されていない場合、及び発行されているトークンの有効期限が途過している場合には、他の端末装置10との画面情報共有を行うことができない。このようにして、シグナリングサーバ20は、端末装置10の間の情報通信セションを管理する。
【0055】
認証サーバ30は、端末装置10の電話番号と、インターネットプロトコルアドレス(IPアドレス)とを関連付けて記憶している。認証サーバ30は、シグナリングサーバ20から、電話番号に対応するIPアドレスの要求があった場合に、端末装置10の電話番号に対応するIPアドレスを、シグナリングサーバ20に返答する。
【0056】
なお、ある端末装置10についての電話番号とIPアドレスとの組み合わせが、認証サーバ30に記憶されている電話番号とIPアドレスとの組み合わせと一致しない場合には、この端末装置10が正規の装置でない可能性がある。シグナリングサーバ20は、ある端末装置10から電話番号及びIPアドレスを取得し、認証サーバに記憶されている電話番号及びIPアドレスと比較して、電話番号とIPアドレスとの組み合わせが一致するか否かを判定する。この比較の結果、電話番号とIPアドレスとの組み合わせが一致すると判定した場合、シグナリングサーバ20は、端末装置10に対してトークンを発行する。
また、この比較の結果、電話番号とIPアドレスとの組み合わせが一致しないと判定した場合、シグナリングサーバ20は、端末装置10に対してトークンを発行しない。
【0057】
プッシュサーバ40は、複数のプッシュIDを記憶する。このプッシュサーバ40に記憶されるプッシュIDと、端末装置10上で動作するアプリケーションとは、シグナリングサーバ20によって対応付けられている。具体的には、端末装置10において、ダウンロードされた新たなアプリケーションが初めて起動されると、この端末装置10は、プッシュサーバ40に対してプッシュIDの発行を要求する。プッシュサーバ40は、この要求に基づいて端末装置10の新たなアプリケーションに対するプッシュIDを発行して、発行したプッシュIDを端末装置10に送信する。端末装置10は、この新たなアプリケーションと、発行されたプッシュIDとを関連付けた情報を、シグナリングサーバ20に対してレジストレーション情報として送信する。シグナリングサーバ20は、端末装置10から送信されたレジストレーション情報を記憶する。これにより、プッシュサーバ40に記憶されるプッシュIDと、端末装置10上で動作するアプリケーションとが、シグナリングサーバ20によって対応付けられる。
【0058】
また、プッシュサーバ40は、端末装置10においてアプリケーションがバージョンアップされると、このバージョンアップに伴って新たなプッシュIDを発行する。つまり、プッシュサーバ40は、端末装置10において動作するアプリケーションの、アプリケーションバージョンの更新に伴い、更新される。
【0059】
また、プッシュサーバ40は、被要求側の端末装置10に対してシグナリングサーバ20がセション構築開始の要求を行う際に、要求側の端末装置10の電話番号をプッシュ技術により被要求側の端末装置10に対して送信する。このプッシュ技術とは、端末装置10に対する通信リクエストを、サーバ装置側(この例の場合には、シグナリングサーバ20、及びプッシュサーバ40側)からIPアドレスを用いてプッシュ配信する技術である。なお、以下の説明において、プッシュ技術によって情報を送信することを、単に、情報をプッシュするとも記載する。
【0060】
中継サーバ50は、複数の端末装置10の間の情報共有通信においてピア・トゥー・ピア接続ができない場合に、複数の端末装置10の間の情報共有通信を行う中継サーバである。ピア・トゥー・ピア接続は、P2P接続とも称する。複数の端末装置10の間の情報共有通信のP2Pセションが、所定の時間を超えても確立できない場合に、中継サーバ50を介したセションが構築される。
【0061】
[端末間通信システムの動作手順]
次に、
図6及び
図7を参照して、端末間通信システム1の動作手順について説明する。初めに、
図6を参照して、端末装置10のレジストレーション(初期設定)の動作手順について説明する。次に、
図7を参照して、端末間通信システム1による情報通信セション構築の動作手順について説明する。なお、
図4に示すステップSの番号は、
図6及び
図7のステップSの番号に対応する。
【0062】
[端末間通信システムの動作手順1:初期設定]
図6を参照して、端末装置10のレジストレーション(初期設定)の動作手順について説明する。ここでは、端末装置10−1、及び端末装置10−2が順にレジストレーションを行う場合について説明する。
【0063】
図6は、本実施形態のレジストレーションの動作手順の一例を示す流れ図である。
端末装置10−1は、情報共有機能対応のアプリケーションが端末装置10−1において起動された場合に、プッシュサーバ40に対して、起動されたアプリケーションに対応するプッシュIDの発行の要求を送信する(ステップS10)。
プッシュサーバ40は、プッシュIDの発行の要求を受信すると、起動されたアプリケーションに対応するプッシュIDを、端末装置10−1に送信する(ステップS20)。
端末装置10−1は、プッシュサーバ40からプッシュIDを取得する(ステップS30)。
【0064】
次に、端末装置10は、レジストレーション情報を、シグナリングサーバ20に対して送信する(ステップS40)。ここで、レジストレーション情報には、ステップS10において取得したプッシュIDと、このプッシュIDに対応するアプリケーションのアプリケーションバージョン情報と、自装置の電話番号と、自装置の端末モデル名称とが含まれる。
【0065】
シグナリングサーバ20は、ステップS20において送信されたレジストレーション情報を記憶して(ステップS50)、端末装置10−1についての、レジストレーションの処理を終了する。
【0066】
次に、シグナリングサーバ20は、認証サーバ30に対して、電話番号を送信する(ステップS60)。この電話番号とは、ステップS20において送信されたレジストレーション情報に含まれる電話番号である。
【0067】
認証サーバ30は、ステップS60において送信された電話番号を受信し、この電話番号が予め登録されている電話番号であるか否かを判定して、この判定結果をシグナリングサーバ20に送信する(ステップS70)。ここで、認証サーバ30に予め登録されている電話番号とは、端末装置10が正規の端末装置10であることを示す情報である。すなわち、認証サーバ30は、端末装置10から送信されたレジストレーション情報に含まれる電話番号が、正規の端末装置10の電話番号であるか否かを判定する。また、ここでいう正規の端末装置10とは、予め登録された正規の利用者に利用されている端末装置10である。すなわち、シグナリングサーバ20は、レジストレーション情報を送信した端末装置10が、予め登録された正規の利用者本人が利用する端末装置10であるか否かを判定する。つまり、シグナリングサーバ20は、ステップS60及びステップS70において、端末装置10の利用者の本人認証を行う。
【0068】
また、端末装置10−2は、
図6に示すステップS10−2からステップS70−2によって、レジストレーションを行う。ここで、ステップS10−2からステップS70−2は、上述したステップS10からステップS50に対応する。このステップS10−2からステップS70−2についての説明は省略する。
【0069】
[端末間通信システムの動作2:セション構築]
次に、
図7を参照して、端末装置10のセション構築の動作手順について説明する。
図7は、本実施形態のセション構築の動作手順の一例を示す流れ図である。ここでは、端末装置10−1と端末装置10−2との間に情報通信セションを構築する場合について説明する。また、端末装置10−1が情報共有の要求側であり、端末装置10−2が情報共有の被要求側である場合について説明する。さらに、この端末装置10の情報通信セション構築の動作は、端末装置10−1と端末装置10−2との間に既に音声通話セションが構築されており、端末装置10−1と端末装置10−2との間で音声データを通信している最中に開始される。
【0070】
要求側の端末装置10−1は、情報共有の要求をシグナリングサーバ20に対して送信する(ステップS100)。
シグナリングサーバ20は、端末装置10から情報共有の要求を受け付ける(ステップS110)。この情報共有の要求には、被要求側の端末装置10の電話番号が含まれている。
【0071】
次に、シグナリングサーバ20は、ステップS110において受け付けた電話番号と、予め記憶しているレジストレーション情報とを比較して、受信した電話番号が利用可能であるか否かを判定する(ステップS120)。
なお、シグナリングサーバ20は、電話番号の判定に代えて、又は電話番号の判定に加えて、プッシュIDの判定を行うこともできる。具体的には、シグナリングサーバ20は、ステップS110において受け付けた電話番号に対応するレジストレーション情報に、プッシュIDが登録されているか否かを判定する。
【0072】
次に、シグナリングサーバ20は、ステップS110において受信した電話番号が利用可能であると判定した場合(ステップS120;YES)には、要求側の端末装置10に対して、情報共有機能が利用可能である旨を通知する(ステップS130)。一方、シグナリングサーバ20は、ステップS110において受信した電話番号が利用可能でないと判定した場合(ステップS120;NO)には、要求側の端末装置10に対して、情報共有機能が利用不可能である旨を通知して、処理を終了する。
【0073】
なお、上述において、シグナリングサーバ20は、シグナリングサーバ20に対して情報共有の要求があった後に情報通信セションを構築する過程において、要求側の端末装置10に対して情報共有機能が利用可能である旨を通知するとして説明したが、これに限られない。一例として、シグナリングサーバ20は、情報共有の要求がなされる前において、要求側の端末装置10に対して情報共有機能が利用可能である旨を通知してもよい。この場合、シグナリングサーバ20は、端末装置10間の音声通話開始時、又は音声通話中に、音声通話のバックグラウンド処理によって、情報共有の要求がなされる前において、要求側の端末装置10に対して情報共有機能が利用可能である旨を通知する。
【0074】
また、他の変形例として、シグナリングサーバ20は、電話番号の判定に代えて、又は電話番号の判定に加えて、次に例示する条件によって情報共有機能が利用可能である旨を通知してもよい。一例として、シグナリングサーバ20は、要求側の端末装置10と、被要求側の端末装置10とのいずれもに、情報共有アプリケーションがインストールされている場合に、情報共有機能が利用可能である旨を通知する。また、一例として、シグナリングサーバ20は、要求側の端末装置10にインストールされている情報共有アプリケーションのアプリケーションバージョンと、被要求側の端末装置10にインストールされている情報共有アプリケーションのアプリケーションバージョンとが同一である場合に、情報共有機能が利用可能である旨を通知する。また、一例として、シグナリングサーバ20は、要求側の端末装置10にインストールされている情報共有アプリケーションと、被要求側の端末装置10にインストールされている情報共有アプリケーションとが互換性を有する場合に、情報共有機能が利用可能である旨を通知する。
【0075】
また、他の一例として、シグナリングサーバ20は、要求側の端末装置10と、被要求側の端末装置10とが、いずれも高速データ通信回線(例えば、VoLTE)による通信に対応する端末装置である場合に、情報共有機能が利用可能である旨を通知する。
【0076】
次に、要求側の端末装置10は、情報共有機能が利用可能である旨の通知を受信すると、シグナリングサーバ20にセション構築の要求を送信する(ステップS140)。このセション構築の要求には、送信要求側の端末装置10の電話番号及びIPアドレスと、被要求側の端末装置10の電話番号とが含まれる。
なお、上述したステップS100と、ステップS140との処理タイミングの前後関係は問わない。例えば、ステップS100が先で、ステップS140が後でもよく、これらステップS100と、ステップS140とが同時に行われてもよい。
【0077】
次に、シグナリングサーバ20は、ステップS130において送信されたセション構築の要求を受信すると、プッシュサーバ40に対して、セション構築情報を送信する(ステップS150)。このセション構築情報には、要求側の端末装置10の電話番号と、プッシュIDとが含まれている。このとき、シグナリングサーバ20は、被要求側の端末装置10の電話番号を検索キーにしてレジストレーション情報を検索することにより、プッシュIDを取得する。このプッシュIDは、被要求側の端末装置10において動作する情報共有アプリケーションに対応している。
【0078】
プッシュサーバ40は、ステップS150において送信されたセション構築情報を受信すると、このセション構築情報に含まれるプッシュIDに基づいて、被要求側の端末装置10に対して、情報共有アプリケーションの起動要求をプッシュする(ステップS160)。このときプッシュサーバ40がプッシュする情報には、要求側の端末装置10の電話番号が含まれている。
【0079】
被要求側の端末装置10は、ステップS160のプッシュが行われると、受信した要求側の端末装置10の電話番号が、現在通話中の相手の電話番号と一致するか否かを判定する(ステップS170)。被要求側の端末装置10は、受信した要求側の端末装置10の電話番号が、現在通話中の相手の電話番号と一致すると判定した場合(ステップS170;YES)には、処理をステップS180に進める。一方、被要求側の端末装置10は、受信した要求側の端末装置10の電話番号が、現在通話中の相手の電話番号と一致しないと判定した場合(ステップS170;NO)には、情報共有の承認をしない旨を、シグナリングサーバ20を介して要求側の端末装置10に送信して、処理を終了する。
【0080】
次に、被要求側の端末装置10は、情報共有の承認画像を表示し、ユーザの承認操作を待つ(ステップS180)。被要求側の端末装置10は、ユーザが承認する操作を行った場合(ステップS180;YES)には、シグナリングサーバ20に対してセション構築承認情報を送信する(ステップS190)。このセション構築承認情報には、被要求側の端末装置10の電話番号、IPアドレス及びポート番号が含まれている。一方、被要求側の端末装置10は、ユーザが承認しない操作を行った場合(ステップS180;NO)には、情報共有の承認をしない旨を、シグナリングサーバ20を介して要求側の端末装置10に送信して、処理を終了する。
【0081】
次に、シグナリングサーバ20は、ステップS190において送信されたセション構築承認情報を受信すると、要求側の端末装置10と、被要求側の端末装置10との間において情報通信セションを構築して(ステップS200)、セション構築の処理を終了する。
具体的には、ステップS200において、シグナリングサーバ20は、ステップS190において送信された被要求側の端末装置10のIPアドレス及びポート番号を、要求側の端末装置10に送信する。次に、要求側の端末装置10は、要求側の端末装置10のIPアドレス及びポート番号を、シグナリングサーバ20に送信する。シグナリングサーバ20は、要求側の端末装置10のIPアドレス及びポート番号を受信すると、受信したIPアドレス及びポート番号を被要求側の端末装置10に送信する。これにより、要求側の端末装置10は、被要求側の端末装置10のIPアドレス及びポート番号を取得する。また、被要求側の端末装置10は、要求側の端末装置10のIPアドレス及びポート番号を取得する。すなわち、複数の端末装置10は、互いに、情報共有相手の端末装置10のIPアドレス及びポート番号を取得する。
【0082】
なお、シグナリングサーバ20は、セション構築時(例えばステップS150)において、音声通話セションにより音声データを通信している双方の端末装置10間について情報通信セションを構築していることを確認する処理を実施してもよい。
すなわち、シグナリングサーバ20は、現在通話中の双方の端末装置10電話番号を予め記憶しておく。例えば、シグナリングサーバ20は、図示しない音声通話セションを構築したサーバから通話中の双方の端末装置10の電話番号を受信して、内部に記憶する。
シグナリングサーバ20は、セション構築の要求を受信すると(ステップS140)、当該セション構築の要求に含まれる双方の端末装置10の電話番号と、予め記憶された双方の端末装置10の電話番号とが一致するかを判定する。シグナリングサーバ20は、双方の電話番号が一致したと判定した場合には、プッシュサーバ40にセション構築情報を送信して、セション構築の動作を継続させる。一方、シグナリングサーバ20は、双方の電話番号が一致しないと判定した場合には、セション構築を終了するために、プッシュサーバ40へセション構築情報を送信しない。また、シグナリングサーバ20は、情報共有の承認をしない旨を、端末装置10に送信してもよい。
【0083】
セション構築の処理が終了すると、端末装置10−1及び端末装置10−2は、相互に情報共有を行う(ステップS210)。この情報共有は、端末装置10−1または端末装置10−2により、情報通信セションを利用して通信相手の端末装置10に情報を送信する。
【0084】
[情報発信側の端末装置10の情報送信処理]
次に、情報発信側の端末装置10により情報を送信する処理について説明する。
この情報発信側の端末装置10は、制御部160により音声データを情報受信側の端末装置10との間で通信して情報発信側の端末装置10との間の通話音声を音再生部130に出力させている最中において、情報発信側の端末装置10における制御部160は、表示部100に出力させている情報の送信制御情報を判定する。制御部160は、判定した送信制御情報に基づいて、通信部150による情報の送信を制御する。制御部160は、判定した送信制御情報に基づいて、送信される情報の視覚効果の変化するよう制御する。
【0085】
図8は、情報発信側の端末装置10において情報を送信する際の動作を示すフローチャートである。先ず、情報発信側の端末装置10は、自装置から情報受信側の端末装置10に情報を送信するタイミングが到来すると(ステップS100:YES)、表示部100に出力されている情報を取得する。このとき、情報発信側の端末装置10は、表示部100に出力されている情報の送信制御情報を取得する。
送信制御情報とは、情報受信側の端末装置10に送信することがユーザによって承諾されているか否かを示す設定情報である。送信制御情報は、予めユーザの操作に基づいて表示部100に出力される情報ごとに設定される。
【0086】
送信制御情報を設定する処理は、情報通信セションにおいて、情報を情報発信側の端末装置10から情報受信側の端末装置10に送信させる前に、情報を送信する承諾可否画像を表示部100に表示させる。この承諾可否画像には、情報の送信を承諾するタップ操作を受け付ける画像、および情報の送信を承諾しないタップ操作を受け付ける画像が含まれる。
【0087】
情報発信側の端末装置10は、情報共有を開始させる前における操作に基づいて送信制御情報を設定する。例えば、情報発信側の端末装置10が情報を表示させている状態で、ランチャー画像P20(
図3(B))における表示画面共有機能に対応したアイコン画像がタップ操作されたことに応じて、情報発信側の端末装置10は、
図3(C)に示すような操作説明画像P22を、承諾可否画像として表示させる。情報発信側の端末装置10は、画面共有を承諾するタップ操作を受け付けると、表示部100に表示された情報の送信を承諾する送信制御情報を生成する。一方、画面共有を承諾しないタップ操作を受け付けると、表示部100に表示された情報の送信を承諾しない送信制御情報を生成する。
【0088】
また、情報発信側の端末装置10は、情報共有を承諾するタップ操作を受け付けた後、表示部100に表示させる画像(情報)を切り換えるための操作に応じて送信制御情報を設定してもよい。
図9は、新たな情報を送信する前に表示させる承諾可否画像を含む画面を示す。情報発信側の端末装置10は、情報共有中における画像の切り換え操作を検出したことに応じて承諾可否画像を表示させる。この承諾可否画像は、表示部100に表示させている画面の下部に起動されるランチャー画像である。
この承諾可否画像には、例えば「画像(切り換え後の画像)を共有しますか?」というメッセージ画像と、情報の送信を承諾または拒否にするタップ操作を受け付けるための画像とが含まれる。情報発信側の端末装置10は、承諾可否画像に対するタップ操作を受け付ける。情報発信側の端末装置10は、情報の共有を承諾するタップ操作を受け付けた場合、当該情報の送信制御情報を「承諾」に設定する。情報発信側の端末装置10は、情報の共有を拒否するタップ操作を受け付けた場合、当該情報の送信制御情報を「拒否」に設定する。
【0089】
情報発信側の端末装置10は、最上位レイヤに表示させる画像を切り換える操作を検出したことに応じて承諾可否画像を表示させてもよい。情報発信側の端末装置10は、承諾可否画像に対するタップ操作に基づいて、当該最上位レイヤに表示される画像の送信制御情報を生成する。
また、情報発信側の端末装置10は、ウェブページにおけるリンク先をタップ操作が検出されたことに応じて承諾可否画像を表示させてもよい。情報発信側の端末装置10は、承諾可否画像に対するタップ操作に基づいて、リンク先の送信制御情報を生成する。
さらに、情報発信側の端末装置10は、動画像または静止画像を表示させる操作、新たな文書ドキュメントを表示させる操作、受信メールまたは送信メールを表示させる操作、または着信通知やメール受信があったことを知らせるポップアップ表示が検出されたことに応じて承諾可否画像を表示させてもよい。情報発信側の端末装置10は、承諾可否画像に対するタップ操作に基づいて、動画像、静止画像、文書ドキュメント、受信メールまたは送信メールの送信制御情報を生成する。
なお、情報共有中において承諾可否画像を情報発信側の端末装置10に表示させる場合、情報発信側の端末装置10は、承諾可否画像を送信対象から除外する。すなわち、情報発信側の端末装置10は、承諾可否画像以外の表示部100に表示されている画像を送信対象にする。
【0090】
さらに、情報発信側の端末装置10は、アプリケーションが起動されることに応じて承諾可否画像を表示させてもよい。情報発信側の端末装置10は、承諾可否画像に対するタップ操作に基づいて、アプリケーションの送信制御情報を生成する。また、アプリケーションの送信制御情報を作成するに際して、情報発信側の端末装置10は、ランチャー画像P20における表示画面共有機能に対応したアイコン画像がタップ操作されたことに応じて、画面共有を許容するアプリケーションの名称の一覧を含む承諾可否画像を表示部100に表示させてもよい。
【0091】
図10は、画面共有を開始する前に表示させる承諾可否画像を含む画面を示す。情報発信側の端末装置10は、情報共有を開始させるための承諾可否画像に、複数のアプリケーションの名称および当該アプリケーションから表示部100に出力させる情報の共有の承諾可否を示すラジオボタンと、情報の送信を承諾または拒否にするタップ操作を受け付けるための画像とを含める。情報発信側の端末装置10は、各アプリケーションに対応したラジオボタンに対するタップ操作を受け付け、さらに、情報の送信を承諾または拒否にするタップ操作を受け付けるための画像に対するタップ操作を受け付ける。
情報発信側の端末装置10は、情報の共有を承諾するタップ操作を受け付けた時点において各アプリケーションに対応したラジオボタンの選択状態に基づいて、各アプリケーションの送信制御情報を生成する。情報発信側の端末装置10は、
図10の例において、アプリA、Cに対応したラジオボタンの承諾(はい)が選択されているので、アプリケーションA、Cの送信制御情報を「承諾」に設定する。また、情報発信側の端末装置10は、アプリBに対応したラジオボタンの拒否(いいえ)が選択されているので、アプリケーションBの送信制御情報を「拒否」に設定する。
なお、情報の共有を承諾するアプリケーションを選択させる手法は、各アプリケーションに対応したラジオボタンへの選択操作に限らず、他の手法であってもよく、例えばプルダウンメニューで承諾または拒否が選択可能であってもよい。
【0092】
さらに、情報発信側の端末装置10は、電子メールアプリケーションにより参照される電子メールアドレスごとに送信制御情報を生成してもよい。この電子メールアドレスは、メールアドレスを管理するアドレス帳アプリケーションが提供するアドレス帳の画像である。アドレスごとの送信制御情報は、アドレス帳アプリケーションにおいて電子メールアドレスを登録または編集する動作モードにより、情報共有機能アプリケーションによる情報送信の承諾または拒否が設定される。
これにより、情報発信側の端末装置10は、電子メールアドレスごとに設定された送信制御情報を参照し、当該電子メールアドレスを含む電子メール画面(新規作成メール、保存メール、送信メールおよび受信メールを含む)の送信を制御し、または電子メール画面の視覚効果を変化させる。
【0093】
情報発信側の端末装置10は、電子メールデータを保存している電子メールフォルダごとに送信制御情報を設定してもよい。電子メールフォルダごとの送信制御情報は、電子メールアプリケーションにおける電子メールフォルダの設定機能により、情報共有機能アプリケーションによる送信の承諾または拒否が設定される。電子メールフォルダに格納された電子メールデータは、電子メールフォルダに設定された送信制御情報と同じ送信制御情報が設定される。
これにより、情報発信側の端末装置10は、電子メールフォルダごとに設定された送信制御情報を参照し、当該電子メールフォルダに格納された電子メールの一覧、当該電子メールフォルダに格納された電子メールの画面の送信を制御し、または電子メールの一覧および電子メール画面の視覚効果を変化させる。
【0094】
情報発信側の端末装置10は、通話相手のユーザ毎に送信制御情報を生成してもよい。情報発信側の端末装置10は、承諾可否画像に対するタップ操作を受け付けたことに応じて、通話中の情報受信側の端末装置10の情報(電話番号およびIPアドレス)に対応させて送信制御情報を生成する。これにより、情報発信側の端末装置10は、通話相手のユーザ毎に情報の送信を制御できる。
さらに、情報発信側の端末装置10は、3者間で通話を行うと共に、3者間で情報の通信を行う場合にも、通話相手ごとに設定された送信制御情報に基づいて情報の送信を制御してもよい。3者間の情報通信は、単一の情報発信側の端末装置10と、2台の情報受信側の端末装置10とが情報通信セションにより情報を通信する通信モードである。情報発信側の端末装置10は、3者間通信の情報共有セションが構築されたことに応じて、2台の情報受信側の端末装置10のそれぞれについての送信制御情報を参照する。これにより、情報発信側の端末装置10は、情報受信側の端末装置10ごとに情報の送信を制御し、または情報の視覚効果を変化させる。
【0095】
なお、情報発信側の端末装置10は、送信制御情報が設定されていない場合、情報通信セッションが構築されていても情報受信側の端末装置10へ情報を送信せず、情報の送信が承諾されて情報制御情報が生成された後に当該情報を送信する。すなわち、情報発信側の端末装置10に情報を表示しても、情報発信側の端末装置10において送信制御情報が生成されるまで情報は送信されず、承諾することの送信制御情報が生成された後に、情報受信側の端末装置10に情報を表示させる。
【0096】
情報発信側の端末装置10は、取得された情報の送信制御情報を判定し(ステップS104)、情報の共有が制限されているか否かを判定する(ステップS106)。情報発信側の端末装置10は、送信制御情報が情報の送信を承諾するものである場合(ステップS106;NO)、表示部100に表示されている情報を送信する(ステップS108)。
【0097】
一方、情報発信側の端末装置10は、情報の送信が制限されている場合(ステップS106;YES)、表示部100に表示されている情報の共有について制限を実施する(ステップS110)。この情報の共有制限には、情報の送信を制御すること、または情報の視覚効果を変化させることが含まれる。
情報の送信を制御することには、情報の送信を中断または中止させることが含まれる。
情報の視覚効果を変化させることとは、表示部100に表示されている情報の輝度、色等の視覚効果に関するパラメータを変化させることと、情報を他の情報に置き換えることとを含む。
視覚効果に関するパラメータを変化させることには、情報受信側の端末装置10における表示部100に情報を表示させても情報の内容が知覚できないほど情報を加工することが含まれる。例えば、情報発信側の端末装置10は、情報発信側の端末装置10の表示部100に表示されている情報の解像度、または輝度等を低下させる。
情報を他の情報に置き換えることには、例えば、情報発信側の端末装置10の表示部100に表示されている情報を、黒画像に置き換えることが含まれる。これにより、情報発信側の端末装置10は、情報発信側の端末装置10の表示部100に表示されている画像P26(
図11(A))を黒画像に置き換え、情報受信側の端末装置10の表示部100に表示させる画像P27を黒画像に変更させる(
図11(B))。
また、情報発信側の端末装置10は、表示部100に表示されている情報に代えて置き換えられる画像を、ユーザにより選択可能にしてもよい。例えば、情報共有機能アプリケーションの設定モードにおいて、黒画像、絵柄画像またはメッセージ画像のうち、ユーザが選択した画像を記憶しておく。情報発信側の端末装置10は、表示部100に表示されている情報を置き換える場合に、予め選択された画像を読み出して、当該画像に置き換えた情報を情報受信側の端末装置10へ送信させる。
【0098】
この情報の共有制限において、情報発信側の端末装置10は、表示部100に表示されている情報に複数の情報が含まれている場合、各情報についてステップS102〜ステップS110の処理を実施してもよい。
また、情報発信側の端末装置10は、複数の情報のうち何れかの情報の送信制御情報に基づいて複数の情報の共有制限を実施してもよい。情報発信側の端末装置10は、何れかの情報の送信制御情報が送信拒否である場合、複数の情報の全てを送信させない、または、複数の情報の全ての視覚効果を変化させる。これにより、例えば、情報発信側の端末装置10は、全ての情報を画像P26(
図11(A))を黒画像に置き換え、情報受信側の端末装置10の表示部100に表示させる画像P27を黒画像に変更させる(
図11(B))。
【0099】
図12は、情報発信側の端末装置10の画面および情報受信側の端末装置10の画面の一例を示す模式図である。
図12(A)に示すように、情報発信側の端末装置10の表示部100に表示させている情報P26に文書情報P26aおよび画像情報P26bが含まれており、文書情報P26aの送信制御情報が送信承諾であり、画像情報P26bの送信制御情報が送信拒否であるとする。
図12に示した画像P26は、例えばPDF(Portable Document Format)形式の文書ドキュメントである。
この場合、情報発信側の端末装置10は、文書情報P26aをそのまま送信させ、画像情報P26bに対して共有制限を実施する。例えば、情報発信側の端末装置10は、画像情報P26bを黒画像に変換させることにより、
図12(B)に示すように、閲覧可能な文書情報P26aと視覚効果が低下された画像情報P27bとを含む画像P27を情報受信側の端末装置10の表示部100に表示させる。
【0100】
なお、情報発信側の端末装置10は、情報共有の動作を行っている最中に、ユーザの操作により、当該情報共有の動作を中断又は中止することができる。例えば、ユーザは、情報共有機能を利用中にその動作を中断させる場合には、表示部100をダブルタップ操作する。情報発信側の端末装置10の操作検出部110は、このダブルタップ操作を検出する。端末装置10は、情報共有機能の動作中に、操作検出部110がダブルタップ操作を検出した場合、情報受信側の端末装置10に対する情報の送信を中断する。
また、情報発信側の端末装置10は、情報共有機能の動作の中断中に、操作検出部110がダブルタップ操作を検出した場合、情報受信側の端末装置10に対する情報の送信を再開する構成であってもよい。
【0101】
また、情報発信側の端末装置10は、表示画面共有機能において、表示部100に表示させている全情報ではなく、一部の情報の共有を中断または中止してもよい。表示部100に複数の画像が表示されている場合において、操作検出部110がダブルタップ操作を検出した場合、ダブルタップ操作の位置を検出し、ダブルタップ操作の位置に対応する画像を判定する。これにより、情報発信側の端末装置10は、ダブルタップ操作の位置に対応する画像の送信を中断する。
情報発信側の端末装置10は、例えば、電子メールのアドレスの表示領域と電子メールの本文の表示領域とを含む電子メールアプリケーションの画像を表示させているとする。
この場合において、情報発信側の端末装置10は、電子メールの本文の表示領域に対するダブルタップ操作を検出した場合には、電子メールの本文の画像の送信を中断させる。
【0102】
さらに、情報発信側の端末装置10は、表示画面共有機能において、表示部100に表示されている情報に対して認識処理を行って画像の共有を中断または中止してもよい。情報発信側の端末装置10は、予め情報の送信を中断または中止させる画像または文字を設定する。情報発信側の端末装置10は、情報共有機能アプリケーションの設定モードにおいて送信を中断または中止させる画像または文字を設定し、設定された画像または文字を図示しないメモリに記憶する。
情報発信側の端末装置10は、画面共有中において、表示部100に表示されている情報に対して情報解析を行い、情報に含まれる画像または文字を認識し、認識された画像または文字と予め記憶された画像または文字とを比較する。情報発信側の端末装置10は、認識された画像または文字が、予め記憶された画像または文字に一致または相当する場合には、情報の送信を中断または中止する。
情報発信側の端末装置10は、例えば、「社外秘」を情報の共有を中断または中止させる画像または文字として設定しておき、表示部100に表示されている情報に「社外秘」なる画像または文字が含まれていることを認識すると、情報の送信を中断または中止することができる。
【0103】
以上説明したように、実施形態として示した端末装置10によれば、例えばユーザに送信制御情報を設定させることにより、自装置から送信させる情報を柔軟に設定できる。
【0104】
さらに、情報発信側の端末装置10は、表示部100に出力させている情報が情報受信側の端末装置10に送信されたことを通知する情報を表示部100に表示させてもよい。
図13は、情報発信側の端末装置10の画面および情報受信側の端末装置10の画面の一例を示す模式図である。
図13(A)に示す情報発信側の端末装置10の表示部100に表示させている文書情報P26aを、
図13(B)に示す情報受信側の端末装置10の表示部100に文書情報P27aとして表示させている場合に、情報発信側の端末装置10は、文書情報P26aを囲うようにハイライト画像P26cを表示させる。一方、情報発信側の端末装置10は、情報受信側の端末装置10に送信させていない画像情報P26bに対してはハイライト画像を表示させない。これにより、情報発信側の端末装置10は、情報発信側の端末装置10のユーザに文書情報P26aが情報受信側の端末装置10に送信されたことを提示できる。
なお、情報受信側の端末装置10に送信されたことを通知する情報は、ハイライト画像P26cではなく他の形態であってもよい。例えば、情報受信側の端末装置10に送信されたことを通知する情報は、メッセージであってもよく、送信される情報全体を覆う画像であってもよく、カラー画像であってもよく、点滅画像であってもよい。さらに、情報受信側の端末装置10に送信されたことを通知する情報は、表示部100における輝度等の表示状態を変更された表示画像であってもよい。これにより情報発信側の端末装置10は、情報発信側の端末装置10のユーザに表示部100に表示されている情報が送信されていることを通知できる。
【0105】
さらに、情報発信側の端末装置10は、表示部100に出力させている情報が、視覚効果が変化されて情報受信側の端末装置10に送信されたことを通知する情報を表示部100に表示させてもよい。
図14は、情報発信側の端末装置10の画面および情報受信側の端末装置10の画面の一例を示す模式図である。
図14(A)に示す情報発信側の端末装置10の表示部100に表示させている画像情報P26bの視覚効果を変化させて送信させ、
図14(B)に示す情報受信側の端末装置10の表示部100に加工された画像情報P27bとして表示させている場合に、情報発信側の端末装置10は、画像情報P26bを覆うようにハイライト画像P26b#を重畳して表示させる。一方、情報発信側の端末装置10は、視覚効果を変化させていない文書情報P26aに対してはハイライト画像を表示させない。これにより、情報発信側の端末装置10は、情報発信側の端末装置10のユーザに画像情報P26bの視覚効果が変化されて情報受信側の端末装置10に送信されたことを提示できる。
【0106】
なお、情報受信側の端末装置10に視覚効果が変化されて送信されたことを通知する情報は、ハイライト画像P26b#ではなく他の形態であってもよい。例えば、情報受信側の端末装置10に送信されたことを通知する情報は、メッセージであってもよく、情報の表示枠を囲う画像であってもよく、カラー画像であってもよく、点滅画像であってもよい。さらに、情報受信側の端末装置10に視覚効果が変化されて送信されたことを通知する情報は、表示部100における輝度等の表示状態を変更された表示画像であってもよい。
これにより情報発信側の端末装置10は、情報発信側の端末装置10のユーザに表示部100に表示されている情報が、視覚効果が変化されて送信されていることを通知できる。
【0107】
さらに、上述した実施形態において、送信制御情報は、表示部100に情報を出力させるアプリケーションの属性情報に基づいて設定してもよい。アプリケーションの属性情報とは、上述した情報の送信を承諾または拒否を示す情報に加えて、アプリケーションの名称、種類、または設定情報等を含む。
アプリケーションの種類は、電話(音声通信)アプリケーション、アドレス帳アプリケーション、動画再生アプリケーション、ウェブブラウザアプリケーション、地図アプリケーション、写真アルバムアプリケーション、電子メールアプリケーション、文書アプリケーション、テキストチャットアプリケーション等が挙げられる。情報発信側の端末装置10は、アプリケーションの名称および種類に対応して送信制御情報が設定される。このアプリケーションの名称および種類に対応した送信制御情報を設定する設定処理は、情報共有機能アプリケーションの設定モードにおいて設定することができる。また、アプリケーションに対応した送信制御情報は、当該アプリケーションが通信を行う相手側装置ごとに設定してもよい。さらに、アプリケーションに対応した送信制御情報は、初期値は「拒否」に設定され、承諾可否画像に対して承諾の操作が受け付けられたことに応じて「承諾」に変更させてもよい。アプリケーションの属性情報に対応した送信制御情報は、情報発信側の端末装置10内の図示しないメモリに記憶される。
情報発信側の端末装置10は、情報を送信する際に、表示部100に情報を出力させているアプリケーションの名称および種類を判定し、アプリケーションの名称および種類に対応した送信制御情報を参照する。これにより情報発信側の端末装置10は、アプリケーションの名称および種類に基づいて情報の送信を制御、または情報の視覚効果を変化させる。
【0108】
さらに、上述した実施形態において、情報発信側の端末装置10は、アプリケーションの属性情報に基づいて、送信される情報に対する複数の視覚効果のうちいずれかを選択して、選択された視覚効果となるように情報を処理させてもよい。
情報発信側の端末装置10は、情報共有機能アプリケーションの設定モードにおいて、アプリケーションの属性情報に対応して情報の視覚効果を設定して送信制御情報を生成する。アプリケーションの属性情報に対応した情報の視覚効果は、情報発信側の端末装置10内の図示しないメモリに記憶される。
情報発信側の端末装置10は、情報を送信する際に、表示部100に情報を出力させているアプリケーションの名称および種類を判定し、アプリケーションの名称および種類に対応した送信制御情報を参照する。情報発信側の端末装置10は、情報の送信が承諾されていた場合、アプリケーションの送信制御情報に対応した視覚効果を参照する。これにより情報発信側の端末装置10は、アプリケーションの属性情報に基づいて情報の視覚効果を変化させる。
【0109】
さらに、上述した実施形態において、情報発信側の端末装置10は、アプリケーションの属性情報に基づいて送信される情報の保存権限を設定し、保存権限が設定された情報を通信部150に送信させてもよい。情報の保存権限は、情報の保存を承諾または拒否とする情報である。また、情報の保存権限には、情報を保存する残り回数が含まれていてもよく、情報を保存する権限を有するユーザまたは端末を特定する情報が含まれていてもよい。情報の保存権限は、アプリケーションまたは情報共有機能アプリケーションの設定モードにより設定されてもよく、情報発信側の端末装置10のユーザの操作に基づいて設定されてもよい。
【0110】
情報発信側の端末装置10は、情報を送信する際に、表示部100に情報を出力させているアプリケーションの属性情報を判定し、アプリケーションの属性情報に対応した保存権限を参照する。情報発信側の端末装置10は、保存権限が設定されていない場合、情報に保存権限を設定せずに通信部150から情報を送信させる。一方、情報発信側の端末装置10は、保存権限が設定されている場合、情報に保存権限を設定して通信部150から情報を送信させる。情報受信側の端末装置10は、情報を受信すると、当該情報に設定された保存権限を参照する。情報受信側の端末装置10は、保存権限が承諾である場合には受信した情報を表示部100に表示させると共に図示しないメモリに保存する。情報受信側の端末装置10は、保存権限が拒否である場合には受信した情報を表示部100に表示させ、表示部100への表示後に情報を消去する。
【0111】
また、情報発信側の端末装置10は、ユーザの操作を受け付けて、情報受信側の端末装置10に保存させることを許容する情報を選択させてもよい。例えば、
図15に示すような画面共有の承諾可否画像に、「保存を承諾しますか?」というメッセージおよび情報の保存を承諾または拒否にするタップ操作を受け付けるための画像とを含める。これにより情報発信側の端末装置10は、情報の保存を承諾または拒否にする画像に対するタップ操作を受け付けて、情報の保存権限を設定する。
【0112】
さらに、上述した実施形態において、情報発信側の端末装置10は、表示部100に出力させている情報の送信が拒否であることを通知する情報を通信部150に送信させてもよい。情報発信側の端末装置10は、表示部100に表示されている情報の送信が拒否であると判定した場合、当該情報に代えて、情報の送信が拒否であることを通知する情報を通信部150に送信させる。情報の送信が拒否であることを通知する情報は、情報受信側の端末装置10に受信される。これにより、情報受信側の端末装置10は、情報発信側の端末装置10から情報の送信が拒否とされたことをユーザに通知できる。
【0113】
図16は、情報発信側の端末装置10の画面および情報受信側の端末装置10の画面の一例を示す模式図である。
図16(A)に示す情報発信側の端末装置10の表示部100に表示させている画像情報P26bの送信が拒否である場合、
図16(B)に示すように、情報受信側の端末装置10は、通知された情報に基づいて画像情報P26bに対応した画像情報P27b#の周囲を点滅させる。
【0114】
なお、情報の送信が拒否であることを通知する形態は、点滅画像ではなく他の形態であってもよい。例えば、情報の送信が拒否であることを通知する形態は、メッセージであってもよく、情報を覆う画像であってもよく、カラー画像であってもよい。さらに、情報の送信が拒否であることを通知する形態は、表示部100における輝度等の表示状態を変更された表示画像であってもよい。
【0115】
また、情報発信側の端末装置10は、情報受信側の端末装置10に表示させている画面を自装置に表示させてもよい。このとき、情報受信側の端末装置10は、通信部150から送信させている情報に基づいて表示データを生成して、表示部100に表示させる。これにより、情報発信側の端末装置10は、自装置に表示させる画像P26と、情報受信側の端末装置10に表示させている画像P27とを切り替えて表示させることができ、情報発信側の端末装置10のユーザに情報受信側の端末装置10に表示させている画像を確認させることができる。
【0116】
情報受信側の端末装置10は、情報発信側の端末装置10から送信されていない画像の送信を要求してもよい。
図17は、本実施形態の端末装置において、情報発信側の端末装置10の表示画面遷移および情報受信側の端末装置10の表示画面遷移を示す。
情報発信側の端末装置10に画像情報P26bを表示させている状態で(
図17(A1))、情報受信側の端末装置10は、
図16(B)に示した画像情報P27b#を表示させた後、ユーザが画像情報P27b#に相当する位置をタップ操作したことに応じて、
図17(B1)に示すようなランチャー画像P27cを表示させる。このランチャー画像P27cには、「画像を要求しますか?」というメッセージ画像、および情報を要求するか否かを受け付ける画像が含まれる。情報受信側の端末装置10は、画像を要求する「はい」に相当する位置に対するタップ操作を受け付けると、情報発信側の端末装置10から送信されていない画像を要求するリクエストを情報発信側の端末装置10に送信する。
【0117】
情報発信側の端末装置10は、情報発信側の端末装置10から画像を要求するリクエストを受信すると、
図17(A2)に示すようなランチャー画像P26dを表示部100に表示させる。このランチャー画像P27dには、「画像共有を承諾しますか?」というメッセージ画像、および画像共有を承諾するか否かを受け付ける画像が含まれる。この時点において、情報受信側の端末装置10には、画像情報は表示されていない(
図17(B2))。
情報発信側の端末装置10は、画像共有を承諾する「はい」に相当する位置に対するタップ操作を受け付けると、送信させていない画像を情報受信側の端末装置10に送信する。情報発信側の端末装置10は、画像を送信したことに応じて、
図17(A3)に示すように、画像情報P26bを囲うようにハイライト画像26cを表示させる。これにより、情報発信側の端末装置10は、ユーザに画像情報P26bが共有されていることを提示する。
【0118】
情報受信側の端末装置10は、情報発信側の端末装置10から送信された画像情報を受信すると、当該画像を表示部100に表示させる。これにより、情報発信側の端末装置10は、
図17(B3)に示すように、画像情報P27b#における黒画像を、情報発信側の端末装置10から送信された画像情報に置き換えることができる。
【0119】
これにより、情報受信側の端末装置10は、情報発信側の端末装置10から送信されていない情報を表示させることができる。また、情報発信側の端末装置10は、情報の送信が拒否である送信制御情報が設定されていても、ユーザ自身で情報を送信してもよい場合には送信制御情報にかかわらず情報を情報受信側の端末装置10に送信させることができる。
【0120】
なお、情報受信側の端末装置10は、情報発信側の端末装置10から送信された画像を表示させる画面領域と、自装置の画像を表示させる画面領域とを分離してもよい。例えば、情報受信側の端末装置10は、自装置の画像として、電子メールやSNS(Social Networking Service)の画像を表示させることができる。
【0121】
[変形例:タブレット型端末]
なお、これまで端末装置10が、携帯電話やスマートフォンなどである場合を一例にして説明したが、これに限られない。例えば、端末装置10は、タブレットなどの装置であってもよい。ここで、携帯電話やスマートフォンは、耳あて通話用スピーカ131を備えており、耳あて通話が可能である。一方、タブレットは、耳あて通話用スピーカ131を備えていない。すなわち、端末装置10は、耳あて通話用スピーカ131を備えない装置であってもよい。端末装置10がタブレットである場合には、スピーカモードによって通話が行われてもよい。
【0122】
[変形例:テキスト通信中の情報共有]
なお、これまでの説明において、端末間通信システム1は、音声通話中において情報共有機能を提供するとして説明したが、これに限られない。端末間通信システム1は、テキストによる通信中において、情報共有機能を提供してもよい。例えば、端末間通信システム1は、テキストチャットアプリケーションが提供するチャット中に、情報共有機能を提供してもよい。
【0123】
以上、本発明の実施形態及びその変形を説明したが、これらの実施形態及びその変形は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態及びその変形は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態及びその変形は、発明の範囲や要旨に含まれると同時に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【0124】
なお、上述の各装置は内部にコンピュータを有している。そして、上述した各装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
【0125】
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。