IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社リコーの特許一覧

<>
  • 特開-表示システム、プログラム、表示方法 図1
  • 特開-表示システム、プログラム、表示方法 図2
  • 特開-表示システム、プログラム、表示方法 図3
  • 特開-表示システム、プログラム、表示方法 図4
  • 特開-表示システム、プログラム、表示方法 図5
  • 特開-表示システム、プログラム、表示方法 図6
  • 特開-表示システム、プログラム、表示方法 図7
  • 特開-表示システム、プログラム、表示方法 図8
  • 特開-表示システム、プログラム、表示方法 図9
  • 特開-表示システム、プログラム、表示方法 図10
  • 特開-表示システム、プログラム、表示方法 図11
  • 特開-表示システム、プログラム、表示方法 図12
  • 特開-表示システム、プログラム、表示方法 図13
  • 特開-表示システム、プログラム、表示方法 図14
  • 特開-表示システム、プログラム、表示方法 図15
  • 特開-表示システム、プログラム、表示方法 図16
  • 特開-表示システム、プログラム、表示方法 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024060346
(43)【公開日】2024-05-02
(54)【発明の名称】表示システム、プログラム、表示方法
(51)【国際特許分類】
   H04N 21/436 20110101AFI20240424BHJP
   H04N 21/4402 20110101ALI20240424BHJP
【FI】
H04N21/436
H04N21/4402
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2022167665
(22)【出願日】2022-10-19
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100107515
【弁理士】
【氏名又は名称】廣田 浩一
(72)【発明者】
【氏名】浪江 健史
(72)【発明者】
【氏名】飯島 秀晃
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164FA17
5C164PA32
5C164UA04S
5C164UB02P
5C164UB04S
5C164UB41S
5C164UB71P
5C164UD41S
5C164YA11
(57)【要約】
【課題】優先される表示装置に対する送信フレームレートを、他の表示装置よりも高く設定する技術を提供すること。
【解決手段】本発明は、端末装置40と複数の表示装置20が通信可能な表示システム100であって、前記端末装置は、前記複数の表示装置にそれぞれ映像を送信する第一の通信部と、前記複数の表示装置のうち一台以上の表示装置を優先機に設定する優先機設定部と、前記優先機設定部により優先機に設定された表示装置に対する前記映像の送信フレームレートを、優先機でない表示装置よりも高く設定するフレームレート設定部と、を有し、前記複数の表示装置は、前記映像を受信する第二の通信部と、前記第二の通信部が受信した前記映像を出力する出力部と、を有する。
【選択図】図1
【特許請求の範囲】
【請求項1】
端末装置と複数の表示装置が通信可能な表示システムであって、
前記端末装置は、
前記複数の表示装置にそれぞれ映像を送信する第一の通信部と、
前記複数の表示装置のうち一台以上の表示装置を優先機に設定する優先機設定部と、
前記優先機設定部により優先機に設定された表示装置に対する前記映像の送信フレームレートを、優先機でない表示装置よりも高く設定するフレームレート設定部と、を有し、
前記複数の表示装置は、
前記映像を受信する第二の通信部と、
前記第二の通信部が受信した前記映像を出力する出力部と、
を有する表示システム。
【請求項2】
前記表示装置は、
前記映像に対するタッチ操作を受け付ける操作受付部、を有し、
前記第二の通信部は、前記タッチ操作に基づくタッチ信号を前記端末装置に送信し、
前記優先機設定部は、前記第一の通信部がタッチ信号を受信した前記表示装置を前記優先機に設定し、
前記フレームレート設定部は、前記タッチ信号を送信した前記表示装置に対する送信フレームレートを、前記タッチ信号を送信しない前記表示装置よりも高くすることを特徴とする請求項1に記載の表示システム。
【請求項3】
前記端末装置は、
前記端末装置に接続している前記複数の表示装置のリストを表示する表示制御部と、
前記複数の表示装置のリストから任意の表示装置の選択を受け付ける操作受付部と、を有し、
前記優先機設定部は、前記操作受付部が選択を受け付けた前記表示装置を前記優先機に設定し、
前記フレームレート設定部は、前記操作受付部が選択を受け付けた前記表示装置に対する送信フレームレートを、前記操作受付部が選択を受け付けていない前記表示装置よりも高くすることを特徴とする請求項1に記載の表示システム。
【請求項4】
前記端末装置は、
前記優先機設定部が、前記第一の通信部がタッチ信号を受信することで前記優先機に設定した前記表示装置の識別情報を表示する表示制御部を有することを特徴とする請求項1又は2に記載の表示システム。
【請求項5】
前記優先機設定部は、前記第一の通信部がタッチ信号を受信していない時間が閾値以上、継続した場合、前記優先機の設定を解除し、
前記フレームレート設定部は、前記優先機の設定を解除した表示装置に対する送信フレームレートを、解除する前よりも低くすることを特徴とする請求項1又は2に記載の表示システム。
【請求項6】
前記優先機設定部が前記優先機を設定する前、
前記フレームレート設定部は、前記端末装置に接続している前記複数の表示装置に対し均等な送信フレームレートを設定し、
前記優先機設定部が前記優先機を設定した場合、
前記フレームレート設定部は、前記優先機設定部により前記優先機に設定された表示装置に対する送信フレームレートを、均等な送信フレームレートよりも高くすることを特徴とする請求項1に記載の表示システム。
【請求項7】
前記フレームレート設定部は、前記優先機設定部により前記優先機に設定されていない表示装置に対する送信フレームレートを、均等な送信フレームレートよりも低くすることを特徴とする請求項6に記載の表示システム。
【請求項8】
前記優先機設定部は、すでに前記優先機に設定した前記表示装置がある状態で、前記第一の通信部がタッチ信号を受信した場合、同時に優先機に設定可能な前記表示装置の数以下の範囲で、前記タッチ信号を送信した前記表示装置を前記優先機に設定することを特徴とする請求項2に記載の表示システム。
【請求項9】
複数の表示装置が前記優先機に設定された場合、前記フレームレート設定部は、非優先機へ最低限の送信フレームレートを割り当て、前記端末装置における送信フレームレートの最大値からの残りを複数の優先機に均等に割り振ることを特徴とする請求項1に記載の表示システム。
【請求項10】
前記端末装置は、前記第一の通信部が受信する前記タッチ信号に基づいて前記複数の表示装置に対する操作頻度を検出する操作頻度検出部を有し、
前記フレームレート設定部は、前記操作頻度に応じた送信フレームレートを前記複数の表示装置ごとに決定することを特徴とする請求項2に記載の表示システム。
【請求項11】
前記第一の通信部は、アクセスポイントを介して前記複数の表示装置と通信し、前記第二の通信部は前記アクセスポイントを介して前記端末装置と通信することを特徴とする請求項1に記載の表示システム。
【請求項12】
前記第一の通信部は、無線通信で前記複数の表示装置と通信し、前記第二の通信部は無線通信で前記端末装置と通信することを特徴とする請求項1に記載の表示システム。
【請求項13】
複数の表示装置と通信可能な端末装置を、
前記複数の表示装置にそれぞれ映像を送信する第一の通信部と、
前記複数の表示装置のうち一台以上の表示装置を優先機に設定する優先機設定部と、
前記優先機設定部により優先機に設定された表示装置に対する前記映像の送信フレームレートを、優先機でない表示装置よりも高く設定するフレームレート設定部、
として機能させるためのプログラム。
【請求項14】
端末装置と複数の表示装置が通信可能な表示システムが行う表示方法であって、
前記端末装置は、
前記複数の表示装置にそれぞれ映像を送信する処理と、
前記複数の表示装置のうち一台以上の表示装置を優先機に設定する処理と、
優先機に設定された表示装置に対する前記映像の送信フレームレートを、優先機でない表示装置よりも高く設定する処理と、を行い、
前記複数の表示装置は、
前記映像を受信する処理と、
受信した前記映像を出力する処理と、
を行う表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示システム、プログラム、及び表示方法に関する。
【背景技術】
【0002】
スマートフォンやPC(Personal Computer)等の端末装置と、ディスプレイやプロジェクター等の表示装置とが無線通信し、端末装置から表示装置に映像や音声を無線で出力する技術が知られている。また、無線通信により映像や音声だけでなく、表示装置に対しユーザーがタッチしたタッチ信号を表示装置が端末装置に送信することで、表示装置から端末装置を操作する技術も知られている。
【0003】
端末装置と表示装置の双方が映像を再生する場合に、映像の同期を取る技術が考案されている(例えば、特許文献1参照。)。特許文献1には、端末装置は、動画データを符号化データにトランスコードして表示装置に送信するまでにかかるソース処理時間を算出し、表示装置は、符号化データを受信してから復号するまでにかかるシンク処理時間を算出し、ソース処理時間演算部とシンク処理時間との和の分遅延を施す技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術では、端末装置が複数の表示装置と接続している場合に、優先される表示装置に対する送信フレームレートを、他の表示装置よりも高く設定していないという問題がある。例えば、一台の端末装置と複数の表示装置とが、直接又はアクセスポイントを通じて無線で双方向に通信する場合がある。この場合、端末装置は表示装置の数だけ画面データを各表示装置に送信する処理を繰り返すため、端末装置の処理負荷が増大する。端末装置は処理能力が許容する送信フレームレートで各表示装置に画面データを送信するが、表示装置一台当たりの送信フレームレートが低い場合、表示装置をユーザーが操作した場合に遅延が生じる場合があった。
【0005】
本発明は、上記課題に鑑み、優先される表示装置に対する送信フレームレートを、他の表示装置よりも高く設定する技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題に鑑み、本発明は、端末装置と複数の表示装置が通信可能な表示システムであって、前記端末装置は、前記複数の表示装置にそれぞれ映像を送信する第一の通信部と、前記複数の表示装置のうち一台以上の表示装置を優先機に設定する優先機設定部と、前記優先機設定部により優先機に設定された表示装置に対する前記映像の送信フレームレートを、優先機でない表示装置よりも高く設定するフレームレート設定部と、を有し、前記複数の表示装置は、前記映像を受信する第二の通信部と、前記第二の通信部が受信した前記映像を出力する出力部と、を有する。
【発明の効果】
【0007】
優先される表示装置に対する送信フレームレートを、他の表示装置よりも高く設定する技術を提供することができる。
【図面の簡単な説明】
【0008】
図1】端末装置が表示する映像と音声を、複数の表示装置が出力する表示システムの概略動作を説明する図である。
図2】表示システムのシステム構成図の一例である。
図3】表示装置のハードウェア構成を示すブロック図の一例である。
図4】端末装置のハードウェア構成図の一例である。
図5】端末装置と表示装置の機能をブロックに分けて説明する機能ブロック図の一例である。
図6】ユーザー情報記憶部に記憶されたユーザー情報の一例を示す図である。
図7】表示システムが送信フレームレートを変更する処理を説明するシーケンス図の一例である。
図8】端末装置が優先機に設定される表示装置を受け付け、送信フレームレートを変更する処理を説明するフローチャート図の一例である。
図9】端末装置が表示する優先設定受付画面の一例を示す図である。
図10】タッチ操作された表示装置を優先機に設定して、送信フレームレートを変更する処理を説明するフローチャート図の一例である。
図11】端末装置が表示する優先設定表示装置画面の一例を示す図である。
図12】フレームレート設定部が送信フレームレートをどのように変更するかを説明する図である。
図13】端末装置と表示装置の機能をブロックに分けて説明する機能ブロック図の一例である。
図14】フレームレート設定部が、各表示装置の操作頻度を記録する処理を説明するフローチャート図の一例である。
図15】端末装置が表示装置の操作頻度に応じて送信フレームレートを変更する処理を説明するフローチャート図の一例である。
図16】操作頻度に応じた各表示装置の送信フレームレートの決定方法を説明するフローチャート図の一例である。
図17】端末装置と表示装置がN:1の場合のシステム構成例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明を実施するための形態の一例として、表示システムと表示システムが行う表示方法について図面を参照しながら説明する。
【実施例0010】
<処理の概略>
図1は、端末装置40が表示する映像と音声を、複数の表示装置20が出力する表示システム100の概略動作を説明する図である。図1に示すように、一台の端末装置40と複数(図1では三台)の表示装置20とがアクセスポイント8を介して、無線で通信可能である。端末装置40はディスプレイに映像などの画面を表示しており、表示している画面の画面データを三台の表示装置20に送信する。三台の表示装置20は、画面データを受信して表示パネルに表示すると共に、それぞれ表示パネルへのタッチや手書きデータ等を端末装置40に送信している。
【0011】
表示システム100の利用シーンとしては、例えば塾において、教師が端末装置40を使用し、生徒が表示装置20を使用する利用シーンが挙げられる。教師は端末装置40の画面データを生徒と共有しながら、講義を進めることができる。生徒は、課題の回答や質問を表示装置20に入力して、教師と共有できる。また、一人の生徒が表示装置20に入力した手書きデータを、端末装置40と他の生徒の表示装置20が共有できる。
【0012】
この他、会議、商品の説明会、又は、プレゼンテーションなど、説明者が端末装置40を使って、参加者と画面データを共有する種々の利用シーンが考えられる。
【0013】
端末装置40は表示装置20の数だけ画面データを各表示装置20に送信する処理を繰り返すが、端末装置40にはCPUやRAMなどに応じた処理能力の限界があるため、端末装置40と接続する表示装置20の数が多くなると、表示装置20一台当たりの送信フレームレートが低下する。例えば、端末装置40の送信フレームレートの最大値(処理能力の限界)が60fps(Frames Per Second)であり、1台の表示装置20に30fpsで画面データを送信しているとする。この場合、三台の表示装置20が端末装置40に接続すると、1台当たりの送信フレームレートが20fpsとなる。
【0014】
送信フレームレートが低下すると、ユーザーが表示装置20に手書きしたり、タッチ操作したりした場合、ユーザー操作が反映された画面データが各表示装置20に送信されるまでに遅延が生じる。ユーザーから見ると、表示装置20に手書きしたストロークが端末装置40から送信され表示装置20に表示されるまでに時間がかかるように感じる。ユーザーが表示装置20に何らかのボタン操作を行った場合も同様で、ボタン操作が反映された画面データが、端末装置40から送信され表示装置20に表示されるまでに時間がかかるように感じる。このように、端末装置40と接続する表示装置20の数が多い場合に、操作性やユーザビリティが低下する場合があった。
【0015】
特に、有線で通信する場合に比べ、無線通信では帯域が有線に比べて狭く、また、各表示装置20の送信タイミングが衝突するため、データ通信に要する時間が長くなる。
【0016】
そこで、本実施形態の表示システム100では、端末装置40と接続する表示装置20の数が多い場合に、優先機に設定された表示装置20への送信フレームレートを均等な状態よりも高くし、他の表示装置20への送信フレームレートを下げる。優先機に設定された表示装置20とは、例えばユーザーが操作中である表示装置20、又は、ユーザーが端末装置40から指定した表示装置20である。
【0017】
図1では、端末装置40が均等状態である20fpsで各表示装置20A~20Cに画面データを送信している。以下、表示装置20A~20Cのうち任意の表示装置を「表示装置20」という。表示装置20Bをユーザーがタッチ操作した。表示装置20Bはタッチ信号を端末装置40に送信する。端末装置40は、表示装置20Bに送信する画面データの送信フレームレートを均等状態である20fpsより高くし、表示装置20A,20Cに送信する画面データの送信フレームレートを均等状態より小さくする。
【0018】
こうすることで、端末装置40と接続する表示装置20の数が多い場合に、ユーザーが操作している表示装置20について操作性やユーザビリティの低下を抑制できる。
【0019】
なお、端末装置40が表示装置20に送信する音声データについては、映像と比べると必要な帯域が小さいので、表示装置20の数に関係なく、一定の送信速度[bps]で送信してよい。しかし、端末装置40は、音声データについても映像と同様に、優先される表示装置20への音声データの送信速度を高くしてよい。
【0020】
<用語について>
送信フレームレート(fps)とは、端末装置40が1秒間当たりに、表示装置20に送信する画面データの数である。
【0021】
均等状態の送信フレームレートとは、端末装置40の送信フレームレートの最大値を各表示装置20に均等に割り振った送信フレームレートである。すなわち、均等状態は、各表示装置20の送信フレームレートに強弱が付けられていない状態である。
【0022】
通常状態の送信フレームレートとは、操作性やユーザビリティの低下をユーザーが感じにくい状態で操作できる送信フレームレートである。通常状態の送信フレームレートは予め設定されている。端末装置40は、送信フレームレートの最大値よりも、「接続している表示装置20の数×通常状態の送信フレームレート」が大きくなると、均等状態で送信する。
【0023】
優先機とは、送信フレームレートが優先して高くされるべき表示装置20である。優先機は、例えば、ユーザーが操作する可能性が高い表示装置20、又は、操作している表示装置20である。
【0024】
<システム構成例>
図2を参照して、表示システム100のシステム構成例を説明する。図2は、表示システム100のシステム構成図を示す。端末装置40と表示装置20は、無線により通信することが可能である。無線の通信方式とは、例えばWi-Fiダイレクト(登録商標)、Bluetooth(登録商標)などであるが、通信方式は特に制限しない。また、通信方式は、1対1通信(P2P)でなく、アクセスポイント8(Wi-Fiルータ)を経由した通信でもよい。あるいは、端末装置40と表示装置20が同じサーバ装置を経由して通信してもよい。この場合、端末装置40と表示装置20がサーバ装置で対応付けられており、サーバ装置は端末装置40からの映像と音声を表示装置20に送信し、表示装置20からのタッチ信号を端末装置40に送信する。
【0025】
また、端末装置40と表示装置20との無線通信を可能にする通信規格として、Miracast ,Google Cast, Airplay(いずれも登録商標。以下、登録商標の記載を省略する。)等が知られている。端末装置40と表示装置20はこれら通信規格又は通信規格を改良した通信方式で通信できる。例えば、Miracastは、Wi-Fi Allianceによって策定された、1対1の無線通信によるディスプレイ伝送技術である。ストリーミング技術を用いてホストの画像、音声、動画を、無線でペアリングされた別のデバイスに送ることができる。専用のケーブルで接続するディスプレイ表示をワイヤレス化する技術であり、例えばHDMI(登録商標)が実現している機能を無線化しているため、ワイヤレスHDMI(登録商標)と呼ばれることもある。
【0026】
また、端末装置40及び表示装置20の接続は、HDMI(High Definition Multimedia Interface,HDMIは登録商標)、DisplayPort(登録商標)、Thunderbolt(登録商標)などの有線の映像出力インターフェースを介して行ってもよい。
【0027】
端末装置40は、例えば、ユーザーが使用するPC40a(デスクトップPC、ノート型PC等)、スマートフォン40b、タブレット端末等である。端末装置40は無線通信に対応したアプリケーション及び映像を再生するアプリケーションなどを実行できればよい。端末装置40は、主にユーザーが携帯できるものであるが、据え置き型であってもよい。端末装置40は汎用的な構成でよく、特別なハードウェアや本実施形態に専用のアプリケーションのインストール等は必要でない。ただし、本実施形態の表示装置20に専用のアプリケーションがインストールされると、ユーザーの利便性が更に向上する。
【0028】
また、端末装置40のように出力の対象となるコンテンツ(ソース)を送信する機器をソース機器という。ソース機器は特定の機器をいうのでなく、コンテンツの送信元をいう。同様に、表示装置20のように出力の対象となるコンテンツを受信する機器をシンク機器という。シンク機器は特定の機器をいうのでなく、コンテンツの送信先をいう。したがって、端末装置40がシンク機器となることもできるし、表示装置20がソース機器となることもできる。
【0029】
表示装置20は、例えば、液晶や有機ELなどのディスプレイ20a、PC20b(ディスプレイ一体型)、テレビ受像機20c、セットトップボックス20d、プロジェクター20e、又は、無線通信装置20fなど、である。表示装置20は、少なくとも無線通信機能を有すればよいが、更に表示手段を有する場合がある。ディスプレイ20a、PC20b、テレビ受像機20c、プロジェクター20eは、表示手段を有しており、セットトップボックス20dと無線通信装置20fは表示手段を有していない。
【0030】
表示装置20(無線通信装置20fを除く)は、無線通信機能を内蔵していてもよいし、無線通信機能が外付けされていてもよい。無線通信装置20fは無線通信機能そのものなので、無線通信装置20fを除く表示装置20に、無線通信装置20fが外付けされる場合がある。例えば、無線通信機能を内蔵していないディスプレイ20a、PC20b、テレビ受像機20c、セットトップボックス20d、プロジェクター20eのUSB I/Fに無線通信装置20fが接続されることで、これらが端末装置40との無線通信が可能になる。ディスプレイ20a、PC20b、テレビ受像機20c、セットトップボックス20d、又はプロジェクター20eに無線通信装置20fが接続された状態を無線映像表示システムという場合がある。
【0031】
なお、セットトップボックス20dとしては、例えばケーブルテレビの受信機や衛星放送の受信機が知られている。無線通信装置20fとして、上記のMiracast, Google Cast, Airplayに対応した装置、スティック型PC等が知られている。
【0032】
表示装置20には、無線通信に対応したアプリケーション又はその機能が予め搭載されているか、又は、インストールが可能である。機能の一部又は全部がハードウェア回路で実現されてもよい。
【0033】
また、表示装置20はタッチパネルを有することが好ましい。表示装置20は、自機に対しユーザーがタッチしたタッチ信号を無線で端末装置40へ送信し、ユーザーが表示装置20上で端末装置40を操作することを可能にする。
【0034】
<ハードウェア構成例>
図3図4を参照し、表示装置20と端末装置40のハードウェア構成について説明する。
【0035】
<<表示装置>>
図3は、一実施形態に係る表示装置20のハードウェア構成を示すブロック図である。図3に示す表示装置20は、筐体(図示省略)の前面に表示パネル102を有し、端末装置40から無線通信又は映像信号変換ケーブル110を介して映像信号を受信することにより、当該映像信号に応じた映像を表示パネル102によって表示することが可能な装置である。なお、表示装置20は、バッテリ108を内蔵し、かつ、可搬性を有する薄型の表示装置20である。このため、表示装置20は、端末装置40と共に持ち運ばれて、使用時に端末装置40と接続されることにより、端末装置40の拡張ディスプレイとして利用可能である。
【0036】
例えば、表示装置20は、営業担当者によって、営業先でのプレゼンテーション用の拡張ディスプレイとして利用可能である。また、例えば、表示装置20は、PC等の端末装置40と共に、オフィスワーク用のダブルディスプレイとして利用可能である。また、例えば、表示装置20は、個人がオフィス外で使用するスマートフォンと接続されることにより、動画観賞用あるいは在宅ワーク用の拡張ディスプレイとして利用可能である。
【0037】
図3に示すように、表示装置20は、制御部101、表示パネル102、通信I/F103(Interface)、UI(User Interface)104、スピーカ109、USB I/F(Interface)105、電源部107、及びバッテリ108を有する。
【0038】
制御部101は、表示装置20の全体の動作を制御する。例えば、制御部101は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を備えたIC(Integrated Circuit)等の制御回路によって実現される。
【0039】
表示パネル102は、制御部101から供給される映像信号に応じた各種画像(動画、静止画等)を表示する。表示パネル102としては、例えば、液晶パネル、有機EL(Electro Luminescence)パネル等が用いられる。表示パネル102の前面には表示パネル102に重ねてタッチセンサ102aが設けられている。スピーカ109は、制御部101から供給される音声信号に応じた各種音声を出力する。
【0040】
通信I/F103は、端末装置40との無線通信接続及び無線通信を制御するインターフェースである。通信I/F103は、端末装置40(例えば、ノートパソコン、スマートフォン等)と無線通信接続され、端末装置40との間で、制御信号、映像信号等の送受信(無線通信)を行う。通信I/F103が使用する無線通信規格としては、例えば、Wi-Fi等が用いられる。
【0041】
ハードキー104は、ユーザーによって操作されることにより、ユーザーからの入力を受け付けるインターフェースである。例えば、表示装置20は、ハードキー104として、筐体の側面、筐体の前面等に設けられた複数のボタンを備える。これらのボタンは、例えば、電源ボタン、選択ボタン、確定ボタン、戻るボタン等である。但し、これに限らず、表示装置20は、ハードキー104として、例えば、画面への操作を無効化するスクリーンミュートアイコンをハードキーで実現するスクリーンミュートキーを備えてもよい。例えば、表示装置20は、ユーザー操作によってハードキー104が操作されることにより、電源のオン及びオフ、輝度及びコントラスト等の各種設定を行うことができる。
【0042】
USB I/F105は、端末装置40を接続するためのインターフェースである。USB I/F105は、USB規格に準拠したUSBポート105A(「接続手段」の一例)を有しており、当該USBポート105Aに対し、映像信号変換ケーブル110等のUSBケーブルが接続される。これにより、USB I/F105は、USBケーブルを介して、端末装置40と接続される。例えば、USB I/F105は、端末装置40として端末(例えば、ノートパソコン、スマートフォン等)が接続された場合、当該端末との間で、制御信号、映像信号、電力等の送受信を行うことができる。また、例えば、USB I/F105は、端末装置40として外部電源が接続された場合、当該外部電源から供給される電力を受電することができる。
【0043】
なお、表示装置20は、複数のUSB I/F105を備えており、複数のUSB I/F105の各々に対し、端末装置40を接続することができる。図3に示す例では、表示装置20は、2つのUSB I/F105を備えている。但し、これに限らず、表示装置20は、3つ以上のUSB I/F105を備えてもよい。
【0044】
電源部107は、表示装置20の各部に対する駆動用の電力の供給を制御する。例えば、電源部107は、端末装置40(外部電源、端末等)から電力が供給されない場合、又は、端末装置40(外部電源、端末等)から供給される電力が不足している場合、バッテリ108に蓄電されている電力を、表示装置20の各部に供給することができる。また、例えば、電源部107は、端末装置40(外部電源、端末等)から電力が供給される場合、端末装置40から供給される電力を、表示装置20の各部に供給することができる。また、例えば、電源部107は、一のUSB I/F105に接続された端末装置40(外部電源、端末等)から供給される電力をパススルーして、他のUSB I/F105に接続された端末装置40(端末等)に供給することができる。
【0045】
バッテリ108は、表示装置20の駆動用の電力を蓄電する。バッテリ108には、充電可能な各種二次電池(例えば、リチウムイオン電池、リチウムポリマー電池等)が用いられる。なお、表示装置20(例えば、電源部107)は、USB I/F105に接続された端末装置40(外部電源、端末等)から供給される電力により、バッテリ108を充電することができる。
【0046】
<<端末装置>>
図4は、端末装置40のハードウェア構成図である。図4では、端末装置40としてスマートフォンを例にして説明する。図4に示されているように、端末装置40は、CPU401、ROM402、RAM403、EEPROM404、CMOSセンサ405、撮像素子I/F406、加速度・方位センサ407、メディアI/F409、GPS受信部411を備えている。
【0047】
これらのうち、CPU401は、端末装置40全体の動作を制御する。ROM402は、CPU401やIPL等のCPU401の駆動に用いられるプログラムを記憶する。RAM403は、CPU401のワークエリアとして使用される。
【0048】
EEPROM404は、CPU401の制御にしたがって、端末装置40用プログラム等の各種データの読み出し又は書き込みを行う。
【0049】
CMOS(Complementary Metal Oxide Semiconductor)センサ405は、CPU401の制御にしたがって被写体(主に自画像)を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、CMOSセンサは、CCD(Charge Coupled Device)センサ等の撮像手段であってもよい。
【0050】
撮像素子I/F406は、CMOSセンサ405の駆動を制御する回路である。加速度・方位センサ407は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。
【0051】
メディアI/F409は、フラッシュメモリ等の記録メディア408に対するデータの読み出し又は書き込み(記憶)を制御する。GPS受信部411は、GPS衛星からGPS信号を受信する。
【0052】
また、端末装置40は、遠距離通信回路412、CMOSセンサ413、撮像素子I/F414、マイク415、スピーカ416、音入出力I/F417、ディスプレイ418、外部機器接続I/F(Interface)419、近距離通信回路420、近距離通信回路420のアンテナ420a、及びタッチパネル421を備えている。
【0053】
これらのうち、遠距離通信回路412は、有線又は無線のネットワークを介して、他の機器と通信する回路である。遠距離通信回路412は、Wi-Fi等による無線通信が可能である。CMOSセンサ413は、CPU401の制御にしたがって被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。
【0054】
撮像素子I/F414は、CMOSセンサ413の駆動を制御する回路である。マイク415は、音を電気信号に変える内蔵型の回路である。
【0055】
スピーカ416は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力I/F417は、CPU401の制御にしたがってマイク415及びスピーカ416との間で音信号の入出力を処理する回路である。
【0056】
ディスプレイ418は、被写体の画像や各種アイコン等を表示する液晶や有機EL(Electro Luminescence)などの表示手段の一種である。外部機器接続I/F419は、各種の外部機器を接続するためのインターフェースである。
【0057】
近距離通信回路420は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。タッチパネル421は、利用者がディスプレイ418を押下することで、端末装置40を操作する入力手段の一種である。
【0058】
また、端末装置40は、バスライン410を備えている。バスライン410は、図4に示されているCPU401等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0059】
<機能について>
次に、図5を参照して、端末装置40と表示装置20の機能について説明する。図5は、端末装置40と表示装置20の機能をブロックに分けて説明する機能ブロック図である。
【0060】
<<端末装置>>
端末装置40は、再生部41、表示制御部42、操作受付部43、通信部44、画面データ取得部45、優先機設定部46、フレームレート設定部47、認証部48、及び、ユーザー情報記憶部49を有している。音出力装置10が有するこれら各機能部は、端末装置40にインストールされた1以上のプログラムに含まれる命令を図4に示したCPU401が実行することで実現される機能又は手段である。このプログラムは、例えば、再生アプリ301とミラーリングアプリ302である。再生アプリ301は各種コンテンツを再生するアプリであるが、端末装置40はディスプレイに表示されている画面そのものを送信できるので、再生アプリ301はなくてもよい。また、ミラーリングアプリ302は、ディスプレイに表示されている画面を取得して(キャプチャして)表示装置20に送信するアプリである。再生アプリ301とミラーリングアプリ302が一体でも支障はない。ユーザー情報記憶部49は、図4に示したEEPROM404、RAM403等により構築される。
【0061】
再生部41は、映像特有のデータ形式となっている映像をデコードしたり伸張したりして、フレーム(1画面分の画像)に再構成する。再生部41は、画像の解像度を表示パネルの解像度に合わせて変更したり、フレームを補間したりする処理を行うこともできる。
【0062】
表示制御部42は、再生部41が生成したフレームを表示パネル102に表示させる。表示制御部42がフレームを表示するフレームレートは再生部41がフレームを再生する速度と同じでよい。このフレームレートは、例えば30fps~120fps等である。本実施形態では、再生側のフレームレートは変更されないものとして説明するが、例えば、接続する表示装置20の数が一定数を超えた場合に再生のフレームレートを下げてもよい。
【0063】
操作受付部43は、再生アプリ301に対するユーザーの操作を受け付ける。例えば、操作受付部43は、映像の再生開始、停止、一定秒数戻る、一定秒数進む、音量、又は、輝度など、映像の再生に関する操作である。操作受付部43は、ユーザーが優先機に設定する表示装置20の選択を受け付ける。操作受付部43は、通信部44が表示装置から受信したタッチ信号により同様の操作を受け付ける。
【0064】
画面データ取得部45は、所定の速度(1秒間当たりの回数)でディスプレイに表示された画面の全体、又は、画面の一部(再生アプリのコンテンツ部分、任意のアプリ、ユーザー選択範囲)を画面データとして取り込む(キャプチャする)。
【0065】
通信部44(第一の通信部の一例)は、画面データ取得部45が取得した画面データを繰り返し、複数の表示装置20にそれぞれ送信する。通信部44が、1つの表示装置20に画面データを送信する速度(1秒間当たりに送信する画面データの数)を送信フレームレートという。
【0066】
優先機設定部46は、送信フレームレートを優先的に高くする表示装置20(これを優先機という)を決定する。決定方法としては、ユーザーが選択する方法と、表示装置20に対するタッチ操作を利用する方法がある。
【0067】
端末装置40の送信フレームレートの最大値が60fps、一台当たりの送信フレームレートが通常状態が30fpsであるとする。この場合、通信部44は、以下(i)(ii)(iii)を繰り返すことで画面データを各表示装置20に送信する。
【0068】
・表示装置20が一台
(i) 表示装置20Aに送信(30fps)
60-30fpsの余裕分の時間は、待機時間となる。
【0069】
・表示装置20が二台
(i) 表示装置20Aに送信(30fps)
(ii) 表示装置20Bに送信(30fps)
・表示装置20が三台
(i) 表示装置20Aに送信(20fps)
(ii) 表示装置20Bに送信(20fps)
(iii) 表示装置20Cに送信(20fps)
このように、通信部44は、送信フレームレートの最大値を均等に各表示装置20に割り振って、画面データを送信する。
【0070】
フレームレート設定部47は、通常状態の送信フレームレートを維持できていない場合に、優先機に設定された表示装置20への送信フレームレートを均等状態よりも高くする。換言すると、フレームレート設定部47は、通常状態の送信フレームレートを維持できない場合に、優先機に設定された表示装置20への送信フレームレートを、優先機に設定されていない表示装置20への送信フレームレートよりも高くする。優先機に設定されていない表示装置20への送信フレームレートは均等状態よりも低くなる。
【0071】
認証部48は、予め登録されているユーザー情報に基づいて、表示装置20のユーザーを認証する。認証方法は、例えばユーザーIDとパスワードでよいが、生体認証などどのような方法で認証してもよい。また、認証サーバが別途用意されており、表示装置20は認証サーバによる認証結果を用いて端末装置40と接続してもよい。
【0072】
図6は、ユーザー情報記憶部49に記憶されたユーザー情報の一例を示す。ユーザー情報記憶部49には、ユーザーID、パスワード、ユーザー名、IPアドレス、及び、優先機などの項目が登録されている。ユーザーIDの項目は、ユーザーを一意に識別する識別情報が格納される。パスワードの項目は、ユーザー本人であることを証明する秘匿情報が格納される。ユーザー名の項目は、ユーザーの氏名やニックネームなどが格納される。IPアドレスの項目は、ユーザーが端末装置40に接続させた表示装置20のIPアドレスが格納される。優先機の項目は、現在、表示装置20が優先機に設定されているか否かが格納される。
【0073】
<<表示装置>>
続いて、表示装置20について説明する。表示装置20の機能は、主に3階層となっており、下からハードウェア制御部30、OS25(Operating System)、無線接続アプリケーション31、となっている。なお、OS25上で動作するアプリケーションとしては他にもあるが、本実施形態の説明に主要なアプリケーションのみを示した。
【0074】
ハードウェア制御部30は、タッチ制御部26、無線制御部27、画像音声制御部28、及び、電源制御部29を有している。ハードウェア制御部30が有するこれらの各機能は、例えば、デバイスドライバにより実現されてよい。
【0075】
タッチ制御部26は、タッチセンサ102aからの信号入力を座標(表示パネル102の例えば左上コーナーを原点とするX,Y座標)に変換し、OS25に送出する。タッチ制御部26は、更に、信号入力をタッチされた面積に変換したり、信号入力に含まれる圧力に変換したりしてOS25に送出してもよい。
【0076】
無線制御部27は、通信I/F103が受信する無線通信の電波に対し、フィルタリング、増幅、復調、A/D変換等を行いデジタル信号に変換し、通信プロトコルにしたがってデカプセル化を行い、データを取り出す。無線制御部27は、データをOS25に送出する。このデータが端末装置40からの映像データと音声データである。また、無線制御部27は、OS25からデータを取得し、通信プロトコルにしたがったデータのカプセル化、D/A変換、変調、増幅、を行い、通信I/F103から無線通信の電波を送信する。このデータがタッチ信号である。
【0077】
画像音声制御部28は、OS25から取得した映像データをRGBなどの表示パネル102が対応するフォーマットに変換し、ビデオメモリに保存する。画像音声制御部28はビデオメモリから取得した映像データにしたがって表示パネル102の各セルに電圧を与える。また、画像音声制御部28は、OS25から取得した音声データで差動信号を生成し、スピーカのプラス端子とマイナス端子に出力する。
【0078】
電源制御部29は、OS25からのシャットダウン処理、又は、電源スイッチや外部電源の入力状況に応じてバッテリからの電力供給、又は、外部電源からの電力供給を制御する。外部電源からの電源に余裕がある場合、電源制御部29は、バッテリを充電する。電源制御部29は、バッテリの残電力量を管理する。電源制御部29は、無操作時間に応じて表示パネル102への電力供給を停止したり、操作の検出に応じて表示パネル102への電力供給を再開したりする。
【0079】
無線接続アプリケーション31は、通信部21、操作受付部22及び出力部23を有している。無線接続アプリケーション31が有する各機能は、無線接続アプリケーション31に含まれる命令を制御部101が有するCPUが実行することで実現される機能又は手段である。
【0080】
出力部23は、端末装置40から無線制御部27が受信した映像データ及び音声データ(少なくとも一方)をOS25から取得し、これらの画像音声制御部28による出力を制御する。出力部23は、端末装置40からの映像をソース映像表示レイヤーに表示し、音声をスピーカ109から出力する。
【0081】
通信部21(第二の通信部の一例)は、無線制御部27に対しSSID(Service Set Identifier)と暗号キーを送出し、端末装置40との無線通信の開始、通信の維持、及び、通信の終了を指示する。通信部21は、端末装置40と直接、通信することもできるし、アクセスポイント8を介して端末装置40と通信することもできる。
【0082】
操作受付部22は、アイコンに対するタッチ操作及び端末装置40からの映像に対するタッチ操作を受け付ける。操作受付部22は、タッチ座標がアイコンの外接矩形内にあればアイコンの押下を受け付け、タッチ座標がアイコンの外接矩形でなく映像の表示範囲にあれば端末装置40への操作(手書き入力、ボタン操作等)を受け付ける。
【0083】
端末装置40への操作の場合、通信部21がタッチ信号を端末装置40に送信する。タッチ信号は、表示装置20におけるタッチ座標が、端末装置40のディスプレイ(映像)における座標に変換されたものである。変換後の座標は、例えば、表示装置20における映像の幅に対するX座標の比、高さに対するY座標の比である。
【0084】
<動作又は処理>
<<全体の流れ>>
まず、図7を参照して、表示システム100の処理の全体的な流れを説明する。図7は、表示システム100が送信フレームレートを変更する処理を説明するシーケンス図である。
【0085】
S101~S103:端末装置40の通信部44は、接続している表示装置20A~20Cにそれぞれ所定の送信フレームレートで画面データを送信する。所定の送信フレームレートは例えば均等状態の送信フレームレートである。表示装置20A~20Cの通信部44は、それぞれ画面データを受信し、出力部23が表示パネル102に画面データを表示する。
【0086】
S104:端末装置40のユーザーが後述する優先設定受付画面200で優先機を設定する場合、優先機設定部46は、ユーザーが選択した表示装置20を優先機に設定する。
【0087】
S105:表示装置20のユーザーによるタッチ操作で優先機が設定される場合、表示装置20のユーザーが任意の表示装置20(ここでは表示装置20A)をタッチ操作する。
【0088】
S106:表示装置20Aの操作受付部22が操作を受け付け、通信部21がタッチ信号と表示装置20の識別情報(例えばIPアドレス、ユーザーID、ユーザー名など)を端末装置40に送信する。
【0089】
S107:端末装置40の通信部44がタッチ信号と表示装置20Aの識別情報を受信し、優先機設定部46が表示装置20Aを優先機に設定する。
【0090】
S108:フレームレート設定部47は、表示装置20A~20Cの送信フレームレートを設定する。詳細は後述する。
【0091】
S109~S111:端末装置40の通信部44は、接続している表示装置20A~20Cにそれぞれ設定された送信フレームレートで画面データを送信する。
【0092】
以下では、ステップS104、S105~S107の処理について詳細に説明する。
【0093】
<<端末装置が優先機の設定を受け付ける場合>>
図8を参照し、端末装置40が表示装置20の優先機の設定を受け付ける場合を説明する。図8は、端末装置40が優先機に設定される表示装置20を受け付け、送信フレームレートを変更する処理を説明するフローチャート図である。
【0094】
端末装置40と表示装置20が無線通信を開始する方法として、端末装置40から表示装置20に接続する方法と、表示装置20から端末装置40に接続する方法がある。なお、端末装置40と表示装置20はアクセスポイント8に接続済みである。端末装置40から表示装置20に接続する場合、表示装置20が表示するQRコード(登録商標)を端末装置40が撮像する。QRコードには表示装置20のIPアドレスやパスワードが含まれており、端末装置40が表示装置20に接続できる。表示装置20から端末装置40に接続する場合、各表示装置20が端末装置40のWebサーバ機能にアクセスしてログインする。あるいは、表示装置20の各ユーザーは、電子メールなどで受信したURLをタップすることで表示装置20に接続してもよい。URLにはユーザーIDやパスワードが対応付けられており、端末装置40はどのユーザーの表示装置20が接続されたのか検出する。
【0095】
フレームレート設定部47は、ユーザー情報記憶部49に表示装置のIPアドレスが登録されたり、削除されたりすると、端末装置40に接続する表示装置20の数の増減を検出する(S1)。フレームレート設定部47は端末装置40に接続する表示装置20の数が閾値以上か否かを更に判断してよい。閾値は、端末装置40が通常状態の送信フレームレートを維持できない、表示装置20の数である。通信帯域は有線接続と無線接続で異なるので、この閾値は有線接続と無線接続で行ってよい。
【0096】
端末装置40と接続する表示装置20の数が増えても、一台当たりの送信フレームレートが通常状態(例えば30fps)である場合、端末装置40は優先機に設定された表示装置20への送信フレームレートを通常状態のまま維持すればよい。
【0097】
端末装置40に接続する表示装置20の数に増減があった場合、フレームレート設定部47は各表示装置20に対する送信フレームレートを設定する(S2)。フレームレート設定部47は、各表示装置20の送信フレームレートが均等になるように各表示装置20の送信フレームレートを設定する。均等状態の送信フレームレートは、送信フレームレートの最大値を、端末装置40に接続する表示装置20の数で割った値である。
【0098】
なお、すでに優先機が設定されている状態で表示装置20の数が増減した場合は、フレームレート設定部47は、優先機の送信フレームレートはそのままに、送信フレームレートの最大値のうち残りの送信フレームレートを増減後の表示装置20に均等に割り振る。
【0099】
端末装置40のユーザーは、表示装置20を優先的に操作できる表示装置20を指定することができる。操作受付部43は優先機の設定を受け付けたか否か判断する(S3)。図9に優先設定受付画面200の一例を示す。端末装置40のユーザーは例えば回答者に指名した生徒の表示装置20を選択する。
【0100】
端末装置40のユーザーは、すでに優先機に設定されている表示装置20に対する優先機の設定を解除することもできる。操作受付部43が優先機の設定又はその解除を受け付けない場合、処理はステップS1に戻る。
【0101】
操作受付部43が優先機の設定を受け付けた場合、優先機設定部46は、指定された表示装置20を優先機に設定する(S4)。操作受付部43が優先機の設定の解除を受け付けた場合、優先機設定部46は、指定された表示装置20に対する優先機の設定を解除する。優先機設定部46は、ユーザー情報記憶部の優先機の項目を更新する。
【0102】
次に、フレームレート設定部47は、優先機である表示装置20の送信フレームレートを均等状態の送信フレームレートより高くする(S5)。優先機への送信フレームレートは、好ましくは通常状態である。この場合、非優先機の表示装置20の送信フレームレートは、優先機である表示装置20の送信フレームレートが高くなった分だけ、均等状態より低くなる。フレームレート設定部47は、優先機の送信フレームレートを通常状態よりも速くしてもよいし、通常状態を上限としてもよい。
【0103】
また、フレームレート設定部47は、優先機の設定が解除された表示装置20の送信フレームレートを低くする。すなわち、優先機が一台もない場合は、優先機の設定が解除された表示装置20の送信フレームレートは均等状態でよい。優先機が一台以上残っている場合は、優先機の送信フレームレートはそのままに、送信フレームレートの最大値のうち残りの送信フレームレートを増減後の表示装置20に均等に割り振る。
【0104】
これにより、タッチ操作を受け付ける可能性が高い表示装置20は、タッチ操作が反映された画面データをすぐに表示できるので、操作感を向上させることができる。ユーザーがタッチ操作などを行っていない表示装置20は、ユーザーが操作していないので、送信フレームレートが低下しても特に違和感を生じることが少ない。
【0105】
図9は、端末装置40が表示する優先設定受付画面200の一例を示す。図9(a)は優先機が設定される前の優先設定受付画面200であり、図9(b)は優先機が設定された後の優先設定受付画面200である。優先設定受付画面200は、「優先設定又は解除する表示装置を選択して下さい」というメッセージ201と、端末装置40に接続している表示装置20のリストとして、表示装置20のユーザー名202が表示されている。端末装置40のユーザーは優先機に設定したい表示装置20のユーザー名を押下する。
【0106】
図9(b)に示すように、表示装置20のユーザーが押下したユーザー名が強調表示されることで、優先機に設定中である旨が示される。端末装置40のユーザーはどのユーザーの表示装置20を優先機に設定したかを容易に判断できる。
【0107】
また、端末装置40のユーザーは、優先機に設定されている表示装置20のユーザー名を再度、押下することで、すでに優先機に設定した表示装置20の優先機の設定を解除できる。
【0108】
端末装置40のユーザーが複数の表示装置20について優先機に設定する場合について補足する。端末装置40のユーザーは、複数の表示装置20を優先機に設定できる。ただし、優先機に設定される表示装置20の数が多くなりすぎると、優先機の設定の効果が低下するので、フレームレート設定部47は、同時に優先機に設定可能な表示装置20の数を予め保持している。同時に優先機に設定可能な表示装置20の数は、端末装置40の送信フレームレートの最大値に応じて予め決定されているものとする。
【0109】
フレームレート設定部47は、複数の優先機に対し好ましくは通常状態の送信フレームレートを設定する。これにより、非優先機への最低限の送信フレームレートを維持できない場合、フレームレート設定部47は、非優先機への最低限の送信フレームレートを割り当て、送信フレームレートの最大値の残りを複数の優先機に均等に割り振る。
【0110】
操作受付部43は同時に優先機に設定可能な表示装置20の数以下の範囲で、優先機に設定する表示装置20を受け付ける。例えば同時に優先機に設定可能な表示装置20の数が2つの場合、端末装置40のユーザーが3つ目の表示装置20のユーザー名を押下しても、受け付けない。表示制御部42は例えば「すでに同時に優先設定可能な表示装置20の数に達しています」等のエラーメッセージを表示する。あるいは、優先機設定部46は、最も早く優先機に設定した表示装置20の設定を解除して、操作受付部43は、新たに押下された表示装置20を優先機に設定する操作を受け付けてもよい。
【0111】
<<タッチ操作された表示装置を優先機に設定する場合>>
次に、図10を参照し、端末装置40が、タッチ操作された表示装置20を優先機に設定する場合を説明する。図10は、タッチ操作された表示装置20を優先機に設定して、送信フレームレートを変更する処理を説明するフローチャート図である。まず、ステップS11、S12の処理は、図8のステップS1、S2と同様でよい。
【0112】
表示装置20のいずれかでタッチ操作が行われた場合、表示装置20の識別情報と共に、端末装置40にタッチ信号が送信される(S13)。端末装置40の通信部44は、表示装置20の識別情報とタッチ信号を受信することで、タッチ操作された表示装置20を特定する。タッチ操作とは、ユーザーの指又はペンが表示パネル102にタッチしてから(ペンダウン)離隔する(ペンアップ)までをいう。
【0113】
通信部44がタッチ信号を受信した場合(S13のYes)、優先機設定部46は、識別情報で特定される表示装置20を優先機に設定する(S14)。タッチ操作により、優先機に設定された表示装置20を端末装置40が優先設定表示装置画面210にて表示することができる。図11に優先設定表示装置画面210の一例を示す。
【0114】
次に、フレームレート設定部47は、優先機である表示装置20の送信フレームレートを均等状態の送信フレームレートより高くする(S15)。この場合、非優先機である表示装置20の送信フレームレートは、優先機に設定された表示装置20の送信フレームレートが高くなった分だけ、均等状態より低くなる。フレームレート設定部47は優先機の送信フレームレートを、通常状態よりも速くしてもよいし、通常状態を上限にしてもよい。
【0115】
通信部44がタッチ信号を受信しない場合(S13のNo)、フレームレート設定部47は、タッチ信号を継続して受信していない時間が閾値超か否か判断する(S16)。この判断は、表示装置20ごとに行われる。つまり、すでに優先機に設定された表示装置20について、タッチ信号を継続して受信していない時間が閾値超か否か判断される。ステップS16の判断がNoの場合、処理はステップS11に戻る。閾値は予め定められたものでもよいし、端末装置40のユーザーが設定できてもよい。
【0116】
ステップS16の判断がYesの場合、フレームレート設定部47は、タッチ信号を継続して閾値超の間、送信しない表示装置20に対する優先機の設定を解除する(S17)。
【0117】
次に、フレームレート設定部47は、優先機の設定が解除された表示装置20の送信フレームレートを低くする(S18)。この処理は図8のステップS5と同様でよい。
【0118】
図11は、端末装置40が表示する優先設定表示装置画面210の一例を示す。優先設定表示装置画面210は、端末装置40のユーザー操作に応じて、又は、新たな優先機の設定若しくは解除に応じて自動的に表示される。
【0119】
優先設定表示装置画面210は、「現在、優先設定されている表示装置20は以下のとおりです」というメッセージ211と、端末装置40に接続している表示装置20のユーザー名212が表示されている。優先機である表示装置20のユーザー名が強調表示されることで、優先機に設定中である旨が示される。端末装置40のユーザーはどのユーザーの表示装置20が優先機であるかを容易に判断できる。
【0120】
なお、優先設定表示装置画面210において、端末装置40のユーザーが表示装置20を優先機に設定したり、優先機の設定を解除できたりしてもよい。
【0121】
複数の表示装置20でタッチ操作される場合について補足する。表示装置20のユーザーは任意のタイミングでタッチ操作することができる。この場合、フレームレート設定部47は、同時に優先機に設定可能な表示装置20の数以下の範囲で、表示装置20を優先機に設定する。優先機設定部46は、同時に優先機に設定可能な表示装置20の数以下の範囲で、優先機に設定する表示装置20を受け付ける。例えば同時に優先機に設定可能な表示装置20の数が2つの場合、3つ目の表示装置20からタッチ信号を受信しても、受け付けない。あるいは、優先機設定部46は、最も早く優先機に設定した表示装置20の設定を解除して、新たにタッチ信号を送信した表示装置20を優先機に設定してもよい。
【0122】
すでに優先機に設定されている表示装置20の設定を解除するか否かを、優先機設定部46は、優先機に設定した回数に応じて決定してもよい。優先機設定部46は、表示装置20ごとに優先機に設定した回数を記録しておき、タッチ信号を送信した表示装置20の回数が、すでに優先機に設定されている表示装置20の回数より一定数以上少ない場合、すでに優先機に設定されている表示装置20の設定を解除する。こうすることで、同じ表示装置20のみが偏って優先機に設定されることを抑制できる。
【0123】
<送信フレームレートの変更例>
図12は、フレームレート設定部47が送信フレームレートをどのように変更するかを説明する図である。図12(a)は、優先機が設定されていない均等状態の送信フレームレートを模式的に示す。端末装置40に接続されている表示装置20A~20Cの数は三台である。また、図12(a)では、現在の送信フレームレートが、端末装置40の送信フレームレートの最大値に達しているものとする。図12(a)に示すように、均等状態では、表示装置20A~20Cに対し、同じ頻度(同じ送信フレームレート)で画面データが送信される。
【0124】
図12(b)は、表示装置20Aが優先機に設定された場合の送信フレームレートを模式的に示す。すでに、送信フレームレートが最大値に達しているので、優先機である表示装置20Aに対する送信フレームレートが高くなり、送信フレームレートが高くなった分と同じだけ、非優先機である表示装置20B,20Cに対する送信フレームレートが低下する。
【0125】
図12(a)の送信フレームレートについて説明する。均等状態では各表示装置20の送信フレームレートの比率は以下である。
表示装置20A:表示装置20B:表示装置20C=1:1:1
端末装置40の送信フレームレートの最大値を60fpsとすると、各表示装置20A~20Cに対する送信フレームレートはそれぞれ20fps(60×1/3)である。
【0126】
一方、図12(b)では、各表示装置20の送信フレームレートの比率は以下である。
表示装置20A:表示装置20B:表示装置20C=2:1:1
送信フレームレートの最大値を60fpsとすると、図12(b)の送信フレームレートは、表示装置20Aが30fps、表示装置20BとCが15fpsである。
【0127】
これにより、タッチ操作をしている表示装置20Aでは、タッチ操作による描画が少ない遅延で反映された画面が表示され、ユーザーが手書きしている際にタイミングのズレなどの違和感を生じさせずに手書きすることができるようになる。
【0128】
図12は、作図の都合上、表示装置20A~20Cの送信フレームレートの比が2:1:1となっているが、表示装置20Aの送信フレームレートは、均等状態(20fps)より高ければよい。例えば、フレームレート設定部47は、3:2:2のように数値的に表示装置20A~20Cの送信フレームレートを決定してもよい。この場合、送信フレームレートは、表示装置20Aが約26fps、表示装置20BとCが約17fpsである。
【0129】
同様に複数の表示装置20が優先機に設定された場合も、フレームレート設定部47は、数値的に表示装置20A~20Cの送信フレームレートを決定できる。例えば、表示装置20A、20Bが優先機の場合、送信フレームレートの比率を3:3:2のように決定する。この場合、送信フレームレートは、表示装置20A、20Bが22.5fps、表示装置20Cが15fpsである。
【0130】
<主な効果>
本実施形態の表示システム100は、端末装置40と接続する表示装置20の数が多くても、優先機を設定することで、操作性やユーザビリティの低下を抑制できる。
【実施例0131】
端末装置40がいくつかの優先機を設定するのでなく、タッチ操作の頻度に応じて各表示装置20に送信フレームレートの重み付けを行ってもよい。本実施例では、表示装置20の操作頻度に応じて送信フレームレートを割り振る端末装置40について説明する。なお、本実施例においても、タッチ操作を送信した表示装置20は優先機として扱ってよい。
【0132】
<機能について>
図13は、端末装置40と表示装置20の機能をブロックに分けて説明する機能ブロック図である。なお、図13の説明において、図5において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。
【0133】
<<端末装置>>
端末装置40は、新たに操作頻度検出部51を有している。操作頻度検出部51は、各表示装置20のタッチ操作の頻度を検出する。
【0134】
<素得頻度の検出>
図14は、フレームレート設定部47が、各表示装置20の操作頻度を記録する処理を説明するフローチャート図である。
【0135】
端末装置40の通信部44は、ユーザーがタッチ操作した表示装置20から随時、タッチ信号と表示装置20の識別情報を受信する。操作頻度検出部51は、タッチ信号に基づいてタッチ操作の有無を判断する(S21)。このタッチ操作は、ペンダウンからペンアップまでを1つのタッチ操作とする。
【0136】
通信部44がタッチ信号を受信した場合、操作頻度検出部51は、タッチ操作の時刻を表示装置20ごとに記録する(S22)。
【0137】
そして、操作頻度検出部51は、一定時間が経過するごとに(S23のYes)、表示装置20ごとに操作頻度を更新する(S24)。一定時間を例えば、30秒とすると、操作頻度検出部51は、過去、30秒間の操作回数を表示装置20ごとに算出する。例えば、各表示装置20A~20Cの一定時間の操作回数を以下とする。
表示装置20A:a回
表示装置20B:b回
表示装置20C:c回
したがって1分間当たりの操作頻度は、以下のようになる。
表示装置20A:2a回/分
表示装置20B:2b回/分
表示装置20C:2c回/分
<操作頻度に応じた送信フレームレートの変更>
次に、図15図16を参照して操作頻度に応じた送信フレームレートの変更について説明する。図15は、端末装置40が表示装置20の操作頻度に応じて送信フレームレートを変更する処理を説明するフローチャート図である。ステップS31、S32の処理は図8のステップS1、S2と同じでよい。
【0138】
フレームレート設定部47は、図14の処理により、1つ以上の表示装置20の操作頻度が変化したか否か判断する(S33)。ステップS33の判断がNoの場合、処理はステップS31に戻る。
【0139】
ステップS33の判断がYesの場合、フレームレート設定部47は、操作頻度に応じて各表示装置20の送信フレームレートを決定する(S34)。ステップS34の処理については図16にて説明するが、フレームレート設定部47は、以下の考え方により送信フレームレートを決定する。
・操作頻度がゼロの表示装置20がない場合、フレームレート設定部47は、操作頻度に応じて、端末装置40の送信フレームレートの最大値を割り振る。操作頻度が極端に少ない場合はゼロとみなしてもよいし、最小限の送信フレームレートが設定されてもよい。
・操作頻度がゼロであっても、画面データの閲覧やタッチ操作のために最小限の送信フレームレートを設定する必要がある。
・操作頻度がゼロの表示装置20がある場合、フレームレート設定部47は、操作頻度がゼロでない表示装置20に、均等状態より大きい送信フレームレートを割り振る。
【0140】
図16は、操作頻度に応じた各表示装置20の送信フレームレートの決定方法を説明するフローチャート図である。
【0141】
まず、フレームレート設定部47は、操作頻度がゼロの表示装置20があるか否か判断する(S41)。ステップS41の判断がNoの場合、フレームレート設定部47は、端末装置40の送信フレームレートの最大値を操作頻度で按分する(S42)。按分とは以下のような各表示装置20の送信フレームレートの算出を言う。端末装置40の送信フレームレートの最大値を60fpsとする。
表示装置20A:{2a/(2a+2b+2c)}×60fps
表示装置20B:{2b/(2a+2b+2c)}×60fps
表示装置20C:{2c/(2a+2b+2c)}×60fps
ステップS41の判断がYesの場合、フレームレート設定部47は、操作頻度がゼロの表示装置20に最小限の送信フレームレートを設定する(S43)。一例として最小限の送信フレームレートを10fpsとする。最小限の送信フレームレートは、端末装置40に接続されている全ての表示装置20の数に応じて可変であってよい。例えば、端末装置40に接続されている全ての表示装置20の数が多いほど、最小限の送信フレームレートは小さくなる。
【0142】
そして、フレームレート設定部47は、端末装置40の送信フレームレートの最大値のうち残りの送信フレームレートを均等状態から通常状態の送信フレームレートの間で配分する(S44)。以下、下記の3つのケースで送信フレームレートの算出例を説明する。
【0143】
・表示装置20Aの操作頻度がゼロの場合。また、2b:2cを0.7:0.3とする。
表示装置20A:10fps
表示装置20B:{2b/(2a+2b+2c)}×(60-10)fps
=35fps
表示装置20C:{2c/(2a+2b+2c)}×(60-10)fps
=15fps
表示装置20Cの送信フレームレートが均等状態未満なので、20fps(15+5)とする。増大させた5fpsが表示装置20Bの送信フレームレートから減じられる。したがって、表示装置20B、20Cの送信フレームレートは以下になる。
表示装置20B:30fps
表示装置20C:20fps
・表示装置20A、20Bの操作頻度がゼロの場合。
表示装置20A、B:10fps
表示装置20C:{2c/(2a+2b+2c)}×(60-20)fps
=40
ただし、表示装置20Cのように通常状態の送信フレームレートを超えた場合、操作性が向上するなどの理由がなければ、通常状態である30fpsに制限してよい。
【0144】
・表示装置20A~20Cの操作頻度がゼロの場合。
表示装置20A~20C:10fps
全ての表示装置20の操作頻度がゼロの場合、均等状態の送信フレームレートとしてもよい。
【0145】
<主な効果>
このように、タッチ操作の頻度に応じて送信フレームレートを設定することで、操作頻度が高い表示装置20に高い送信フレームレートを設定でき、更に、操作頻度が低い表示装置20の送信フレームレートが過度に低くなることを抑制できる。また、操作頻度がゼロの表示装置20の送信フレームレートがゼロになることもない。
【0146】
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0147】
例えば、優先機をユーザーが設定したり、タッチ操作で決定したりするのでなく、優先機設定部が、表示装置20の機種で決定してもよい。例えば、優先機設定部46は電子黒板やプロジェクターなど複数のユーザーが使用する表示装置20を優先機に設定する。
【0148】
また、優先機設定部46は、表示装置20やユーザーの属性で送信フレームレートを設定してもよい。例えば、表示装置20に発表者の属性が設定されている場合、優先機設定部46はこの表示装置20を優先機に設定する。あるいは、優先機設定部は、ログインしたユーザーの属性(発表者、参加者等)に応じて、優先機を設定してもよい。
【0149】
また、優先機設定部46は、タイムシェアリングのように、優先機を設定してもよい。この場合、優先機設定部46は、一定時間ごとに、各表示装置20を順番に一定時間ずつ優先機に設定する。
【0150】
また、操作頻度の代わりに、又は、操作頻度と共に、フレームレート設定部47は、ユーザーの発話量に応じて送信フレームレートを設定してもよい。
【0151】
また、フレームレート設定部47は、優先機の送信フレームレートを非優先機よりも高くするが、優先機の画面データの解像度を高くしたり、非優先機の画面データの解像度を粗くしたりしてもよい。非優先機の画面データの解像度を粗くすることで、送信フレームレートに余裕が生じ、遅延が抑制される。
【0152】
また、端末装置40の送信フレームレートの最大値は固定値でなく、端末装置40の負荷によって変動する。端末装置40は、現在の処理負荷に応じた送信フレームレートの最大値を均等状態や通常状態の送信フレームレートに割り振る。
【0153】
また、本実施形態では端末装置40が送信フレームレートを変更することで表示装置20が実行する処理について記載していないが、表示装置20は、端末装置40が送信フレームレートを変更した場合に所定の処理を実行してよい。例えば、表示装置20は、送信フレームレートが通常状態より低い場合に、フレーム補間処理を行うことができる。
【0154】
また、端末装置40が送信フレームレートを変更するのではなく、又はこれと並行して、表示装置20が受信するフレームレートを下げるように設定してもよい(又は一部破棄する)。
【0155】
また、本実施形態では、端末装置40が1台で表示装置20がN台である場合を説明したが、図17に示すように、端末装置40がN台、表示装置20が1台の場合にも適用できる。図17は、端末装置と表示装置がN(2以上):1の場合のシステム構成例を示す図である。この場合、複数の端末装置40A~40Dから、表示装置20が画面データを受信して、1画面に合成する。複数の端末装置40のうちの特定の端末装置40が送信フレームレートを下げる(又は一部破棄)よう自機を設定する。この場合も、表示装置20側が受信するフレームレートを下げるように設定してもよい(又は一部破棄する)。表示装置20は受信するフレームレートが低くなるので、処理負荷を低減できる。
【0156】
また、本実施形態では、表示装置20が可搬型である場合に言及したが、表示装置20は据え置き型であってもよい。会議室などで大型の表示装置20に対し、各ユーザーが自分の端末装置40の映像を表示させることができる。大型の表示装置20としては、電子黒板、デジタルサイネージ等がある。
【0157】
また、端末装置40と表示装置20が同じ機種でもよい。例えば、端末装置40と表示装置20が共に電子黒板である場合に、互いの画面を共有して遠隔会議し、一方のスクリーンミュート操作で両方をスクリーンミュート中にすることができる。
【0158】
また、図4などの構成例は、表示装置20による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置20の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
【0159】
また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
【0160】
本発明の実施形態は、コンピュータの能力及び機能性に大きな改善をもたらす。これらの改善により、ユーザーは、情報処理装置において情報を格納し提示する方法であるテーブルとの、より効率的で堅牢な対話を提供するコンピュータを利用することができる。更に、本発明の実施形態は、より効率的で強力かつ堅牢なユーザーインターフェースの使用を通じて、より良いユーザー体験を提供する。このようなユーザーインターフェースは、人間と機械との間のより良い相互作用を提供する。
【0161】
<請求項に関する付記>
[請求項1]
端末装置と複数の表示装置が通信可能な表示システムであって、
前記端末装置は、
前記複数の表示装置にそれぞれ所定の送信フレームレートで映像を送信する第一の通信部と、
前記複数の表示装置のうち一台以上の表示装置を優先機に設定する優先機設定部と、
前記優先機設定部により優先機に設定された表示装置に対する送信フレームレートを、優先機でない表示装置よりも高くするフレームレート設定部と、を有し、
前記複数の表示装置は、
前記映像を受信する第二の通信部と、
前記第二の通信部が受信した前記映像を出力する出力部と、
を有する表示システム。
[請求項2]
前記表示装置は、
前記映像に対するタッチ操作を受け付ける操作受付部、を有し、
前記第二の通信部は、前記タッチ操作に基づくタッチ信号を前記端末装置に送信し、
前記優先機設定部は、前記第一の通信部がタッチ信号を受信した前記表示装置を前記優先機に設定し、
前記フレームレート設定部は、前記タッチ信号を送信した前記表示装置に対する送信フレームレートを、前記タッチ信号を送信しない前記表示装置よりも高くすることを特徴とする請求項1に記載の表示システム。
[請求項3]
前記端末装置は、
前記端末装置に接続している前記複数の表示装置のリストを表示する表示制御部と、
前記複数の表示装置のリストから任意の表示装置の選択を受け付ける操作受付部と、を有し、
前記優先機設定部は、前記操作受付部が選択を受け付けた前記表示装置を前記優先機に設定し、
前記フレームレート設定部は、前記操作受付部が選択を受け付けた前記表示装置に対する送信フレームレートを、前記操作受付部が選択を受け付けていない前記表示装置よりも高くすることを特徴とする請求項1に記載の表示システム。
[請求項4]
前記端末装置は、
前記優先機設定部が、前記第一の通信部がタッチ信号を受信することで前記優先機に設定した前記表示装置の識別情報を表示する表示制御部を有することを特徴とする請求項1又は2に記載の表示システム。
[請求項5]
前記優先機設定部は、前記第一の通信部がタッチ信号を受信していない時間が閾値以上、継続した場合、前記優先機の設定を解除し、
前記フレームレート設定部は、前記優先機の設定を解除した表示装置に対する送信フレームレートを、解除する前よりも低くすることを特徴とする請求項1又は2に記載の表示システム。
[請求項6]
前記優先機設定部が前記優先機を設定する前、
前記フレームレート設定部は、前記端末装置に接続している前記複数の表示装置に対し均等な送信フレームレートを設定し、
前記優先機設定部が前記優先機を設定した場合、
前記フレームレート設定部は、前記優先機設定部により前記優先機に設定された表示装置に対する送信フレームレートを、均等な送信フレームレートよりも高くすることを特徴とする請求項1~5のいずれか1項に記載の表示システム。
[請求項7]
前記フレームレート設定部は、前記優先機設定部により前記優先機に設定されていない表示装置に対する送信フレームレートを、均等な送信フレームレートよりも低くすることを特徴とする請求項6に記載の表示システム。
[請求項8]
前記優先機設定部は、すでに前記優先機に設定した前記表示装置がある状態で、前記第一の通信部がタッチ信号を受信した場合、同時に優先機に設定可能な前記表示装置の数以下の範囲で、前記タッチ信号を送信した前記表示装置を前記優先機に設定することを特徴とする請求項2に記載の表示システム。
[請求項9]
複数の表示装置が前記優先機に設定された場合、前記フレームレート設定部は、非優先機への最低限の送信フレームレートを割り当て、前記端末装置における送信フレームレートの最大値からの残りを複数の優先機に均等に割り振ることを特徴とする請求項1に記載の表示システム。
[請求項10]
前記端末装置は、前記第一の通信部が受信する前記タッチ信号に基づいて前記複数の表示装置に対する操作頻度を検出する操作頻度検出部を有し、
前記フレームレート設定部は、前記操作頻度に応じた送信フレームレートを前記複数の表示装置ごとに決定することを特徴とする請求項2に記載の表示システム。
[請求項11]
前記第一の通信部は、アクセスポイントを介して前記複数の表示装置と通信し、前記第二の通信部は前記アクセスポイントを介して前記端末装置と通信することを特徴とする請求項1~8のいずれか1項に記載の表示システム。
[請求項12]
前記第一の通信部は、無線通信で前記複数の表示装置と通信し、前記第二の通信部は無線通信で前記端末装置と通信することを特徴とする請求項1~9のいずれか1項に記載の表示システム。
【符号の説明】
【0162】
20 表示装置
40 端末装置
100 表示システム
【先行技術文献】
【特許文献】
【0163】
【特許文献1】特開2016-092581号公報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17