特開 2015-208021 動画像通信システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2015-208021(P2015-208021A)

(43)【公開日】2015年11月19日

(54)【発明の名称】動画像通信システム

(51)【国際特許分類】

   H04N 21/2662 20110101AFI20151023BHJP

   H04N 21/24 20110101ALI20151023BHJP

   H04N 21/4728 20110101ALI20151023BHJP

   G06F 13/00 20060101ALI20151023BHJP

【ＦＩ】

   H04N21/2662

   H04N21/24

   H04N21/4728

   G06F13/00 550A

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

【全頁数】14

(21)【出願番号】特願2015-117315(P2015-117315)

(22)【出願日】2015年6月10日

(62)【分割の表示】特願2010-101682(P2010-101682)の分割

【原出願日】2010年4月27日

(71)【出願人】

【識別番号】314008976

【氏名又は名称】レノボ・イノベーションズ・リミテッド（香港）

(74)【代理人】

【識別番号】100084250

【弁理士】

【氏名又は名称】丸山 隆夫

(72)【発明者】

【氏名】塩入 健太

【テーマコード（参考）】

5B084

5C164

【Ｆターム（参考）】

5B084AA02

5B084AA12

5B084AB06

5B084AB31

5B084AB38

5B084BB19

5B084CB05

5B084CB22

5B084CE08

5B084CE13

5B084CF02

5B084CF12

5B084DB08

5B084DB10

5B084DC02

5B084DC03

5C164FA06

5C164GA03

5C164PA33

5C164SB02P

5C164SB41P

5C164UD44P

5C164YA24

(57)【要約】      （修正有）

【課題】動画像の伝送量を抑える際に関心領域全体の画質が突然低下しないシステム、方法及びプログラムを提供する。
【解決手段】送信装置１００の転送画像生成手段１４０は、関心領域の画質が他の領域に比べて高くなるように動画像のフレーム画像から画像データを生成し、通信手段１１０により受信装置２００に送信する。通信レート測定手段１２０は、通信手段１１０の通信レートを測定する。関心領域情報管理手段１３０は、測定された通信レートが第１の閾値に達したときに関心領域のサイズを縮小する。受信装置２００の画面表示手段２２０は、通信手段２１０で受信された画像データに基づく動画像をディスプレイに表示する。関心領域情報管理手段１３０は、測定された通信レートが第１の閾値に達するまでは、関心領域のサイズを自動的に拡大する。
【選択図】図１

【特許請求の範囲】

【請求項1】

通信ネットワークを介して接続される送信装置と受信装置とで構成され、
前記送信装置は、
前記通信ネットワークを通じて前記受信装置と通信する送信側通信手段と、
前記送信側通信手段の通信レートを測定する通信レート測定手段と、
動画像のフレーム中に設定する関心領域に関する情報を保持し、前記測定された通信レートが第１の閾値に達したときに前記関心領域のサイズを縮小する関心領域情報管理手段と、
前記関心領域の画質が他の領域に比べて高くなるように動画像のフレーム画像から画像データを生成し、前記送信側通信手段により前記受信装置に送信する転送画像生成手段とを備え、
前記受信装置は、
前記通信ネットワークを通じて前記送信装置と通信する受信側通信手段と、
前記受信側通信手段で受信された画像データに基づく動画像をディスプレイに表示する画面表示手段とを備え、
前記関心領域情報管理手段は、前記測定された通信レートが第１の閾値に達するまでは、前記関心領域のサイズを自動的に拡大する
ことを特徴とする動画像通信システム。

【請求項2】

前記受信装置は、
利用者から関心領域の設定および変更の要求を入力する入力手段と、
前記入力された関心領域の設定および変更の要求を解析して、最新の関心領域に関する情報を生成し、該生成した関心領域に関する情報を保持すると共に前記受信側通信手段により前記送信装置へ送信し、かつ、前記受信側通信手段により前記縮小した関心領域に関する情報を受信したときに前記保持する情報を更新する関心領域情報制御手段とを備え、
前記送信装置の前記関心領域情報管理手段は、前記送信側通信手段により前記受信装置から受信した関心領域に関する情報を保持することを特徴とする請求項１記載の動画像通信システム。

【請求項3】

前記転送画像生成手段は、動画像のフレーム画像から生成される画像データのうち、変化した更新差分領域のみを前記送信側通信手段により前記受信装置に送信する
ことを特徴とする請求項１又は２記載の動画像通信システム。

【請求項4】

通信手段と通信レート測定手段と関心領域情報管理手段と転送画像生成手段とを有する送信装置が実行する送信方法であって、
前記通信レート測定手段が、前記通信手段の通信レートを測定し、
前記関心領域情報管理手段が、前記測定された通信レートが第１の閾値に達したときに、動画像のフレーム中に設定する関心領域のサイズを縮小し、
前記関心領域情報管理手段が、前記測定された通信レートが第１の閾値に達するまでは、前記関心領域のサイズを自動的に拡大し、
前記転送画像生成手段が、前記関心領域の画質が他の領域に比べて高くなるように動画像のフレーム画像から画像データを生成し、
前記通信手段が、前記生成された画像データを通信ネットワークを介して接続される受信装置に送信することを特徴とする送信方法。

【請求項5】

コンピュータを、
通信ネットワークを通じて受信装置と通信する通信手段と、
前記通信手段の通信レートを測定する通信レート測定手段と、
動画像のフレーム中に設定する関心領域に関する情報を保持し、前記測定された通信レートが第１の閾値に達したときに前記関心領域のサイズを縮小し、前記測定された通信レートが第１の閾値に達するまでは、前記関心領域のサイズを自動的に拡大する関心領域情報管理手段と、
前記関心領域の画質が他の領域に比べて高くなるように動画像のフレーム画像から画像データを生成し、前記通信手段により前記受信装置に送信する転送画像生成手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は動画像通信システムに関し、特に特定の領域の画質を他の領域に比べて高くして送信装置から受信装置に通信ネットワークを介して画像を転送する動画像通信システムに関する。

【背景技術】

【0002】

この種の動画像通信システムの一例が特許文献１に記載されている。特許文献１に記載された動画像通信システムは、画像データを通信ネットワークに送信する送信装置と、通信ネットワークを介して画像データを受信して表示する受信装置とで構成される。送信装置または受信装置は、画像の中に任意の領域を指定する領域指定手段を有する。利用者は、画像中の関心のある領域を領域指定手段によって指定する。関心のある領域は、関心領域（ROI:Region of Interest）と言う。送信装置は、関心領域の画質がそれ以外の領域よりも高くなるように送信対象画像から画像データを生成することにより、通信ネットワークの伝送容量が小さくても、必要は部分の画像を詳しく伝送できるようにする。具体的には、送信装置は、関心領域以外の領域の画質は、通信ネットワークの許容伝送容量を満たすように算出する。また、送信装置は、さらに伝送量を低減する必要があれば、関心領域の画質を指定されたものよりも低くする。

【0003】

特許文献１と同様の動画像通信システムは、特許文献２にも記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平７−２８８８０６号公報

【特許文献2】特開２００５−３４１０７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１および特許文献２に記載の動画像通信システムでは、関心領域以外の領域の画質を低下させ、それでもなお不十分であれば、関心領域の画質を低下させることにより、通信ネットワークの許容伝送容量を満たすようにしている。このため、利用者が関心領域のサイズを大きくする変更を行った際、しばしば関心領域全体の画質が突然に低下する状況が発生する。利用者にとってみれば、周囲を鮮明に表示したいために関心領域を拡大したところ、変更前に鮮明に表示されていた部分も含めて関心領域全体が不鮮明になってしまうので、使い勝手が良いとは言えなかった。

【0006】

本発明の目的は、動画像の伝送量を抑える際に関心領域全体の画質が突然に低下してしまうことがある、という課題を解決する動画像通信システムを提供することにある。

【課題を解決するための手段】

【0007】

本発明の一形態にかかる動画像通信システムは、通信ネットワークを介して接続される送信装置と受信装置とで構成され、上記送信装置は、上記通信ネットワークを通じて上記受信装置と通信する送信側通信手段と、上記送信側通信手段の通信レートを測定する通信レート測定手段と、動画像のフレーム中に設定する関心領域に関する情報を保持し、上記測定された通信レートが第１の閾値に達したときに上記関心領域のサイズを縮小する関心領域情報管理手段と、上記関心領域の画質が他の領域に比べて高くなるように動画像のフレーム画像から画像データを生成し、上記送信側通信手段により上記受信装置に送信する転送画像生成手段とを備え、上記受信装置は、上記通信ネットワークを通じて上記送信装置と通信する受信側通信手段と、上記受信側通信手段で受信された画像データに基づく動
画像をディスプレイに表示する画面表示手段とを備え、関心領域情報管理手段は、上記測定された通信レートが第１の閾値に達するまでは、上記関心領域のサイズを自動的に拡大する。

【発明の効果】

【0008】

本発明は上述したように構成されているため、動画像の伝送量を抑える際に関心領域全体の画質が突然に低下することがなくなり、使い勝手が向上する。

【図面の簡単な説明】

【0009】

【図1】本発明の第１の実施形態のブロック図である。

【図2】本発明の第２の実施形態のブロック図である。

【図3】本発明の第２の実施形態におけるサーバの処理例を示すフローチャートである。

【図4】本発明の第２の実施形態におけるサーバの処理例を示すフローチャートである。

【図5】本発明の第２の実施形態におけるクライアントの処理例を示すフローチャートである。

【図6】本発明の第２の実施形態におけるクライアントの処理例を示すフローチャートである。

【図7】本発明の第２の実施形態におけるクライアントの表示画面の一例を示す図である。

【発明を実施するための形態】

【0010】

次に本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施形態]
図１を参照すると、本発明の第１の実施形態にかかる動画像通信システムは、通信ネットワーク３００を介して接続される送信装置１００と受信装置２００とで構成される。

【0011】

送信装置１００は、通信手段１１０と、通信レート測定手段１２０と、関心領域情報管理手段１３０と、転送画像生成手段１４０とを備える。また、受信装置２００は、通信手段２１０と、画面表示手段２２０とを備える。これらはそれぞれ以下のような機能を有する。

【0012】

通信手段１１０は、通信ネットワーク３００を通じて受信装置２００と無線または有線で通信する機能を有する。

【0013】

通信レート測定手段１２０は、通信手段１１０の通信レートを測定する機能を有する。通信レートとは、単位時間当たりに転送されるデータ量を意味し、単位はbpsである。通信レート測定手段１２０は、主に送信装置１００から受信装置２００へ送信している単位時間当たりのデータ量から通信レートを測定する。また、通信レート測定手段１２０は、第１の閾値を保持している。第１の閾値は、単位時間当たりに転送できるデータ量を意味し、単位はbpsである。また、通信レート測定手段１２０は、測定した通信レートと第１の閾値とを比較し、通信レートが第１の閾値に達したことを検出すると、その旨を関心領域情報管理手段１３０に通知する機能を有する。

【0014】

関心領域情報管理手段１３０は、動画像のフレーム中に設定する関心領域に関する情報を保持する。関心領域の形状は任意である。例えば関心領域の形状は矩形である。関心領域が矩形の場合、関心領域に関する情報は、例えばフレーム上での矩形の左上端点のＸＹ座標値と右下端点のＸＹ座標値とを含む。また、関心領域情報管理手段１３０は、通信レート測定手段１２０から通信レートが第１の閾値に達した旨の通知を受けると、関心領域のサイズを縮小する機能を有する。関心領域のサイズを縮小する幅は任意である。固定量だけ縮小しても良いし、通信レートが第１の閾値を超えた量に応じて変化する量だけ縮小しても良い。関心領域が矩形の場合、縦と横の幅をそれぞれ縮小しても良いし、縦の幅のみ、あるいは横の幅のみ縮小しても良い。

【0015】

転送画像生成手段１４０は、動画像のフレーム画像から画像データを生成し、必要に応じて符号化して、通信手段１１０を通じて受信装置２００へ送信する。対象となる動画像のフレーム画像は、例えば送信装置１００を構成するコンピュータの画面に表示される画像である。また、対象となる動画像のフレーム画像は、送信装置１００に接続されたテレビカメラで撮像された動画像など、画面の画像以外の画像であっても良い。転送画像生成手段１４０は、関心領域情報管理手段１３０に保持されている関心領域に関する情報を参照し、関心領域の画質が他の領域に比べて高くなるように動画像のフレーム画像から画像データを生成する。

【0016】

本明細書において、画質が高いとは、空間解像度および時間解像度の何れか一方または双方が高いことを意味する。空間解像度とは、単位面積当たりの画素数、カラー画像の色数、画像データを周波数変換して得られる周波数信号の振幅の解像度、画素データの振幅の解像度、画素データを量子化する際の量子化刻み幅の、１つまたは複数またはすべてを意味する。時間解像度とは、フレームレートとインターレース回数の何れか一方または双方を意味する。

【0017】

受信装置２００の通信手段２１０は、通信ネットワーク３００を通じて送信装置１００と無線または有線で通信する機能を有する。

【0018】

画面表示手段２２０は、通信手段２１０で受信された画像データを、必要に応じて復号してディスプレイに表示する機能を有する。

【0019】

次に本実施形態の動作を説明する。

【0020】

送信装置１００の転送画像生成手段１４０は、動画像のフレーム画像が図示しない画面キャプチャ手段等から入力されると、関心領域情報管理手段１３０に保持されている関心領域に関する情報を参照し、関心領域の画質が他の領域に比べて高くなるようにフレーム画像から画像データを抽出し、必要に応じて符号化して通信手段１１０を介して受信装置２００へ送信する。転送画像生成手段１４０は、動画像のフレーム画像が入力される毎に上述した動作を繰り返す。

【0021】

通信レート測定手段１２０は、例えば一定時間毎に、通信手段１１０の通信レートを測定し、第１の閾値と比較する。そして、通信レートが第１の閾値に達したことを検知すると、その旨を関心領域情報管理手段１３０に通知する。関心領域情報管理手段１３０は、この通知を受けて、自身が保持する関心領域に関する情報を更新し、関心領域のサイズを縮小する。

【0022】

関心領域のサイズ縮小後、新たな動画像のフレーム画像が転送画像生成手段１４０に入力されると、転送画像生成手段１４０は、上記縮小後の関心領域を参照して画像データを抽出し、通信手段１１０を介して受信装置２００へ送信する。関心領域は他の領域に比べて画質が高くなるように画像データを生成しているため、関心領域のサイズが縮小されることにより、１フレーム当たりの画像データ量が低減する。このため、関心領域のサイズを小さくすることにより、通信手段１１０の通信レートを第１の閾値を超えないように制御することが可能になる。

【0023】

受信装置２００側では、送信装置１００から送信された画像データを通信手段２１０が受信し、画面表示手段２２０が必要に応じて復号し、ディスプレイに表示する。これにより、関心領域が他の領域よりも高画質な動画像が受信装置２００のディスプレイに表示されることになる。また、動画像の情報量が増える等によって通信手段２１０の通信レートが第１の閾値に達した場合、受信装置２００に表示される画像中の関心領域のサイズは小さくなるものの、関心領域全体の画質が突然に悪化する事態は発生しない。

【0024】

[第２の実施形態]
次に、本発明を画面転送・遠隔操作システムに適用した実施形態について説明する。画面転送・遠隔操作システムは、サーバ（PC）側の画面を通信によりクライアント（PC、携帯電話端末など）側に転送して表示し、クライアント側からは利用者が行うキーやマウス等の入力、操作情報を送信することにより、サーバ側を遠隔操作するシステムである。

【0025】

[構成の説明]
まず、本実施形態の構成について図面を参照して詳細に説明する。図２は、本実施形態のシステム構成図である。本実施形態の画面転送・遠隔操作システムは、サーバ１と、クライアント２と、通信網３とから構成される。

【0026】

サーバ１は、画面キャプチャ手段１１と、転送画像生成手段１２と、通信手段１３と、ROI範囲情報管理手段１４と、通信レート測定手段１５とを含む。

【0027】

画面キャプチャ手段１１は、サーバ側画面を一定の周期でキャプチャリングし、画像とする。

【0028】

転送画像生成手段１２は、画面キャプチャ手段１１で得た画像をクライアント２に転送するのに適した形式に変換する。変換方法としては、圧縮やエンコードが一般的である。圧縮やエンコードの手法は多くの方法が一般的に知られている。本実施形態は、それら一般的な圧縮やエンコードの手法を用いることが可能である。また、転送画像生成手段１２は、転送画像を生成する際には、ROI範囲情報管理手段１４からROI範囲として通知される領域(例えばXY座標で特定される領域)内のみを高画質とし、その領域外は低画質とする。このように特定範囲の内と外で画質（解像度・符号量）を変化させる手段としては、JPEG2000やFlash Pixが一般的である。本実施形態は、それらの一般的な手段を用いることが可能である。またROI範囲の形状は、前述の特定範囲内の画質変更手段で技術的に許せば、円でも楕円でも矩形でも構わない。

【0029】

通信手段１３は、転送画像生成手段１２で生成した転送画像データを、通信網３を介してクライアント２に送信する。また通信手段１３は、通信レート測定手段１５から受け取った後述する中間レートオーバー情報を、通信網３を介してクライアント２に送信する。また通信手段１３は、ROI範囲情報管理手段１４から受け取ったROI範囲縮小情報を、通信網３を介してクライアント２に送信する。さらに通信手段１３は、クライアント２側から送信されてくる遠隔操作の入力情報と、ROI範囲情報とを受信する。

【0030】

通信レート測定手段１５は、通信手段１３による通信レートを監視し、自手段１５内にあらかじめ設定された第１の閾値に達した場合、ROI範囲情報管理手段１４にその旨を通知すると共に、通信手段１３を通してクライアント２側に通知する。第１の閾値は、通信手段１３がクライアント２への送信のために使用できる帯域の上限値（以下、上限レートと呼ぶ）に設定される。また、通信レート測定手段１５は、通信手段１３による通信レートが自手段１５内にあらかじめ設定された第２の閾値に達した場合、通信手段１３を通してクライアント２側に中間レートオーバー情報を通知する。第２の閾値は、上限レートの半分（以下、中間レートと呼ぶ）に設定される。但し、第２の閾値を上限レートの半分に設定するのは一例であり、利用者の利便性を考慮して任意に定めることが可能である。また、第１の閾値となる上記の上限レート値や第２の閾値となる中間レートの値は、サーバ１、クライアント２、通信網３（通信事業者・プロバイダ）から随時設定変更しても良い。

【0031】

ROI範囲情報管理手段１４は、通信手段１３を経由してクライアント２からのROI範囲情報を受け取り、自身に保存するとともに転送画像生成手段１２に通知する。またROI範囲情報管理手段１４は、通信レート測定手段１５から、通信レートが上限レートに達した旨の通知を受けた場合、自身に保存している現状のROI範囲情報をよりサイズの小さなROI範囲情報に更新するとともに、通信手段１３を通してクライアント２にROI範囲縮小情報を送信する。ROI範囲情報管理手段１４は、ROI範囲情報をよりサイズの小さなROI範囲情報に更新する場合、例えば、ROI範囲が矩形であれば、矩形のROI範囲の縦と横の長さを、中心に向かって数ドットずつ短くする方法を使用する。さらにROI範囲情報管理手段１４は、上限レートに達した通知を受けてから一定時間、クライアント２から通信手段１３経由で渡されるROI範囲のサイズを拡大するROI範囲情報を無視する。但し、ROI範囲情報管理手段１４は、クライアント２から通信手段１３経由で渡されるROI範囲のサイズの縮小や位置を変更するROI範囲情報は受け付け、転送画像生成手段１２に通知する。

【0032】

クライアント２は、画面表示手段２１と、通信手段２２と、入力手段２３と、ROI範囲情報制御手段２４とを含む。

【0033】

画面表示手段２１は、通信手段２２を経由してサーバ１側から送られてきた転送画像を表示する。この際、画面表示手段２１は、サーバ１側で圧縮、エンコードがされている場合には解凍、デコードを行ってから表示する。また画面表示手段２１は、ROI範囲情報制御手段２４を参照して、ROI範囲の位置と枠の色を確認し、ROIの範囲を示す枠を上記の色で描画する。

【0034】

通信手段２２は、通信網３を経由してサーバ１から転送された画像情報を画面表示手段２１に受け渡す。また通信手段２２は、サーバ１からROI範囲縮小情報および中間レートオーバー通知を受信し、ROI範囲情報制御手段２４に渡す。さらに通信手段２２は、入力手段２３から渡される遠隔操作情報、およびROI範囲情報制御手段２４から渡されるROI範囲情報を通信網３を経由してサーバ１に送信する。

【0035】

入力手段２３は、利用者からのマウス入力やキー入力などによって、サーバ１の遠隔操作情報を受け付け、通信手段２２に渡す。また入力手段２３は、利用者からROI範囲を設定ないし変更する入力も受け付ける。例えば入力手段２３は、クライアント２画面上でマウス操作などにより２点が指定されると、その２点を左上端点、右下端点とする矩形をROI範囲とする設定を受け付ける。また、例えば入力手段２３は、クライアント２画面上に描画されているROI範囲の枠をマウスでドラッグ＆ドローする操作を、ROI範囲の位置やサイズを変更する操作として受け付ける。入力手段２３は、ROI範囲に変更があった場合はROI範囲情報制御手段２４に通知する。

【0036】

ROI範囲情報制御手段２４は、入力手段２３からROI範囲の設定変更要求を受け付けたとき、および通信手段２２からROI範囲縮小情報を受信したとき、クライアント２内のROI範囲情報を更新する。またROI範囲情報制御手段２４は、通信手段２２を経由してサーバ１側から通信レートが上限レートに達した旨の通知およびROI範囲縮小情報を受けた場合には、一定期間、入力手段２３から通知されるROI範囲のサイズ拡大の要求を無視する（位置移動や範囲縮小については受け付ける）。さらにROI範囲情報制御手段２４は、通信手段２２を経由してサーバ１側から中間レートオーバー通知を受けた場合は、ROI範囲の枠の色を更新する。これによって、利用者に通信レートが上限値到達までにどの程度余裕があるか、視覚的にわかりやすく伝えることが出来る。

【0037】

通信網３は、サーバ１とクライアント２とが通信できるものであれば任意で良い。通信網３は、有線でも無線でもかまわないし、３G網、イーサネット（登録商標）網、WMAX網などどんな通信網を利用してもかまわない。

【0038】

[動作の説明]
次に本実施形態の動作を図３、図４、図５、図６のフローチャートを参照して説明する。

【0039】

まず、図３、図４を参照して、サーバ側の動作を説明する。なお、図３に示す処理と図４に示す処理とは同時並行的に動作する。

【0040】

図３を参照すると、サーバ１は、まず画面キャプチャ手段１１によってサーバ側画面をキャプチャする（S1-4）。次に、転送画像生成手段１２がROI範囲情報管理手段１４を参照してROI範囲情報を確認し（S1-2）、ROI範囲内のみ高画質の転送画像データを生成する（S1-3）。次に、通信手段１３によって生成した画像データをクライアントに送信する（S1-4）。これらの処理は、画面転送・遠隔操作システムを利用している間、周期的に（例えばフレーム周期毎に）繰り返す。

【0041】

図４の処理も図３の処理と同じく画面転送・遠隔操作システムを利用している間、周期的に繰り返す。まず、サーバ１の通信レート測定手段１５は、通信手段１３の通信レートが上限レートに到達しているか否かを判定する（S2-1）。上限レートに到達している場合には、S2-2,S2-3,S2-4,S2-5のフローに進み、上限レートに到達していない場合にはS2-6,S2-7,S2-8,S2-9のフローに進む。

【0042】

上限レートに到達している場合、通信レート測定手段１５はクライアント２に向けて上限到達通知を送信する（S2-2）。次に、通信レート測定手段１５はROI範囲情報管理手段１４へ上限到達を通知し、ROI範囲情報管理手段１４はROI範囲を範囲縮小したものに更新してクライアントに通知する（S2-3）。また、ROI範囲情報管理手段１４は、通信手段１３経由でクライアント２からROI範囲情報の通知が来たか否かを監視する（S2-4）。そして、クライアント２からROI範囲情報の通知が来ると、ROI範囲情報管理手段１４は、通知内容を解析し、ROI範囲の範囲縮小、および位置移動の情報であれば、通知された通りにROI範囲情報を更新する（S2-5）。他方、ROI範囲情報管理手段１４は、ROI範囲のサイズ拡大の通知であれば、通知を無視し、ROI範囲情報は更新しない（S2-5）。

【0043】

上限レートに到達していない場合、通信レート測定手段１５は、通信手段１３の通信レートが中間レートに到達しているか否かを判定する（S2-6）。もし通信レートが上限値の半分になった場合は、通信レート測定手段１５は、その旨をクライアント２に通知する（S2-7）。また、ROI範囲情報管理手段１４は、通信手段１３経由でクライアント２からROI範囲情報の通知が来たか否かを監視している（S2-8）。そして、クライアント２からROI範囲情報の通知が来ると、ROI範囲情報管理手段１４は、通知された通りにROI範囲情報を更新する（S2-9）。すなわち、通信レートの上限値に達していないため、ROI範囲情報管理手段１４は、ROI範囲のサイズ拡大の通知も含め、全ての要求を受け付けてサーバ１側のROI範囲情報を更新する。

【0044】

次に、図５、図６を参照して、クライアント側の動作を説明する。なお、図５に示す処理と図６に示す処理とは同時並行的に動作する。

【0045】

図５を参照すると、クライアント２の通信手段２２が転送画面を受信すると（S3-1）、画面表示手段２１がその転送画面をディスプレイに表示する（S3-2）。続いて画面表示手段２１は、ROI範囲情報制御手段２４で保持されているROI範囲情報を参照してROI範囲の位置と枠の色を確認し、ディスプレイ上にROI範囲の枠を描画する（S3-3）。これらの処理は画面転送・遠隔操作システム利用時に周期的に繰り返す。

【0046】

図６の処理も図５の処理と同じく画面転送・遠隔操作システムを利用している間、周期的に繰り返す。クライアント２は、上限レート到達通知およびROI範囲縮小情報が通信手段２２に到達したとき、および到達してから一定時間以内であれば、S4-2,S4-3,S4-4,S4-5のフローに進み、一定時間以内でなければ、S4-6,S4-7,S4-8,S4-9,S4-10のフローに進む。

【0047】

上限レート到達通知およびROI範囲縮小情報が通信手段２２に到達したときは、ROI範囲情報制御手段２４は、到達したROI範囲縮小情報に従って、自手段で保持するROI範囲情報を更新する（S4-2）。また、ROI範囲情報制御手段２４は、入力手段２３からROI範囲を変更する通知が来るか否かを監視する（S4-3）。そして、入力手段２３からROI範囲を変更する通知が来ると、ROI範囲情報制御手段２４は、通知内容を解析し、ROI範囲の縮小と位置の変更の通知であれば、変更後のROI範囲の情報を通信手段２２を介してサーバ１へ通知し（S4-4）、通知した通りに自手段２４に保持するROI範囲情報を更新する（S4-5）。他方、ROI範囲情報制御手段２４は、ROI範囲の拡大の通知であれば、その通知を無視し、サーバ１への通知および自手段２４に保持するROI範囲情報の更新は行わない。

【0048】

また、上限レート到達通知およびROI範囲縮小情報が通信手段２２に到達した後の一定期間以外のときは、ROI範囲情報制御手段２４は、サーバ１から上限レートの半分に到達した旨の通知が来たか否かを監視する（S4-6）。若し、そのような通知が来た場合、ROI範囲情報制御手段２４は、自手段で保持するROI範囲情報中の枠の色を所定の色（例えば黄色）に変更する（S4-7）。また、ROI範囲情報制御手段２４は、入力手段２３からROI範囲を変更する通知が来たか否かを監視する（S4-8）。そして、入力手段２３からROI範囲を変更する通知が来ると、ROI範囲情報制御手段２４は、通知内容を解析し、変更後のROI範囲の情報を通信手段２２を介してサーバ１へ通知し（S4-9）、サーバ１に通知した通りに自手段２４に保持するROI範囲情報を更新する（S4-10）。なお、ROI範囲情報制御手段２４は、ROI範囲の変更がROI範囲の縮小であり、ROI範囲情報中の枠の色が黄色になっている場合には、ROI範囲の縮小にあわせて、枠の色を黄色から通常色（例えば青色）に変更する。

【0049】

図７は、クライアント２のディスプレイ画面の表示例を示す。サーバ１の画面に表示される文章を画面転送によりクライアント２に転送して、利用者がスクロールしながら文章を読んでいる状況を示す（左上の表示）。但し、スクロールで新たに出てきた点線内の選択領域（ROI範囲）だけ文字が読めれば良いので、レスポンスが良くなるように、ROI範囲の外は低画質にして通信量を抑えている（右上の表示）。情報量が増えて通信レートが上限値の半分に達すると、サーバ１から通知が来てROI範囲の枠の色が変わる（左下の表示）。さらに、通信レートが上限値に達すると、サーバ１がROI範囲を、強制的に一回り小さくする（右下の表示）。ROI範囲が縮小しても、最下行はROI範囲に含まれているため、スクロールで新たに出てくる文字は読むことが可能になっている。

【0050】

図７の例はテキストを読むための画面転送を例にしたが、例えばクライアント２からサーバ１のテキスト作成アプリケーションを起動し、そのアプリケーションの文字入力画面を転送して文字入力する場合にも適用できる。この場合、新規に文字が入力される周辺だけを高画質で見ることができれば、作業に支障は生じない。さらに、テキスト入力以外の分野への適用も可能である。

【0051】

[効果の説明]
次に、本実施形態の効果を説明する。

【0052】

本実施形態によれば、ROI範囲全体の画質が突然低下することを防止することができる。その理由は、本実施形態のサーバ１は、通信レートが上限レートに達したとき、高画質で画面転送するROI範囲を強制的に範囲縮小することにより、サーバ１からの送信レートが上限レートを超えないようにしているためである。すなわち、特許文献１および特許文献２のようにROI範囲の画質を低下させることで、サーバ１の送信レートを調整していないためである。

【0053】

また本実施形態によれば、レスポンスが悪化する事態を防ぐことが可能となる。その理由は、本実施形態のサーバ１は、通信レートが上限レートに達したとき、高画質で画面転送するROI範囲を強制的に範囲縮小することにより、サーバ１からの送信レートが上限レートを超えないようにしているためである。

【0054】

また本実施形態によれば、ROI範囲を現状からどの程度まで拡大可能であるかの目安を利用者に提供することができる。その理由は、通信レートが上限レートに達してROI範囲を拡大できない状態のときはROI範囲の枠をその旨を示す例えば赤色で表示し、通信レートが中間レートに達したときはROI範囲の枠をその旨を示す例えば黄色で表示し、通信レートが中間レートに達していないときはROI範囲の枠をその旨を示す例えば青色で表示するためである。

【0055】

[他の実施形態]
以上、本発明を幾つかの実施形態を挙げて説明したが、本発明は以上の実施形態にのみ限定されず、その他各種の付加変更が可能である。例えば、以下のような実施形態も本発明に含まれる。

【0056】

前述の説明では、送信レートが上限値に達したときのみ自動的にROI範囲をサイズ縮小する自動調整を行う機能について記述したが、上限値に達していないときに、逆にROI範囲を自動的にサイズ拡大する実施形態（第３の実施形態）も可能である。この第３の実施形態では、利用者は入力手段２３からROI範囲の中心位置を指定する。利用者が指定したROI範囲の中心位置は、ROI範囲情報制御手段２４に保存されると共にサーバ１に通知され、ROI範囲情報管理手段１４に保存される。ROI範囲情報管理手段１４は、通信手段１３の送信レートが上限値に達するか、あるいはサーバ側画面全体がROI範囲になるかどちらかまで、ROI範囲を上記中心位置から周囲に向かって拡大する。例えば、ROI範囲の中心を小さな矩形で指定する場合、その矩形の縦と横の長さを外側に向かって数ドットずつ長くしていき、画面端に到達した辺についてはそれ以上の拡大を停止させる。このように第３の実施形態では、利用者はROI範囲の位置のみ操作することになり、サイズは常に自動調整されることとなる。

【0057】

また、サーバ側で画面が変化した更新差分領域のみをクライアントに転送する機能を持つ実施形態（第４の実施形態）も可能である。この第４の実施形態によれば、画面更新が少ないタイミングでは通信レートをあまり上げずにROI範囲を大きく指定することが可能になる。この第４の実施形態では、利用者がROI範囲の位置を移動あるいはそのサイズを変更したときに、ROI範囲として新たに追加された画面範囲の画像部分は、実際に更新されていなくても更新があったものとして扱って、クライアントに高画質で転送する。これにより、サーバ側画面の変化がない場合でも、利用者がROI範囲を徐々に移動したり、サイズを拡大すると、それに応じて高画質で見ることが出来る画面範囲が移動し、拡大していくことになる。

【0058】

また、前述の説明では、上限レートは予め設定される固定値としたが、上限レートを可変値とする実施形態（第５の実施形態）も可能である。例えば、現在利用可能な帯域幅をサーバ１側で自動的に判定する機能を持たせ、この機能により判定された帯域幅を上限ルートに用いることができる。

【0059】

また、前述の説明では、本発明を画面転送・遠隔操作システムに適用した実施形態を例に挙げたが、サーバなどの送信装置からクライアントなどの受信装置に画像を転送するシステムであれば、画面転送・遠隔操作システムに限らずに適用が可能である。

【0060】

また、本発明の送信装置および受信装置は、コンピュータとそのプログラムとによって上記各実施形態の機能を実現することができる。プログラムは、半導体メモリや磁気ディスク等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における送信装置、サーバ、受信装置、クライアントとして機能させる。

【符号の説明】

【0061】

１ サーバ
２ クライアント
３ 通信網
１１ 画面キャプチャ手段
１２ 転送画像生成手段
１３ 通信手段
１５ 通信レート測定手段
２１ 画面表示手段
２２ 通信手段
２３ 入力手段
２４ クライアント
２４ 自手段
１００ 送信装置
１１０ 通信手段
１２０ 通信レート測定手段
１３０ 関心領域情報管理手段
１４０ 転送画像生成手段
２００ 受信装置
２１０ 通信手段
２２０ 画面表示手段
３００ 通信ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】