(58)【調査した分野】(Int.Cl.,DB名)
前記経路/圧縮率設定回路は、前記一の通信経路と前記他の通信経路のそれぞれにおいて送信されるデータ量が略等しくなるように、前記最もデータ量の大きい映像信号を分割する、請求項2記載の映像信号処理装置。
前記送信回路は、圧縮された映像信号に加えて、圧縮された映像信号を伸長するための伸長条件を示す情報と、送信経路の振り分けを示す振り分け情報と、映像信号の合成条件を示す情報とを、前記受信回路に送信し、
前記映像合成回路は、分割して送信された映像信号がある場合に前記振り分け条件に基づいて当該映像信号を分割される前の状態に戻し、前記合成条件に基づき映像合成を行う、
請求項4記載の映像信号伝送システム。
【発明を実施するための形態】
【0014】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者(ら)は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【0015】
(実施の形態1)
[1.構成]
本開示の映像信号伝送システムは、複数のソース装置から入力した映像信号を合成してディスプレイ装置に伝送するシステムである。
図1〜3は、本開示の実施の形態1に係る映像信号伝送システムの構成を示すブロック図である。
【0016】
図1は、映像信号伝送システムの全体構成を示すブロック図である。
図1に示すように、映像信号伝送システム100は、複数のソース装置1a〜1dから映像信号を受信し、圧縮して出力する映像信号処理装置2(送信装置)と、ネットワーク3を介して映像信号処理装置2からの映像信号を受信し、伸長し、合成してディスプレイ装置5に出力する受信装置4と、映像信号処理装置2に制御信号101を出力する制御装置10と、を備える。
【0017】
図2は、映像信号処理装置2の詳細な構成を示す図である。映像信号処理装置2は、ネットワーク3を介して受信装置4に対して映像信号を送信する送信装置として機能する。
図2に示すように、映像信号処理装置2は、第1ないし第4入力回路21a〜21d、経路/圧縮率設定回路22、第1ないし第4圧縮回路23a〜23d及び送信回路24を備える。
【0018】
経路/圧縮率設定回路22と、第1ないし第4圧縮回路23a〜23dのそれぞれとは第1ないし第4送信経路123a〜123dにより接続されている。また、圧縮回路23a〜23dで圧縮された映像信号を伝送する経路として、第1ないし第4通信経路125a〜125dが設定されている。送信回路24は、第1ないし第4圧縮回路23a〜23dのそれぞれから出力される映像信号を第1ないし第4通信経路125a〜125dを介してネットワーク3へ送信する。換言すれば、第1ないし第4圧縮回路23a〜23dは、第1ないし第4通信経路125a〜125dにて伝送される映像信号を圧縮する回路である。
【0019】
図3は、受信装置4の詳細な構成を示す図である。
図3に示すように、受信装置4は、受信回路41、伸長回路42a〜42d、映像合成回路43、及び記憶装置44を備える。
【0020】
ソース装置1a〜1dは、映像信号を出力する装置であり、例えば、Blu−ray(登録商標)ディスクプレーヤ、ハードディスクレコーダ、チューナ、パーソナルコンピュータ、カメラなどである。ソース装置1a〜1dは、映像信号111a〜111dを映像信号処理装置2にそれぞれ出力する。映像信号111a〜111dは種々のフォーマット(例えば、XGA、HD、4K)で出力される。映像信号111a〜111dは、動画データ又は静止画データを含む。複数のソース装置1a〜1dから同時に送信される映像信号は、動画を示す映像信号のみを含んでもよいし、静止画を示す映像信号のみを含んでもよいし、動画を示す映像信号と静止画を示す映像信号の組合せでもよい。
【0021】
ディスプレイ装置5は、液晶ディスプレイや有機ELディスプレイで構成される。ディスプレイ装置5は、単一のディスプレイ装置であってもよく、複数のディスプレイ装置の組み合わせであってもよい。複数のディスプレイ装置を組み合わせることにより、より大きな画面を構成することができる。
【0022】
制御装置10は、複数のウィンドウがディスプレイ装置5の画面に表示されたときの複数のウィンドウの位置及び重なり等を指定する合成条件をユーザが入力するための入力装置と、入力された合成条件を表示する表示装置とを備える。制御装置10は、例えば、パーソナルコンピュータ、タブレット型コンピュータ又は携帯情報端末で構成できる。ユーザは、制御装置10の入力装置を介して、ディスプレイ装置5に表示させる各ウィンドウの拡大、縮小、位置及びウィンドウ間の重なり等を指定する合成条件を設定することができる。制御装置10はユーザにより設定された合成条件を示す制御信号101を出力する。制御装置10は、例えば、以下の合成条件を含む制御信号101を映像信号処理装置2に供給する。
1)入力映像の画素数
2)映像の拡大率、縮小率、合成方法
【0023】
[2.動作]
以上のように構成される映像信号伝送システム100の動作を以下に説明する。
【0024】
[2−1.全体動作]
映像信号伝送システム100は、ソース装置1a〜1dからそれぞれ映像データを入力し、入力した複数の映像データを合成してディスプレイ装置5に送信する。具体的には、映像信号伝送システム100において、映像信号処理装置2は、映像データを、第1ないし第4入力回路21a〜21dによりソース装置1a〜1dから入力し、圧縮回路23a〜23dでそれぞれ圧縮する。それぞれの圧縮回路23a〜23dで圧縮された映像データは送信回路24によりネットワーク3を介して受信装置4に送信される。受信装置4は、受信回路41によりネットワーク3を介して受信した複数の映像データを伸長回路42a〜42dによりそれぞれ伸長し、映像合成回路43で合成してディスプレイ装置5に表示させる。
【0025】
図4は、映像信号伝送システム100から伝送されてディスプレイ装置5に表示される映像(ウィンドウ)の表示例を示した図である。映像信号伝送システム100は、4つのソース装置1a〜1dのそれぞれから入力された映像信号に対応するウィンドウA〜Bを
図4(A)または(B)に示すように合成してディスプレイ装置5に表示させる。
【0026】
図1〜3に戻り、映像信号処理装置2において、第1ないし第4入力回路21a〜21dはそれぞれ、ソース装置1a〜1dから映像信号111a〜111dを入力し、ディスプレイ装置5に表示されるウィンドウに該当する映像信号112a〜112dとして経路/圧縮率設定回路22に出力する。ここで、第1ないし第4入力回路21a〜21dのそれぞれに入力した映像信号は、基本的に、第1ないし第4送信経路113a〜113dを介して第1ないし第4圧縮回路23a〜23dのそれぞれに入力される。第1ないし第4圧縮回路23a〜23dで圧縮された映像信号はそれぞれ第1ないし第4通信経路125a〜125dを介して受信装置4に送信される。
【0027】
映像信号112a〜112dは、ディスプレイ装置5で表示されるウィンドウを構成する。各ウィンドウが示す映像は、映像信号112a〜112dに対して、制御装置10からの制御信号101にしたがい拡大、縮小、重ね合わせ等の処理がなされて生成される映像である。以下の説明では、映像信号112a〜112dに対応する各ウィンドウがディスプレイ装置5の表示領域全体中で占める表示面積の比率を「画面占有率」とする。
【0028】
入力した各映像信号は1つの送信経路123a〜123dを介して対応する圧縮回路23a〜23dへ送信される。例えば、第1ソース装置1aから入力した映像信号は第1送信経路123aを介して第1圧縮回路23aへ送信される。同様に、第2ないし第4ソース装置1b〜1dから入力した映像信号は、第2ないし第4送信経路123b〜123dをそれぞれ介して、第1ないし第4圧縮回路23b〜23dへそれぞれ送信される。第1ないし第4圧縮回路23b〜23dで圧縮された映像信号は第1ないし第4通信経路125a〜125dを介して受信装置4へ伝送される。
【0029】
本実施の形態では、各通信経路125a〜125dでのデータ量の偏りがある場合、その偏りがより低減されるように、データ量の大きい映像信号(映像データ)を分割し、分割した映像信号に対して、それらを伝送する通信経路125a〜125d(すなわち、送信経路123a〜123d)を設定する。このため、経路/圧縮率設定回路22は、各映像信号に対応するウィンドウに対する画面専有率を求め、画面専有率に偏りがある場合は、画面占有率の大きい映像信号(映像データ)を分割して複数の通信経路(すなわち、送信経路)に振り分けて送信する。さらに、経路/圧縮率設定回路22は、振り分け後の映像信号の状態に基づき映像信号に対する圧縮率を設定する。
【0030】
具体的には、経路/圧縮率設定回路22は、画面占有率が比較的大きい映像信号と、画面占有率が比較的小さい映像信号とを検出する。例えば、経路/圧縮率設定回路22は、画面占有率が比較的大きい映像信号として、入力した映像信号の中で画面占有率が最も大きい映像信号を検出する。また、経路/圧縮率設定回路22は、画面占有率が比較的小さい映像信号として、入力した映像信号の中で画面占有率が最も小さい映像信号を検出する。そして、経路/圧縮率設定回路22は、画面占有率が比較的大きい映像信号の映像データの一部のブロックを、その映像信号の本来の通信経路(送信経路)へ出力する。さらに、画面占有率が比較的大きい映像信号が示す映像データから一部のブロックを取り除いた残りのブロックを、画面占有率が比較的小さい映像信号に対する通信経路(送信経路)へ振り分ける。これにより、画面占有率が比較的大きい映像信号に対する通信経路(送信経路)に対しては、一部のブロックのデータのみが出力される。また、画面占有率が比較的小さい映像信号に対する通信経路(送信経路)に対しては、画面占有率が比較的小さい映像信号のデータと、画面占有率が比較的大きい映像信号の残りのブロックのデータとが出力される。このように、経路/圧縮率設定回路22は、画面占有率が高い映像信号については、複数の通信経路に振り分けて伝送する。
【0031】
例えば、入力した4つの映像信号112a〜112dにおいて、画面占有率が最大の映像信号が映像信号112aであり、画面占有率が最小の映像信号が映像信号112dである場合を考える。この場合、経路/圧縮率設定回路22は、映像信号112a中の一部のブロックに関する映像信号を、第1通信路125a(すなわち、第1送信経路123a)に振り分ける。同時に、経路/圧縮率設定回路22は、映像信号112a中の残りのブロックに関する映像信号を第4通信経路125d(第4送信経路123d)に振り分ける。これにより、第4通信経路125d(第4送信経路123d)には、映像信号112dと、映像信号112a中の残りのブロックに関する映像信号とが出力される。
【0032】
経路/圧縮率設定回路22は、通信経路125a〜125d(または送信経路123a〜123d)の振り分け状態を示す振り分け情報を、制御信号101が示す情報と合わせて制御信号102として送信回路24に送信する。さらに、経路/圧縮率設定回路22は、振り分け後の映像信号113a〜113dに応じて設定された圧縮率を示す圧縮信号121を出力する。
【0033】
第1ないし第4圧縮回路23a〜23dはそれぞれ、基本的に第1ないし第4ソース装置1a〜1dからの映像信号113a〜113dを圧縮するために設けられた回路である。第1ないし第4圧縮回路23a〜23dは、圧縮信号121にしたがい、映像信号113a〜113dを圧縮し、圧縮後の映像信号114a〜114dを生成し、送信回路24に送信する。
【0034】
送信回路24は、圧縮後の映像信号114a〜114dと、圧縮信号121と、制御信号102とを統合し、通信データ115として、ネットワーク3を介して、受信装置4に送信する。ネットワーク3は、例えば、LAN、WANなどである。
【0035】
送信回路24は、圧縮後の映像信号114a〜114dを同期して送信するために、映像信号を一時的に格納するバッファ回路25を内部に備えている。
【0036】
受信回路41はネットワーク3を介して通信データ115を受信する。受信回路41は、受信した通信データ115から、映像信号116a〜116dと、伸長するための条件を示す伸長信号122と、映像信号の合成条件等を示す制御信号103とを分離し、第1ないし第4伸長回路42a〜42dと映像合成回路43とに出力する。伸長信号122は、経路/圧縮率設定回路22で設定された圧縮率を示す情報を含む圧縮信号121である。制御信号103は、映像データを複数の経路に振り分けて送信したときのブロックを振り分け前の状態に戻すための情報(振り分け条件)と、ウィンドウの位置、重ね合わせ等の合成条件を示す情報とを含む。
【0037】
第1ないし第4伸長回路42a〜42dはそれぞれ、第1ないし第4圧縮回路23a〜23dで圧縮された映像信号を伸長する回路である。第1ないし第4伸長回路42a〜42dは映像信号116a〜116dを伸長信号122が示す圧縮率に基づき伸長し、伸長後の映像信号117a〜117dを生成し、映像合成回路43に送る。
【0038】
映像合成回路43は、制御信号103が示す振り分け条件にしたがい、伸長後の映像信号117a〜117dを、経路/圧縮率設定回路22が経路変更する前の映像信号の状態に戻す。さらに、映像合成回路43は、制御信号103が示す合成条件にしたがい各映像信号が示す映像を合成し、合成された映像を表示するための映像信号118を生成し、ディスプレイ装置5に送る。
【0039】
記憶装置44は、受信回路41で受信した制御信号103を格納する。経路/圧縮率設定回路22により設定される振分け条件が更新されるまで、ディスプレイ装置5の表示状態が保持される。記憶装置44は、半導体メモリ、SSD、HDD等の記録媒体で構成される。
【0040】
以上の動作により、各映像信号111a〜111dに対応する複数のウィンドウがディスプレイ装置5の画面に表示される(
図4参照)。
【0041】
ここで、本実施の形態の映像信号伝送システム100が解決する課題について説明する。なお、以下の説明では、
図5に示すように、ディスプレイ装置5の画面を64(8×8)ブロックに分割し、画面占有率をブロック単位で求めている。
【0042】
図5(A)、(B)はそれぞれ、
図4(A)、(B)に示すウィンドウ配置の例を示した図であり、各ウィンドウの画面占有率を示した図である。
図5(A)、(B)において、ウィンドウA、B、C、Dは、それぞれ、映像信号111a、111b、111c、111dによる映像に対応する。
図6(A)は、
図5(A)の場合における、入力した各映像信号112a〜112dのデータ量を模式的に示した図である。
図6(B)は、
図5(A)の場合における、第1ないし第4通信経路125a〜125dにおいて送信される各映像データの使用率を模式的に示した図である。ここで、データの使用率とは、画面全体のデータ量に対する、1つの通信経路にて伝送されるデータ量(すなわち、1つの圧縮回路で処理されるデータ量)の割合を示す。
【0043】
図5(A)の例では、各映像信号112a〜112dのそれぞれが示す映像データの量は同じであり(
図6(A)参照)、各ウィンドウA〜Dは均等な画面占有率を有する。画面全体は64ブロック分の面積を有し、各ウィンドウA〜Dは16ブロック分の面積を有する。ウィンドウA〜Dの画面占有率を以下のようになる。
ウィンドウAの画面占有率=25%(=16/64)・・・(1a)
ウィンドウBの画面占有率=25%(=16/64)・・・(1b)
ウィンドウCの画面占有率=25%(=16/64)・・・(1c)
ウィンドウDの画面占有率=25%(=16/64)・・・(1d)
【0044】
4つのウィンドウの画面占有率は全て25%であり、4つの映像データのデータ量に偏りがない。偏りがない場合、
図6(B)に示すように、各ウィンドウの圧縮率(ε1)は、同じ圧縮率に設定することが可能である。以下、偏りがない場合に設定される圧縮率を「基本圧縮率ε1」という。各映像に対して同じ圧縮率で圧縮するため、同一画面に複数のウィンドウの映像が重なって表示される場合であっても、映像が重なる境界における画質の差は発生しない。
【0045】
一方、
図5(B)は、ウィンドウ間の画面占有率に偏りがある場合の画面イメージの例を示している。ウィンドウAは36ブロック分の面積を有し、ウィンドウB、Cは9ブロック分の面積を有し、ウィンドウDは4ブロック分の面積を有する。ウィンドウA〜Dの画面占有率を次のようになる。
ウィンドウAの画面占有率=56%(=36/64)・・・(2a)
ウィンドウBの画面占有率=14%(=9/64) ・・・(2b)
ウィンドウCの画面占有率=14%(=9/64) ・・・(2c)
ウィンドウDの画面占有率= 6%(=4/64) ・・・(2d)
【0046】
以上のように各ウィンドウA〜Dの映像データのデータ量に偏りが発生している。映像データ間のデータ量に偏りがない
図5(A)の例では、画面全体の画面占有率は100%であったが、映像データ間のデータ量に偏りがある
図5(B)の例では、画面占有率は81%(52/64ブロック)である。
【0047】
図5(B)に示すように映像データのデータ量に偏りが発生している場合、データ圧縮方法として、以下の2つの方法が考えられる。一つは、全ウィンドウの圧縮率を同一に設定する方法であり、他の一つは、圧縮率をウィンドウ毎に設定する方法である。
図7、8を参照して、これらのデータ圧縮方法に内在する課題を説明する。
【0048】
図7を参照して、全ウィンドウの圧縮率を同一に設定する例について説明する。
図7(A)は、入力した各映像信号112a〜112dのデータ量を模式的に示した図である。
図7(B)は、想定する画面イメージを示しており、これは
図5(B)に示す画面イメージと同じである。
図7(C)は、第1ないし第4通信経路125a〜125dにおいて送信される各映像データの使用率を模式的に示した図である。
【0049】
図7(A)から、ウィンドウAが最も高い画面占有率を有し、ウィンドウDが最も低い画面占有率を有する。表示画面全体は64ブロックの大きさを有する。このため、全映像データを4つの通信経路113a〜113dで均等に通信する場合、1経路当たりに送信されるデータ量は16(=64/4)ブロックとなる。よって、
図7(A)に示す画面に対して、1つの通信経路において送信されるデータの使用率を、全体の25%以下にするための圧縮率αは次式で算出される。
α=ε1×(最高の画面占有率を有するウィンドウ(A)が占有するブロックの数)
/(均等に通信する場合の1通信経路当たりのブロック数)
=ε1×(36/16) ・・・(3a)
【0050】
映像信号を式(3a)で求めた圧縮率αで圧縮したときの、1つの通信経路における各ウィンドウA〜Dについての通信データの使用率を次式で計算する。
各ウィンドウについての通信データの使用率
=(各ウィンドウのブロック数/α)/64 ・・・(3b)
【0051】
式(3b)より、ウィンドウA〜Dに対する使用率は具体的に下記のようになる。
ウィンドウAについての通信データの使用率
={(ウィンドウAのブロック数:36)/(36/16)}/64
=25.0% ・・・(4a)
ウィンドウBについての通信データの使用率は
={(ウィンドウBのブロック数:9)/(36/16)}/64
=6.3% ・・・(4b)
ウィンドウCについての通信データの使用率は
={(ウィンドウCのブロック数:9)/(36/16)}/64
=6.3% ・・・(4c)
ウィンドウDについての通信データの使用率は
={(ウィンドウDのブロック数:4)/(36/16)}/64
=2.8% ・・・(4d)
【0052】
一般的に映像信号の圧縮処理技術は、圧縮回路及び伸長回路を通して圧縮・伸長した映像信号と圧縮・伸長しない元の映像信号は完全に一致しない特性がある。そのため映像信号を高い圧縮率や高い伸長率で圧縮・伸長を繰り返すと画質が劣化する傾向にある。
【0053】
つまり全映像信号の中で最も画面占有率が高いウィンドウAの圧縮率αで全映像を一律に圧縮・伸長すると、画面占有率の低いウィンドウB、ウィンドウC、ウィンドウDに対しても高い圧縮率αで圧縮・伸長される。すなわち、ウィンドウB〜Dに対しては、対応する通信経路における通信に本来必要な圧縮率よりも高い圧縮率αで圧縮・伸長される。このため、ウィンドウB〜Dに対して画質をより劣化させるという課題がある。
【0054】
次に、
図8を参照して、圧縮率を各ウィンドウ別に設定した例について説明する。式(2a)〜(2d)に示す各ウィンドウの画面占有率に応じて、各ウィンドウの映像に対する通信データの使用率が25%以下になるような各ウィンドウの圧縮率α、β、γ、δは次式のようになる。
α=ε1×(ウィンドウAのブロック数)/(1経路当たりのブロック数)
=ε1×(36/16) ・・・(5a)
β=ε1×(ウィンドウBのブロック数)/(1経路当たりのブロック数)
=ε1×(9/16) ・・・(5b)
γ=ε1×(ウィンドウCのブロック数)/(1経路当たりのブロック数)
=ε1×(9/16) ・・・(5c)
δ=ε1×(ウィンドウDのブロック数)/(1経路当たりのブロック数)
=ε1×(4/16) ・・・(5d)
【0055】
圧縮率α、β、γ、δで各ウィンドウのデータを圧縮した場合、各ウィンドウのデータは同じデータ量に圧縮される。よって、圧縮率α、β、γ、δで各ウィンドウのデータを圧縮したときの、各通信経路を通過する通信データの使用率は次式のようになり、使用率をほぼ同一にすることができる。
ウィンドウAの通信データの使用率
=25%(=16/64) ・・・(6a)
ウィンドウBの通信データの使用率
=25%(=16/64) ・・・(6b)
ウィンドウCの通信データの使用率
=25%(=16/64) ・・・(6c)
ウィンドウDの通信データの使用率
=25%(=16/64) ・・・(6d)
【0056】
しかし、各ウィンドウの圧縮率α、β、γ、δは次式の関係を有する。
α>β=γ>δ>1 ・・・(7)
【0057】
このように圧縮率に差異があり、例えば、ウィンドウAとウィンドウBの圧縮率の比α/βは4倍である。ウィンドウAとウィンドウCの圧縮率の比α/γは4倍である。ウィンドウAとウィンドウDの圧縮率の比α/δは9倍である。ウィンドウBとウィンドウCの圧縮率の比β/γは1倍である。ウィンドウBとウィンドウDの圧縮率の比β/δは2.3倍である。ウィンドウCとウィンドウDの圧縮率の比γ/δは2.3倍である。
【0058】
このため、高い圧縮率(例えば、α)で圧縮・伸長した映像信号(例えば、映像信号112a)と、低い圧縮率(例えば、δ)で圧縮・伸長した映像信号(例えば、映像信号112d)とを、同一画面に重ねて表示したとき映像が重なる境界で画質差が発生する傾向にある。
【0059】
つまり、式(7)のとおり各ウィンドウの画面占有率に応じてα、β、γ、δという異なる圧縮率で各映像を圧縮して送信すると、ウィンドウAと他のウィンドウB、C、D間で圧縮率が大きく異なるため、複数のウィンドウが重なる境界で大きな画質差が発生する課題がある。
【0060】
本実施の形態の映像信号処理装置2は、経路/圧縮率設定回路22の動作により上記の課題を解決する。
【0061】
[2−2.経路/圧縮率設定回路の動作]
(1)経路/圧縮率設定回路の動作例1
以下、
図9を参照して、映像信号処理装置2における経路/圧縮率設定回路22の動作について説明する。
【0062】
映像信号処理装置2の経路/圧縮率設定回路22は、通信経路125a〜125dにおけるデータ使用率の偏りを低減するため、各通信経路125a〜125d(換言すれば、送信経路123a〜123d)に割り当てるデータ量(ブロック数)を変更する。
【0063】
具体的には、具体的には、経路/圧縮率設定回路22は各映像信号112a〜112dについて画面占有率を算出する。画面占有率に基づき、経路/圧縮率設定回路22は、各通信経路で送信されるデータ量すなわち画面占有率の偏りがあるか否かを判断する。例えば、経路/圧縮率設定回路22は、映像信号間の画面占有率の差が所定値以上となる映像信号が存在するか否かを判断する。画面占有率の差が所定値以上となる映像信号が存在する場合、データ量すなわち画面占有率の偏りがあると判断し、経路/圧縮率設定回路22は、画面占有率が高い映像信号のデータの一部を、画面占有率が低い映像信号を伝送する通信経路125a〜125d(送信経路123a〜123d)に割り振る。これにより、各通信経路125a〜125d(すなわち各送信経路123a〜123d)で伝送されるデータ量の偏りを低減し、各通信経路において伝送される映像信号に均一な圧縮率を適用したときの全体としての通信効率を向上する。
【0064】
例えば、
図5(B)に示す例において式(2a)〜(2c)に示すような画面占有率の偏りがある場合、画面占有率が次式に示すような値になるように、画面占有率が大きいウィンドウAのデータの一部(データA2)を、画面占有率が小さいウィンドウDに対する第4送信経路123dに振り分ける。これにより、ウィンドウDの映像データと、ウィンドウAの映像データのうちの一部のデータA2とが、第4通信経路125d(第4送信経路123d)に出力される。また、ウィンドウAの映像データのうちの残りのデータA1が、第1通信経路125a(第1送信経路123a)に出力される。このとき、最終的に第1通信経路125aに割り当てられた全データのデータ量と、最終的に第4通信経路125dに割り当てられた全データのデータ量とが等しくなるようにデータA1,A2のサイズが決定される。このような割り当てにより画面占有率は下記のようになる。
ウィンドウA1の画面占有率
=31%(=20/64) ・・・(8a)
ウィンドウBの画面占有率
=14%(=9/64) ・・・(8b)
ウィンドウCの画面占有率
=14%(=9/64) ・・・(8c)
ウィンドウD及びA2の画面占有率
=31%(=20/64) ・・・(8d)
【0065】
式(8a)〜(8d)より最も画面占有率が高いブロックA1の通信データの使用率が25%以下になるように圧縮率ε2を求める。
ε2=ε1×(ウィンドウA1のブロック数)/(1経路当たりのブロック数)
=ε1×(20/16
) ・・・(9)
全ウィンドウを圧縮率ε2で一律に圧縮することにより、同一画面に複数のウィンドウ(映像)が重なって表示される場合であっても、各ウィンドウの圧縮率が同じであるため、映像が重なる境界で画質差が発生しにくくなる。
【0066】
更に経路変更後の圧縮率ε2は、前述の方法(
図7参照)で求めた圧縮率αよりも小さい値に設定できるため、画質の劣化をより抑制することができる。
【0067】
(2)経路/圧縮率設定回路の動作例2
実施の動作例1で述べた方法では、画面占有率が大きいウィンドウAの送信データの一部A2を、画面占有率が小さいウィンドウDの通信経路125dのみに振り分けた場合、下記のとおり各通信経路125a〜125dに対する通信データの使用率が均一にならない場合がある(
図9参照)。
ウィンドウA1の通信データの使用率
=25%(=16/64) ・・・(10a)
ウィンドウBの通信データの使用率
=11.3%(=7.2/64) ・・・(10b)
ウィンドウCの通信データの使用率
=11.3%(=7.2/64) ・・・(10c)
ブロックA2を振り分けたウィンドウDの通信データの使用率
=25%(=16/64) ・・・(10d)
【0068】
すなわち、ウィンドウB、Cに対する通信経路125b、125cにおける通信データの使用率はウィンドウA、Dに対する通信経路125a、125dにおける通信データの使用率よりも低くなっている。すなわち、通信効率が低い通信経路が存在することになる。
【0069】
そこで、全体としての通信効率をより向上させるため、経路/圧縮率設定回路22は、
図10に示すように、各ウィンドウに対する送信経路の画面占有率が均一になるように画面占有率が高いウィンドウを複数のブロックに分割し、画面占有率が高いウィンドウに対する通信経路(すなわち、送信経路)以外の通信経路(送信経路)に振り分けてもよい。
【0070】
具体的には、ウィンドウAのデータを4つのブロックA1〜A4に分割する。ブロックA1は14.5ブロック分のデータを含み、ブロックA2及びA3は5.5ブロック分のデータを含み、ブロックA4は10.5ブロック分のデータを含む。経路/圧縮率設定回路22は、ブロックA1のデータをウィンドウAに対する第1通信経路125a(第1送信経路123a)に振り分ける。ブロックA2のデータは、ウィンドウBに対する第2通信経路125b(第2送信経路123b)に振り分けられる。ブロックA3のデータはウィンドウCに対する第3通信経路125c(第3送信経路123c)に振り分けられる。ブロックA4のデータはウィンドウDに対する第4通信経路125d(第4送信経路123d)に振り分ける。
【0071】
以上の振り分けにより、第1通信経路125aには、ウィンドウAのブロックA1(以下「ウィンドウA1」という)のデータが送信される。第2通信経路125bには、ウィンドウAのブロックA2(以下「ウィンドウA2」という)のデータと、ウィンドウBのデータとが送信される。第3通信経路125cには、ウィンドウAのブロックA3(以下「ウィンドウA3」という)のデータと、ウィンドウCのデータとが送信される。第4通信経路125dには、ウィンドウAのブロックA4部分(以下「ウィンドウA4」という)のデータと、ウィンドウBのデータとが送信される。各ウィンドウの画面占有率は以下のように均等になる。
ウィンドウA1の画面占有率
=23%(=14.5/64) ・・・(11a)
ウィンドウB及びA2の画面占有率
=23%(=14.5/64) ・・・(11b)
ウィンドウC及びA3の画面占有率
=23%(=14.5/64) ・・・(11c)
ウィンドウD及びA4の画面占有率
=23%(=14.5/64) ・・・(11d)
【0072】
各ウィンドウの通信データの使用率が25%以下になるように圧縮率ε3を求めると次式となる。
ε3=ε1×(A1ウィンドウのブロック数)/(1経路当たりブロック数)
=ε1×(14.5/16) ・・・(12)
【0073】
式(12)より、
図10の例に対して、経路/圧縮率設定回路22により設定される圧縮率ε3は、
図5(A)及び
図6に示す4つの各ウィンドウのデータ量に偏りが発生していないときの基本圧縮率ε1より小さい。このため、従来の圧縮率αよりも圧縮率を小さく設定できるため、画質の劣化が生じにくい映像信号処理装置を提供することができることに加え、通信効率も高めることができる。
【0074】
(3)経路/圧縮率設定回路の動作例3
以下、ウィンドウの画面占有率が変更されたときの経路/圧縮率設定回路22の動作について説明する。経路/圧縮率設定回路22は、少なくとも1つのウィンドウが拡大/縮小された場合に、拡大/縮小後の画面占有率に基づき圧縮率を設定してもよい。
【0075】
制御装置10は、制御信号101によりウィンドウA〜Dを拡大、縮小、重ね合わせる等の表示制御を行う。すなわち、制御信号101により各ウィンドウA〜Dを合成した後の全ウィンドウの画面占有率も可変できる。以下、
図9(B)に示す画面配置から
図11(B)に示す画面配置へ変更したときの動作について説明する。
【0076】
図9(B)に示す例において、全ウィンドウの画面占有率は次式で算出される。
全ウィンドウの画面占有率=81%(=52/64) ・・・(13)
【0077】
図9(B)に示す状態から、制御装置10からの制御信号101にしたがいウィンドウB、Cが拡大され、全ウィンドウの画面占有率が81%から100%に達する。この場合でも、限られた帯域内で各ウィンドウの映像データを送信する必要がある。このため、変更後の画面占有率を考慮して圧縮率を設定するのが好ましい。
【0078】
図11に示す場合について圧縮率ε4は式(9)と式(13)を参照して次式で算出される。
ε4=ε2×α×(振分け後のブロック数/振分け前のブロック数)
÷(全ウィンドウのブロック数/表示可能なブロック数)
=ε2×α×(20/36)÷(52/64)
=ε2×α×0.68 ・・・(14)
【0079】
経路/圧縮率設定回路22は、全ウィンドウの画面占有率が最大100%に達しても、各ウィンドウ(映像信号)の画面占有率と、全ウィンドウの画面占有率とを判定し、画面占有率の小さい映像信号を送信する送信経路へ、画面占有率の大きい映像信号のデータの一部を振り分ける。これにより、送信経路間の通信データ量の偏りを低減することができる。
【0080】
このように各ウィンドウを同じ圧縮率(ε4)で圧縮することで、同一画面に複数の映像が重なって表示されても、映像が重なる境界での画質差が発生しにくくなる。
【0081】
さらに送信経路の変更後に設定した圧縮率(ε4)は、従来の圧縮率αよりも圧縮率を小さく設定できるため、画質の劣化をより抑制することが可能になる。
【0082】
[3.効果、等]
以上のように、本実施の形態に係る映像信号処理装置2は、複数のソース装置1a〜1dから映像信号を入力し、複数の通信経路125a〜125dを介して出力する装置である。映像信号処理装置2は、通信経路毎に設けられ、各通信経路で送信される映像信号を圧縮する複数の圧縮回路23a〜23dと、各圧縮回路で圧縮された映像信号を、各圧縮回路に対応する通信経路を介して出力する送信回路24と、入力した各映像信号のデータ量に基づいて、映像信号毎に、各映像信号の一部または全部を送信する通信経路を決定するとともに、全圧縮回路23a〜23dに共通の圧縮率を設定する経路/圧縮率設定回路22と、を備える。経路/圧縮率設定回路22は、データ量が比較的高い映像信号を分割し、分割した一部をデータ量が比較的低い映像信号を伝送する通信経路に振り分ける。
【0083】
上記構成によれば、各映像信号を同一の圧縮率で圧縮することにより、同一画面に複数のウィンドウ(映像)が重なって表示される場合であっても、映像が重なる境界で画質差が発生しにくくなる。さらに、データ量が比較的大きい映像信号を分割して複数の通信経路に振り分ける。これにより、圧縮率を、分割しない場合の圧縮率(α)よりも小さい値に設定できるため、画質の劣化をより抑制することができる。すなわち、画面上の映像の劣化及びリアルタイム性能の低下が生じにくい映像信号伝送システムを提供することができる。
【0084】
経路/圧縮率設定回路22は、入力した映像信号の中で最もデータ量の大きい映像信号の一部A1を、一の通信経路125aに振り分けてもよい。同時に、経路/圧縮率設定回路22は、最もデータ量の大きい映像信号において残りの部分(A2、A3、A4)を、さらに一つまたは複数の部分に分割して、一つまたは複数の他の通信経路125b、125c、125dに振り分けてもよい。これにより、通信経路間の転送データ量の偏りを低減できる。
【0085】
また、経路/圧縮率設定回路22は、一の通信経路と他の通信経路のそれぞれにおいて送信されるデータ量が略等しくなるように、最もデータ量の大きい映像信号を分割してもよい。これにより、各通信経路で転送されるデータを同一圧縮率で圧縮した場合に、より効率的なデータ転送が可能となる。
【0086】
経路/圧縮率設定回路22は、分割して送信される映像信号(経路が変更された映像信号)がある場合、共通の圧縮率を、映像信号を分割しないときに想定される圧縮率よりも低い圧縮率に設定してもよい。これにより圧縮に伴う映像劣化を低減できる。
【0087】
上記の実施の形態の映像信号伝送システム100は、映像信号処理装置2と、ネットワーク3を介して映像信号処理装置2から映像信号を受信し、受信した映像信号に基づき合成映像を生成し、合成映像を示す映像信号をディスプレイ装置5に送信する受信装置4と、を備える。受信装置4は、送信回路24から映像信号を受信する受信回路41と、受信した各映像信号を伸長する伸長回路42a〜42dと、伸長された各映像信号が示す画像を合成する映像合成回路43と、を備える。映像合成回路43は、分割して送信された映像信号がある場合、当該映像信号を分割される前の状態に戻し、戻した後の映像信号に基づき映像合成を行う。
【0088】
映像信号伝送システム100において、送信回路24は、圧縮された映像信号115に加えて、圧縮された映像信号を伸長するための伸長条件を示す情報121と、送信経路の振り分けを示す振り分け情報102と、映像信号の合成条件を示す情報102とを、受信回路41に送信してもよい。映像合成回路43は、分割して送信された映像信号がある場合に振り分け条件に基づいて当該映像信号を分割される前の状態に戻し、合成条件に基づき映像合成を行う。
【0089】
映像信号伝送システム100は、合成映像における各映像信号が示す映像の位置及び重なりを指定する制御信号を映像信号処理装置2に供給する制御装置10をさらに備えてもよい。これにより、ユーザは、合成映像における、各映像信号が示す映像の位置及び重なりを設定することができる。
【0090】
受信装置4は、経路/圧縮率設定回路22が設定する経路と圧縮率を示す情報を格納する記憶装置44を備えてもよい。一旦記憶装置44に経路と圧縮率を示す情報を格納することで、記憶装置44からそれらの情報を読み出すことにより、それらの情報を利用することが可能となる。
【0091】
映像信号は、動画データを含む映像信号及び/又は静止画データを含む映像信号であってもよい。
【0092】
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1で説明した各構成を適宜組み合わせて、新たな実施の形態とすることも可能である。
【0093】
上記の実施の形態では、ディスプレイ装置5に表示される画像のサイズを64ブロックに分割したが、分割するブロックの数は64に限定されるものではない。
【0094】
また、ソース装置、圧縮回路、通信経路等の数を一例として4としたが、これらの数は4に限定されるものではなく、任意の数としてよい。
【0095】
上記の実施の形態において、経路/圧縮率設定回路22は、各通信経路で送信されるデータ量(すなわち画面占有率)の偏りがあるか否かを画面占有率の差に基づき判断した。各通信経路で送信されるデータ量の偏りがあるかの判断を他の条件に基づき行っても良い。例えば、判断条件として、映像信号間の画面占有率の比が所定値以上となる映像信号が存在するか否かを判断してもよい。または、画面占有率に替えて、映像信号が伝送するデータ量に基づき各通信経路で送信されるデータ量(すなわち画面占有率)の偏りを判断してもよい。
【0096】
制御装置10は、ユーザによるリアルタイム制御により制御信号101を生成してもよく、予め決められたプログラムに従って自動的に制御信号101を生成してもよい。
【0097】
圧縮回路23a〜23dの個数はソース装置1a〜1dの個数に一致していなくてもよい。例えば、単一の圧縮回路により複数の入力した映像信号を圧縮してもよい。伸長回路42a〜42dの個数もソース装置1a〜1dの個数に一致していなくてもよい。例えば、単一の伸長回路により複数の入力した映像信号を伸長してもよい。
【0098】
受信装置4とディスプレイ装置5とは一体化して構成されてもよい。映像信号処理装置2と制御装置10とは一体化して構成されてもよい。
【0099】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【0100】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【0101】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。