特開 2023-179855 映像分割装置、映像合成装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023179855

(43)【公開日】2023-12-20

(54)【発明の名称】映像分割装置、映像合成装置及びプログラム

(51)【国際特許分類】

   H04N 21/234 20110101AFI20231213BHJP

   H04N 21/238 20110101ALI20231213BHJP

   H04N 21/44 20110101ALI20231213BHJP

   H04N 21/438 20110101ALI20231213BHJP

   H04N 7/01 20060101ALI20231213BHJP

【ＦＩ】

H04N21/234

H04N21/238

H04N21/44

H04N21/438

H04N7/01 170

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022092720

(22)【出願日】2022-06-08

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100121119

【弁理士】

【氏名又は名称】花村 泰伸

(72)【発明者】

【氏名】池田 善敬

(72)【発明者】

【氏名】山下 誉行

(72)【発明者】

【氏名】大出 訓史

(72)【発明者】

【氏名】野村 光佑

(72)【発明者】

【氏名】正岡 顕一郎

(72)【発明者】

【氏名】日下部 裕一

【テーマコード（参考）】

5C063

5C164

【Ｆターム（参考）】

5C063AA06

5C063AB11

5C063BA20

5C063CA05

5C164GA02

5C164SB01P

5C164SB08S

5C164SB21P

5C164TA14S

5C164UB01P

5C164UB10S

5C164UB21P

(57)【要約】

【課題】任意のアスペクト比及び画素数の映像信号を伝送する。
【解決手段】映像分割装置１のサブフレーム分割部１０は、フルフレームＦＦの映像をＮ個のサブフレームＳＦに分割し、分割情報Ｃ（ＩＤ１，・・・，ＩＤ５）を生成する。有効フレーム指定部１１は、ユーザ操作に従い有効フレームＥＦを指定し、有効フレームＥＦを識別するための有効フレーム情報Ａを生成する。サブ有効フレーム指定部１２は、サブフレームＳＦ毎に、分割情報Ｃ及び有効フレーム情報Ａに基づいてサブ有効フレームＳＥＦを指定し、サブ有効フレームＳＥＦを識別するためのサブ有効フレーム情報Ｂ（ＩＤ６，ＩＤ７）を生成する。映像送信部１３は、サブフレームＳＦ毎に、分割情報Ｃ及びサブ有効フレーム情報Ｂを用いて識別情報Ｉ（ＩＤ１，・・・，ＩＤ７）を生成し、サブフレームＳＦ及び識別情報Ｉを多重し、サブフレームＳＦ毎の映像信号を、ＳＤＩの各リンクを介して送信する。
【選択図】図３

【特許請求の範囲】

【請求項1】

フルフレームの映像を分割して送信する映像分割装置において、
前記フルフレームを複数のサブフレームに分割するサブフレーム分割部と、
前記フルフレーム内の所定領域を有効フレームとして指定し、前記フルフレーム内の前記有効フレームの位置を示す有効フレーム情報を生成する有効フレーム指定部と、
前記サブフレーム分割部により分割された前記複数のサブフレームのそれぞれについて、前記有効フレーム指定部により生成された前記有効フレーム情報を用いて、当該サブフレームのうち前記有効フレームと重なる領域をサブ有効フレームとして指定し、当該サブフレーム内の前記サブ有効フレームの位置を示すサブ有効フレーム情報を生成するサブ有効フレーム指定部と、
前記サブフレーム分割部により分割された前記複数のサブフレームのそれぞれについて、前記サブ有効フレーム指定部により生成された当該サブフレームに対応する前記サブ有効フレーム情報を含み、前記有効フレーム及び前記サブ有効フレームを識別するための識別情報を生成し、当該サブフレーム及びこれに対応する前記識別情報を映像信号として、
前記複数のサブフレームに対応する複数の映像信号を、複数のリンクを介して送信する映像送信部と、
を備えたことを特徴とする映像分割装置。

【請求項2】

請求項１に記載の映像分割装置において、
前記識別情報を、前記サブ有効フレーム情報に加え、前記複数のサブフレームの総数、前記フルフレームにおける前記複数のサブフレームの配列関係、及び前記フルフレーム内の当該サブフレームの位置に応じた番号を含む情報とする、ことを特徴とする映像分割装置。

【請求項3】

請求項１に記載の映像分割装置において、
前記サブ有効フレーム情報を、前記サブ有効フレームの水平方向及び垂直方向の画素数、及び前記サブフレームの中心画素と前記サブ有効フレームの中心画素との間における水平方向及び垂直方向の画素数とする、ことを特徴とする映像分割装置。

【請求項4】

請求項１に記載の映像分割装置において、
前記サブ有効フレーム情報を、前記サブ有効フレームにおける左上の画素の座標情報及び右下の画素の座標情報とする、ことを特徴とする映像分割装置。

【請求項5】

請求項１に記載の映像分割装置において、
前記映像送信部は、
前記複数のサブフレームのそれぞれについて、前記サブ有効フレームが当該サブフレームと一致しない場合、前記サブ有効フレーム情報を含む前記識別情報を生成し、
前記サブ有効フレームが当該サブフレームと一致する場合、前記サブ有効フレーム情報を含まず、かつ、前記複数のサブフレームの総数、前記フルフレームにおける前記複数のサブフレームの配列関係、及び前記フルフレームにおける当該サブフレームの位置に応じた番号を含む前記識別情報を生成する、ことを特徴とする映像分割装置。

【請求項6】

映像分割装置から、フルフレームが分割された複数のサブフレームとこれらに対応する複数の識別情報とを含む複数の映像信号を受信し、前記複数のサブフレームを前記フルフレームに合成し、前記フルフレーム内の所定領域を、前記映像分割装置により指定された有効フレームの映像として出力する映像合成装置であって、
前記複数の映像信号を複数のリンクを介して受信し、前記複数の映像信号に含まれる前記複数のサブフレームのそれぞれについて、当該サブフレームと前記有効フレームとが重なる領域をサブ有効フレームとして、当該サブフレームに対応する前記識別情報から、当該サブフレーム内の前記サブ有効フレームの位置を示すサブ有効フレーム情報を抽出する映像受信部と、
前記映像受信部により抽出された前記複数のサブフレームのそれぞれに対応する前記サブ有効フレーム情報を用いて、前記フルフレーム内の前記有効フレームの位置を示す有効フレーム情報を生成するフレーム処理部と、
前記映像受信部により受信された前記複数の映像信号に含まれる前記複数のサブフレームを前記フルフレームに合成し、前記フレーム処理部により生成された前記有効フレーム情報に基づいて、前記フルフレームから前記有効フレームの映像を抽出するサブフレーム合成部と、
を備えたことを特徴とする映像合成装置。

【請求項7】

請求項６に記載の映像合成装置において、
前記識別情報を、前記サブ有効フレーム情報に加え、前記複数のサブフレームの総数、前記フルフレームにおける前記複数のサブフレームの配列関係、及び前記フルフレーム内の当該サブフレームの位置に応じた番号を含む情報とし、
前記映像受信部は、
前記複数のサブフレームのそれぞれについて、当該サブフレームに対応する前記識別情報から前記サブ有効フレーム情報を抽出すると共に、前記複数のサブフレームの総数、前記複数のサブフレームの配列関係及び前記サブフレームの位置を抽出し、前記複数のサブフレームの総数、前記複数のサブフレームの配列関係及び前記サブフレームの位置を用いて、前記映像分割装置により前記フルフレームが前記複数のサブフレームに分割された際の分割情報を生成し、
前記フレーム処理部は、
前記映像受信部により抽出された前記サブ有効フレーム情報、及び前記映像受信部により生成された前記分割情報に基づいて、前記有効フレーム情報を生成する、ことを特徴とする映像合成装置。

【請求項8】

請求項６に記載の映像合成装置において、
前記サブ有効フレーム情報を、前記サブ有効フレームの水平方向及び垂直方向の画素数、及び前記サブフレームの中心画素と前記サブ有効フレームの中心画素との間における水平方向及び垂直方向の画素数とする、ことを特徴とする映像合成装置。

【請求項9】

請求項６に記載の映像合成装置において、
前記サブ有効フレーム情報を、前記サブ有効フレームにおける左上の画素の座標情報及び右下の画素の座標情報とする、ことを特徴とする映像合成装置。

【請求項10】

請求項６に記載の映像合成装置において、
前記映像受信部は、
前記複数のサブフレームのそれぞれについて、当該サブフレームに対応する前記識別情報に前記サブ有効フレーム情報が含まれている場合、当該サブフレームに対応する前記識別情報から前記サブ有効フレーム情報を抽出し、
当該サブフレームに対応する前記識別情報に前記サブ有効フレーム情報が含まれていない場合、前記サブ有効フレームが当該サブフレームと一致することを示す前記サブ有効フレーム情報を設定し、
前記フレーム処理部は、
前記映像受信部により抽出または設定された前記複数のサブフレームのそれぞれに対応する前記サブ有効フレーム情報を用いて、前記有効フレーム情報を生成する、ことを特徴とする映像合成装置。

【請求項11】

フルフレームの映像を分割して送信する映像分割装置を構成するコンピュータを、
前記フルフレームを複数のサブフレームに分割するサブフレーム分割部、
前記フルフレーム内の所定領域を有効フレームとして指定し、前記フルフレーム内の前記有効フレームの位置を示す有効フレーム情報を生成する有効フレーム指定部、
前記サブフレーム分割部により分割された前記複数のサブフレームのそれぞれについて、前記有効フレーム指定部により生成された前記有効フレーム情報を用いて、当該サブフレームのうち前記有効フレームと重なる領域をサブ有効フレームとして指定し、当該サブフレーム内の前記サブ有効フレームの位置を示すサブ有効フレーム情報を生成するサブ有効フレーム指定部、及び、
前記サブフレーム分割部により分割された前記複数のサブフレームのそれぞれについて、前記サブ有効フレーム指定部により生成された当該サブフレームに対応する前記サブ有効フレーム情報を含み、前記有効フレーム及び前記サブ有効フレームを識別するための識別情報を生成し、当該サブフレーム及びこれに対応する前記識別情報を映像信号として、
前記複数のサブフレームに対応する複数の映像信号を、複数のリンクを介して送信する映像送信部として機能させるためのプログラム。

【請求項12】

映像分割装置から、フルフレームが分割された複数のサブフレームとこれらに対応する複数の識別情報とを含む複数の映像信号を受信し、前記複数のサブフレームを前記フルフレームに合成し、前記フルフレーム内の所定領域を、前記映像分割装置により指定された有効フレームの映像として出力する映像合成装置を構成するコンピュータを、
前記複数の映像信号を複数のリンクを介して受信し、前記複数の映像信号に含まれる前記複数のサブフレームのそれぞれについて、当該サブフレームと前記有効フレームとが重なる領域をサブ有効フレームとして、当該サブフレームに対応する前記識別情報から、当該サブフレーム内の前記サブ有効フレームの位置を示すサブ有効フレーム情報を抽出する映像受信部、
前記映像受信部により抽出された前記複数のサブフレームのそれぞれに対応する前記サブ有効フレーム情報を用いて、前記フルフレーム内の前記有効フレームの位置を示す有効フレーム情報を生成するフレーム処理部、及び、
前記映像受信部により受信された前記複数の映像信号に含まれる前記複数のサブフレームを前記フルフレームに合成し、前記フレーム処理部により生成された前記有効フレーム情報に基づいて、前記フルフレームから前記有効フレームの映像を抽出するサブフレーム合成部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像信号をスタジオ機器間で伝送する技術に関し、特に、映像を分割して送信する映像分割装置、映像を受信して合成する映像合成装置、及びこれらのプログラムに関する。

【背景技術】

【0002】

従来、ハイビジョン放送が開始されて以降、放送事業者によるコンテンツ制作における映像のアスペクト比は、固定的に１６：９が使用されている。これは、放送における映像フォーマットの規定として採用された２Ｋ，４Ｋ，８Ｋのアスペクト比が１６：９であることに由来している。

【0003】

放送サービスにより映像を送出して視聴する場合、表示装置のアスペクト比も１６：９であるため、映像及び表示のアスペクト比は同じであり、１対１に対応している。これにより、表示装置上ではどの領域にも映像が表示され、非表示の領域はない。

【0004】

一方、近年では通信サービスを通して映像を提供する事業者が増えている。通信サービスにより映像を送出し視聴する場合、表示装置のアスペクト比は、テレビと同様の１６：９に限定されない。例えば、スマートフォンまたはタブレット端末を用いてアスペクト比１６：９の映像を視聴する場合、映像の長辺が横方向であるのに対し、表示装置の長辺が縦方向である等、映像と表示装置との間でアスペクト比が異なる場合がある。

【0005】

このため、通信サービスで取り扱われるアスペクト比の種類は、放送サービスのそれとは異なり様々である。

【0006】

このような２Ｋ，４Ｋ，８Ｋの映像で採用されているアスペクト比１６：９とは異なるアスペクト比の映像信号を、ＳＤＩ（Serial Digital Interface：シリアルデジタルインターフェース）によるスタジオ機器間の伝送で取り扱うための規格として、ＳＭＰＴＥ（Society of Motion Picture and Television Engineers：米国映画テレビ技術者協会）標準規格ＳＴ２０１６－２が規定されている（非特許文献１を参照）。

【0007】

この標準規格ＳＴ２０１６－２では、送信側が、ＳＤＩで伝送されるフルフレームの映像のうち一部の領域をアスペクト比指定識別及び横縦の画素数の指定情報により指定し、受信側が、この指定情報を検出する場合において、１６：９とは異なるアスペクト比及び画素数の映像を放送局内で伝送するための補助情報について規定している。

【0008】

この他、将来的な映像フォーマットとして画素数が８Ｋを超える映像フォーマットの検討も進められている。

【0009】

例えばＩＴＵ－Ｒ勧告ＢＴ．２１２３では、観視者の視野の広範囲に映像を提示し、没入体験を提供するための具体的な映像パラメータとして、30,720×15,360の画素数を規定している（非特許文献２を参照）。

【0010】

このＩＴＵ－Ｒ勧告ＢＴ．２１２３で規定される画素数を映像信号として伝送する場合、映像パラメータの特徴としてアスペクト比が非１６：９であること、及び８Ｋを超える画素数であることの２点を考慮する必要がある。

【0011】

まずアスペクト比については、前述の通信サービスによる表示装置のアスペクト比と同様に、現行の放送サービスで扱われているアスペクト比１６：９と異なることから、前述の非特許文献１の標準規格ＳＴ２０１６－２に準じて映像信号を伝送する必要がある。

【0012】

次に画素数については、前述の非特許文献２のＩＴＵ－Ｒ勧告ＢＴ．２１２３で規定される画素数は８Ｋを超える画素数であるが、このような映像信号を１本の物理接続（リンク）で実現するインターフェースは市場に存在しない。このため、既存のインターフェースを利用した運用を行う場合には、複数のリンクによって映像信号を伝送しなければならない。

【先行技術文献】

【非特許文献】

【0013】

【非特許文献1】SMPTE Standard ST2016-2, “Format for Pan-Scan Information,” 2014.

【非特許文献2】Recommendation ITU-R BT.2123-0, “Video parameter values for advanced immersive audio-visual systems for production and international programme exchange in broadcasting,” 2019.

【発明の概要】

【発明が解決しようとする課題】

【0014】

ここで、前述の非特許文献２のＩＴＵ－Ｒ勧告ＢＴ．２１２３で規定されるような、アスペクト比が非１６：９であり、かつインターフェース１本のリンクで伝送可能な画素数を超えた映像信号をＳＤＩ等の従来のスタジオ機器間のインターフェースによって伝送する場合を想定する。

【0015】

この場合、前述の非特許文献１の標準規格ＳＴ２０１６－２は、映像信号をＳＤＩの１本のリンクにて伝送することを前提としたものであるため、当該標準規格ＳＴ２０１６－２をそのまま利用することができない。具体的には、前述の非特許文献１の標準規格ＳＴ２０１６－２では、フルフレームの映像を１本のリンクで伝送することを前提としているため、フルフレームの映像に対する有効フレーム（表示装置にて表示される映像）を指定することができる。これに対し、前述の非特許文献２のＩＴＵ－Ｒ勧告ＢＴ．２１２３で規定されるような映像信号を、前述の非特許文献１の標準規格ＳＴ２０１６－２に準じて伝送しようとすると、２本以上のリンクで伝送する必要があることから、フルフレームの映像に対する有効フレームを指定するだけでは足りない。

【0016】

このように、前述の非特許文献２のＩＴＵ－Ｒ勧告ＢＴ．２１２３で規定される画素数を映像信号として伝送する場合、映像パラメータの特徴として、アスペクト比が非１６：９であること、及び８Ｋを超える画素数であることの２点を考慮する必要がある。

【0017】

現在、ＳＭＰＴＥではアスペクト比１６：９とは異なるアスペクト比、及び８Ｋを超える画素数の映像信号の伝送方法について検討が進められているが、その伝送方法への対応を想定した送受信の仕組み及び装置は存在しない。

【0018】

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、任意のアスペクト比及び画素数の映像信号を伝送可能な映像分割装置、映像合成装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0019】

前記課題を解決するために、請求項１の映像分割装置は、フルフレームの映像を分割して送信する映像分割装置において、前記フルフレームを複数のサブフレームに分割するサブフレーム分割部と、前記フルフレーム内の所定領域を有効フレームとして指定し、前記フルフレーム内の前記有効フレームの位置を示す有効フレーム情報を生成する有効フレーム指定部と、前記サブフレーム分割部により分割された前記複数のサブフレームのそれぞれについて、前記有効フレーム指定部により生成された前記有効フレーム情報を用いて、当該サブフレームのうち前記有効フレームと重なる領域をサブ有効フレームとして指定し、当該サブフレーム内の前記サブ有効フレームの位置を示すサブ有効フレーム情報を生成するサブ有効フレーム指定部と、前記サブフレーム分割部により分割された前記複数のサブフレームのそれぞれについて、前記サブ有効フレーム指定部により生成された当該サブフレームに対応する前記サブ有効フレーム情報を含み、前記有効フレーム及び前記サブ有効フレームを識別するための識別情報を生成し、当該サブフレーム及びこれに対応する前記識別情報を映像信号として、前記複数のサブフレームに対応する複数の映像信号を、複数のリンクを介して送信する映像送信部と、を備えたことを特徴とする。

【0020】

また、請求項２の映像分割装置は、請求項１に記載の映像分割装置において、前記識別情報を、前記サブ有効フレーム情報に加え、前記複数のサブフレームの総数、前記フルフレームにおける前記複数のサブフレームの配列関係、及び前記フルフレーム内の当該サブフレームの位置に応じた番号を含む情報とする、ことを特徴とする。

【0021】

また、請求項３の映像分割装置は、請求項１に記載の映像分割装置において、前記サブ有効フレーム情報を、前記サブ有効フレームの水平方向及び垂直方向の画素数、及び前記サブフレームの中心画素と前記サブ有効フレームの中心画素との間における水平方向及び垂直方向の画素数とする、ことを特徴とする。

【0022】

また、請求項４の映像分割装置は、請求項１に記載の映像分割装置において、前記サブ有効フレーム情報を、前記サブ有効フレームにおける左上の画素の座標情報及び右下の画素の座標情報とする、ことを特徴とする。

【0023】

また、請求項５の映像分割装置は、請求項１に記載の映像分割装置において、前記映像送信部が、前記複数のサブフレームのそれぞれについて、前記サブ有効フレームが当該サブフレームと一致しない場合、前記サブ有効フレーム情報を含む前記識別情報を生成し、
前記サブ有効フレームが当該サブフレームと一致する場合、前記サブ有効フレーム情報を含まず、かつ、前記複数のサブフレームの総数、前記フルフレームにおける前記複数のサブフレームの配列関係、及び前記フルフレームにおける当該サブフレームの位置に応じた番号を含む前記識別情報を生成する、ことを特徴とする。

【0024】

さらに、請求項６の映像合成装置は、映像分割装置から、フルフレームが分割された複数のサブフレームとこれらに対応する複数の識別情報とを含む複数の映像信号を受信し、前記複数のサブフレームを前記フルフレームに合成し、前記フルフレーム内の所定領域を、前記映像分割装置により指定された有効フレームの映像として出力する映像合成装置であって、前記複数の映像信号を複数のリンクを介して受信し、前記複数の映像信号に含まれる前記複数のサブフレームのそれぞれについて、当該サブフレームと前記有効フレームとが重なる領域をサブ有効フレームとして、当該サブフレームに対応する前記識別情報から、当該サブフレーム内の前記サブ有効フレームの位置を示すサブ有効フレーム情報を抽出する映像受信部と、前記映像受信部により抽出された前記複数のサブフレームのそれぞれに対応する前記サブ有効フレーム情報を用いて、前記フルフレーム内の前記有効フレームの位置を示す有効フレーム情報を生成するフレーム処理部と、前記映像受信部により受信された前記複数の映像信号に含まれる前記複数のサブフレームを前記フルフレームに合成し、前記フレーム処理部により生成された前記有効フレーム情報に基づいて、前記フルフレームから前記有効フレームの映像を抽出するサブフレーム合成部と、を備えたことを特徴とする。

【0025】

また、請求項７の映像合成装置は、請求項６に記載の映像合成装置において、前記識別情報を、前記サブ有効フレーム情報に加え、前記複数のサブフレームの総数、前記フルフレームにおける前記複数のサブフレームの配列関係、及び前記フルフレーム内の当該サブフレームの位置に応じた番号を含む情報とし、前記映像受信部が、前記複数のサブフレームのそれぞれについて、当該サブフレームに対応する前記識別情報から前記サブ有効フレーム情報を抽出すると共に、前記複数のサブフレームの総数、前記複数のサブフレームの配列関係及び前記サブフレームの位置を抽出し、前記複数のサブフレームの総数、前記複数のサブフレームの配列関係及び前記サブフレームの位置を用いて、前記映像分割装置により前記フルフレームが前記複数のサブフレームに分割された際の分割情報を生成し、前記フレーム処理部が、前記映像受信部により抽出された前記サブ有効フレーム情報、及び前記映像受信部により生成された前記分割情報に基づいて、前記有効フレーム情報を生成する、ことを特徴とする。

【0026】

また、請求項８の映像合成装置は、請求項６に記載の映像合成装置において、前記サブ有効フレーム情報を、前記サブ有効フレームの水平方向及び垂直方向の画素数、及び前記サブフレームの中心画素と前記サブ有効フレームの中心画素との間における水平方向及び垂直方向の画素数とする、ことを特徴とする。

【0027】

また、請求項９の映像合成装置は、請求項６に記載の映像合成装置において、前記サブ有効フレーム情報を、前記サブ有効フレームにおける左上の画素の座標情報及び右下の画素の座標情報とする、ことを特徴とする。

【0028】

また、請求項１０の映像合成装置は、請求項６に記載の映像合成装置において、前記映像受信部が、前記複数のサブフレームのそれぞれについて、当該サブフレームに対応する前記識別情報に前記サブ有効フレーム情報が含まれている場合、当該サブフレームに対応する前記識別情報から前記サブ有効フレーム情報を抽出し、当該サブフレームに対応する前記識別情報に前記サブ有効フレーム情報が含まれていない場合、前記サブ有効フレームが当該サブフレームと一致することを示す前記サブ有効フレーム情報を設定し、前記フレーム処理部が、前記映像受信部により抽出または設定された前記複数のサブフレームのそれぞれに対応する前記サブ有効フレーム情報を用いて、前記有効フレーム情報を生成する、ことを特徴とする。

【0029】

さらに、請求項１１のプログラムは、フルフレームの映像を分割して送信する映像分割装置を構成するコンピュータを、前記フルフレームを複数のサブフレームに分割するサブフレーム分割部、前記フルフレーム内の所定領域を有効フレームとして指定し、前記フルフレーム内の前記有効フレームの位置を示す有効フレーム情報を生成する有効フレーム指定部、前記サブフレーム分割部により分割された前記複数のサブフレームのそれぞれについて、前記有効フレーム指定部により生成された前記有効フレーム情報を用いて、当該サブフレームのうち前記有効フレームと重なる領域をサブ有効フレームとして指定し、当該サブフレーム内の前記サブ有効フレームの位置を示すサブ有効フレーム情報を生成するサブ有効フレーム指定部、及び、前記サブフレーム分割部により分割された前記複数のサブフレームのそれぞれについて、前記サブ有効フレーム指定部により生成された当該サブフレームに対応する前記サブ有効フレーム情報を含み、前記有効フレーム及び前記サブ有効フレームを識別するための識別情報を生成し、当該サブフレーム及びこれに対応する前記識別情報を映像信号として、前記複数のサブフレームに対応する複数の映像信号を、複数のリンクを介して送信する映像送信部として機能させることを特徴とする。

【0030】

また、請求項１２のプログラムは、映像分割装置から、フルフレームが分割された複数のサブフレームとこれらに対応する複数の識別情報とを含む複数の映像信号を受信し、前記複数のサブフレームを前記フルフレームに合成し、前記フルフレーム内の所定領域を、前記映像分割装置により指定された有効フレームの映像として出力する映像合成装置を構成するコンピュータを、前記複数の映像信号を複数のリンクを介して受信し、前記複数の映像信号に含まれる前記複数のサブフレームのそれぞれについて、当該サブフレームと前記有効フレームとが重なる領域をサブ有効フレームとして、当該サブフレームに対応する前記識別情報から、当該サブフレーム内の前記サブ有効フレームの位置を示すサブ有効フレーム情報を抽出する映像受信部、前記映像受信部により抽出された前記複数のサブフレームのそれぞれに対応する前記サブ有効フレーム情報を用いて、前記フルフレーム内の前記有効フレームの位置を示す有効フレーム情報を生成するフレーム処理部、及び、前記映像受信部により受信された前記複数の映像信号に含まれる前記複数のサブフレームを前記フルフレームに合成し、前記フレーム処理部により生成された前記有効フレーム情報に基づいて、前記フルフレームから前記有効フレームの映像を抽出するサブフレーム合成部として機能させることを特徴とする。

【発明の効果】

【0031】

以上のように、本発明によれば、任意のアスペクト比及び画素数の映像信号を伝送することができる。

【図面の簡単な説明】

【0032】

【図1】本発明の概要を説明するための具体例を示す図である。

【図2】識別情報Ｉの例を示す図である。

【図3】本発明の実施形態による映像分割装置の構成例を示す図である。

【図4】本発明の実施形態による映像分割装置の処理例を示すフローチャートである。

【図5】本発明の実施形態による映像合成装置の構成例を示す図である。

【図6】本発明の実施形態による映像合成装置の処理例を示すフローチャートである。

【図7】フルフレームＦＦ、サブフレームＳＦ、有効フレームＥＦ及びサブ有効フレームＳＥＦを説明する図である。

【発明を実施するための形態】

【0033】

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔用語の定義〕
まず、本発明の概要及び実施形態の説明に先立って、これらの説明に使用する用語を定義する。映像信号は、スタジオ機器間を接続するインターフェースによって伝送される映像データを示す。画素数は、映像信号のうち１フレームあたりの画素数を示す。例えば横が3,840画素、縦が2,160画素の場合、画素数は3,840×2,160と表記する。

【0034】

アスペクト比は、映像の横方向の画素数と縦方向の画素数との間の比率を示す。ここでは、横対縦の比を横：縦と表記する。映像フォーマットは、映像信号を規定する画素数、フレーム周波数等の映像パラメータの組み合わせを示す。ＳＤＩは、スタジオ機器間の伝送に使用されるインターフェースを示す。

【0035】

フルフレームは、１フレームに含まれる全ての画素で構成される映像データを示す。例えば映像信号の画素数が3,840×2,160の場合、フルフレームはこれらの全ての画素によって構成される3,840×2,160の映像データである。有効フレームは、フルフレームにおいて、付加情報（後述する有効フレーム情報）によって指定される領域、すなわちフルフレーム内の所定領域を示す。フルフレーム内の所定領域には、フルフレーム内の一部の領域だけでなく、フルフレームと一致する領域も含まれる。後者の場合、有効フレームはフルフレームと一致することとなる。

【0036】

２Ｋは、画素数が1,920×1,080の映像データを示し、４Ｋは 画素数が3,840×2,160の映像データを示し、８Ｋは、画素数が7,680×4,320の映像データを示す。

【0037】

サブフレームは、フルフレームから複数の映像に分割された映像データを示す。サブ有効フレームは、サブフレームにおいて、付加情報（後述するサブ有効フレーム情報）によって指定される領域、すなわちサブフレーム内の所定領域を示す。サブフレーム内の所定領域には、サブフレーム内の一部の領域だけでなく、サブフレームと一致する領域も含まれる。後者の場合、サブ有効フレームはサブフレームと一致することとなる。

【0038】

放送サービスは、地上デジタル放送及び４Ｋ，８Ｋを含む衛星放送を通して送出される映像サービスを示す。通信サービスは、インターネット上での同時再送信、オンデマンド配信、ソーシャルメディアを通した再送信等の通信路を通して送出される映像サービスを示す。

【0039】

〔発明の概要〕
次に、発明の概要について説明する。本発明の映像分割装置は、フルフレームの映像を複数のサブフレームに分割し、複数のサブフレームを対応する複数のリンクの信号に振り分けて送信する際に、予め設定されたフルフレーム内の有効フレームを識別するための付加情報を生成し、当該付加情報を複数のサブフレームと共に送信することを特徴とする。

【0040】

また、本発明の映像合成装置は、複数のサブフレームとフルフレーム内の有効フレームを識別するための付加情報とを含む複数のリンクの信号を受信し、複数のサブフレームからフルフレームの映像を合成し、付加情報に基づいて、フルフレームの映像から有効フレームを抽出することを特徴とする。

【0041】

次に、発明の概要について具体例を挙げて説明する。図１は、本発明の概要を説明するための具体例を示す図である。尚、この具体例は、本発明そのものを示しているものではない。図１（１）は、画素数2560×1080、アスペクト比２．４：１、フレーム周波数３０Ｈｚプログレッシブ及びＹＣｂＣｒ １０ビットの有効フレームＥＦを２つの２Ｋサイズのコンテナ（サブフレームＳＦ）を使用して伝送する場合の映像信号の流れを示している。以下、説明の便宜上コンテナの名称を使用する場合もあるが、コンテナとサブフレームＳＦは同義である。

【0042】

コンテナの配列としては、その領域をタイル状に配列する方式であるスクエアディヴィジョン（Square Division）を採用する。また、映像信号源として、ここでは４Ｋカメラを想定している。４Ｋカメラの出力インターフェースとしては、３Ｇ－ＳＤＩ（level B-DS）を使用している。

【0043】

尚、３Ｇ－ＳＤＩ（level B-DS）の詳細については、以下の文献を参照されたい。
［非特許文献３］ SMPTE Standard ST425-1, “Source Image Format and Ancillary Data Mapping for the 3 Gb/s Serial Interface,” 2014.

【0044】

４Ｋカメラは、後述する映像分割装置１に相当し、表示装置は、後述する映像合成装置２に相当する。

【0045】

４Ｋカメラは、フルフレームＦＦの映像を撮影する際に、ユーザ操作に従い、送信対象の映像（表示装置に表示する映像）である目的の2560×1080の有効フレームＥＦの領域を指定し、４Ｋイメージセンサーの領域の一部を使って、有効フレームＥＦの領域を取得する。

【0046】

図１（２）に示すように、フルフレームＦＦ内の所定領域である有効フレームＥＦ（図１（２）において内側の実線の枠で囲んだ領域）が指定される。

【0047】

４Ｋカメラは、有効フレームＥＦの左半分をコンテナ番号（Container No.）１に割り当て、右半分をコンテナ番号２に割り当てる。この場合、図１（３）に示すように、割り当てられたコンテナにおけるサブ有効フレームＳＥＦ－１の画素数は1280×1080である。サブ有効フレームＳＥＦ－２についても同様である。尚、コンテナの画素数、すなわちサブフレームＳＦ－１，ＳＦ－２の画素数は1920×1080である。

【0048】

４Ｋカメラは、フルフレームＦＦ内の有効フレームＥＦを含む領域（図１（２）において２つの点線の枠を合わせた領域）を２つのサブフレームＳＦ－１，ＳＦ－２（図１（２）において点線の枠で囲んだ左右それぞれの領域）に分割し、所定の付加情報である識別情報Ｉ－１，Ｉ－２を生成する。識別情報Ｉ－１，Ｉ－２の詳細については後述する。

【0049】

尚、図１の例は、フルフレームＦＦの全ての領域が２つのサブフレームＳＦ－１，ＳＦ－２に分割されるものではない。これは、発明の概要を説明するために、分割後のサブフレームＳＦ－１，ＳＦ－２を便宜的に示しているからである。実際は、後述する図３に示すように、フルフレームＦＦの全ての領域が複数のサブフレームＳＦに分割されることとなる。

【0050】

４Ｋカメラは、サブフレームＳＦ－１（画素数1920×1080及びフレーム周波数３０Ｈｚ）に識別情報Ｉ－１を多重し、これをデータストリーム１とする。また、４Ｋカメラは、サブフレームＳＦ－２（画素数1920×1080及びフレーム周波数３０Ｈｚ）に識別情報Ｉ－２を多重し、これをデータストリーム２とする。

【0051】

４Ｋカメラは、多重信号であるデータストリーム１，２を、２つのＨＤ－ＳＤＩ信号に割り当て、２本のストリームで構成された３Ｇ－ＳＤＩ（level B-DS）信号（画素数1920×1080及びフレーム周波数６０Ｈｚ）として表示装置へ出力する。

【0052】

表示装置は、多重信号であるデータストリーム１，２の３Ｇ－ＳＤＩ（level B-DS）信号を入力し、２つのサブフレームＳＦ－１，ＳＦ－２及び２つの識別情報Ｉ－１，Ｉ－２を分離し、２つのサブフレームＳＦ－１，ＳＦ－２を合成し、識別情報Ｉ－１，Ｉ－２に基づいて、合成画像から、サブ有効フレームＳＥＦ－１，ＳＥＦ－２が合成された有効フレームＥＦ（画素数2560×1080及びフレーム周波数３０Ｈｚ）を抽出して画面表示する。

【0053】

尚、サブフレームＳＦ－１，ＳＦ－２には、４Ｋイメージセンサーで撮影した画像（図１（２）における２つの点線の枠を合わせた領域）のうち、有効フレームＥＦ以外の画像（図１（２）及び（３）における網掛けの領域）が含まれる。

【0054】

この網掛けの領域は、後段の処理として取り扱わないため、撮影した当該領域の画像をそのまま出力したり、黒画像等の特定のパターンで塗りつぶしたりして、ユーザがサブフレームＳＦ－１，ＳＦ－２内の有効フレームＥＦを理解し易くするようにしてもよい。また、サブフレームＳＦ－１，ＳＦ－２の画素数はそれぞれ1920×1080であり、フレーム周波数は３０Ｈｚプログレッシブであり、ビットレート１．５Ｇｂｐｓで伝送可能である。このため、４Ｋカメラの出力としては、Ｄｕａｌ－Ｌｉｎｋ ＨＤ－ＳＤＩ信号として、２つのインターフェースから出力することができる。

【0055】

Ｄｕａｌ－Ｌｉｎｋ ＨＤ－ＳＤＩの詳細については、以下の文献を参照されたい。
［非特許文献４］ SMPTE Standard ST372, “Dual Link 1.5 Gb/s Digital Interface for 1920 × 1080 and 2048 × 1080 Picture Formats,” 2017.

【0056】

図１（１）では、ケーブルの取り回しを簡単にするため、それぞれに２ＫサイズのサブフレームＳＦ－１，ＳＦ－２を搭載した２つのＨＤ－ＳＤＩ信号の２本のストリームで構成された３Ｇ－ＳＤＩ（level B-DS）信号として出力する例を記載している。

【0057】

次に、識別情報Ｉ－１，Ｉ－２（総称して「識別情報Ｉ」という。）について説明する。図２は、識別情報Ｉの例を示す図である。識別情報Ｉは、サブフレームＳＦ毎（コンテナ毎、データストリーム毎）に生成され多重される。図１（１）の例では、サブフレームＳＦ－１が伝送されるコンテナ番号１のデータストリーム１に対して識別情報Ｉ－１が生成され、サブフレームＳＦ－２が伝送されるコンテナ番号２のデータストリーム２に対して識別情報Ｉ－２が生成され、それぞれ多重される。

【0058】

識別情報Ｉは、ＩＤ番号１～７（ＩＤ Ｎｏ.１～７）であるＩＤ１～ＩＤ７の各パラメータからなる。ＩＤ１～ＩＤ５の各パラメータは、フルフレームＦＦが複数のサブフレームＳＦに分割されたときの分割情報Ｃに基づいて設定される。また、ＩＤ６，ＩＤ７は、分割情報Ｃ、及びフルフレームＦＦ内の有効フレームＥＦの位置に基づいて設定される。分割情報Ｃの詳細については後述する。

【0059】

ＩＤ１のパラメータは、コンテナ（サブフレームＳＦ）の総数（Total number of containers）を示す。図１（１）の例ではコンテナの総数は２であり、コンテナ番号１，２共にＩＤ１＝２である。

【0060】

ＩＤ２のパラメータは、全てのコンテナ（サブフレームＳＦ）で形成される配列（Array、行（Row）及び列（Column））関係を示す。図１（１）の例では全てのコンテナは縦方向に１行、横方向に２列の配列を構成するため、コンテナ番号１，２共に、ＩＤ２＝（１（配列の行），２（配列の列））が設定される。

【0061】

ＩＤ３のパラメータは、各コンテナ（サブフレームＳＦ）の識別番号（Container No.）を示す。すなわち、フルフレームＦＦ内における各サブフレームＳＦの位置に応じた識別番号を示す。図１（１）の例では、コンテナ番号１のＩＤ３＝１、コンテナ番号２のＩＤ３＝２が設定される。

【0062】

例えばコンテナの配列関係がＩＤ２＝（ｍ（配列の行），ｎ（配列の列））（ｍ，ｎは２以上の整数）である場合を想定する。この場合、各コンテナの識別番号は、配列における左上のコンテナ番号についてＩＤ３＝１、右に向かってカウントした値を各コンテナ番号のＩＤ３とし、同一行のカウント（ｎ列までのカウント）が終了すると、１行下の左から右へ向かってカウントした値を各コンテナ番号のＩＤ３とし、同様に、ｍ行までカウントすることで設定される。

【0063】

ＩＤ４のパラメータは、全てのコンテナ（サブフレームＳＦ）によって伝送される映像の画素マッピング構造（Mapping structure）（分割方式）を示し、ツーサンプルインターリーブ（2 Sample Interleave（SI））またはスクエアディヴィジョン（Square Division（SQD））のうちのいずれかが選択される。図１（１）の例では、コンテナ番号１，２共に、ＩＤ４＝スクエアディヴィジョンが設定される。

【0064】

ＩＤ５のパラメータは、コンテナ（サブフレームＳＦ）として使用する画素数（Total container size、水平（Horizontal）方向（横方向）の画素数及び垂直（Vertical）方向（縦方向）の画素数）を示す。すなわち、サブフレームＳＦの画素数を示す。図１（１）の例では、コンテナ番号１，２共に、ＩＤ５＝（1920（コンテナの水平方向の画素数），1080（コンテナの垂直方向の画素数））が設定される。

【0065】

ＩＤ６，７のパラメータは、コンテナ（サブフレームＳＦ）内のどの位置に有効フレームＥＦが配置されているかを示す。すなわち、サブフレームＳＦ内のサブ有効フレームＳＥＦの位置を示す。具体的には、ＩＤ６のパラメータは、コンテナ内のサブ有効フレームＳＥＦの画素数（Active area size、水平（Horizontal）方向の画素数及び垂直（Vertical）方向の画素数）を示す。図１（１）の例では、コンテナ番号１，２共に、ＩＤ６＝（1280（サブ有効フレームＳＥＦの水平方向の画素数），1080（サブ有効フレームＳＥＦの垂直方向の画素数））が設定される。

【0066】

ＩＤ７のパラメータは、コンテナ（サブフレームＳＦ）に対するサブ有効フレームＳＥＦのオフセット（Offset、水平（Horizontal）方向の画素数及び垂直（Vertical）方向の画素数）を示す。すなわち、サブフレームＳＦに対するサブ有効フレームＳＥＦのオフセットを示す。図１（１）の例では、コンテナ番号１のＩＤ７＝（320（サブフレームＳＦ－１に対するサブ有効フレームＳＥＦ－１のオフセットである水平方向の画素数），0（サブフレームＳＦ－１に対するサブ有効フレームＳＥＦ－１のオフセットである垂直方向の画素数））が設定される。また、コンテナ番号２のＩＤ７＝（-320，0）が設定される。

【0067】

尚、ＩＤ６，７により示されるサブフレームＳＦ内のサブ有効フレームＳＥＦの位置については、様々なフォーマットが考えられる。図２の例では、前述の非特許文献１の標準規格ＳＴ２０１６－２に記載されているフォーマットに従い、ＩＤ６では水平及び垂直方向の画素数、ＩＤ７ではサブフレームＳＦの中心から水平及び垂直方向にオフセットした場合のサブフレームＳＦに対するサブ有効フレームＳＥＦの画素数が設定される。

【0068】

〔映像分割装置〕
次に、本発明の実施形態による映像分割装置について説明する。図３は、本発明の実施形態による映像分割装置の構成例を示す図であり、図４は、その処理例を示すフローチャートである。

【0069】

この映像分割装置１は、サブフレーム分割部１０、有効フレーム指定部１１、サブ有効フレーム指定部１２及び映像送信部１３を備えている。

【0070】

サブフレーム分割部１０は、入力映像であるフルフレームＦＦの映像を入力する（ステップＳ４０１）。そして、サブフレーム分割部１０は、予め設定された分割規則に従い、フルフレームＦＦをＮ個のサブフレームＳＦ－１，・・・，ＳＦ－Ｎ（総称して「サブフレームＳＦ」という。）に分割すると共に、サブフレームＳＦ毎に、フルフレームＦＦと当該サブフレームＳＦとの間の関係を規定する分割情報Ｃを生成する（ステップＳ４０２）。すなわち、サブフレーム分割部１０は、分割情報Ｃとして、図２に示したＩＤ１，・・・，ＩＤ５を生成する。分割情報Ｃは、サブフレームＳＦ－１，・・・，ＳＦ－Ｎのそれぞれに対応する分割情報Ｃ－１，・・・，Ｃ－Ｎの総称である。

【0071】

この場合、サブフレーム分割部１０は、後述する映像送信部１３がＮ個のサブフレームＳＦ－１，・・・，ＳＦ－ＮのそれぞれをＳＤＩのＮ個のリンクのそれぞれに割り当てるように、分割処理を行う。つまり、分割処理により生成されたＮ個のサブフレームＳＦ－１，・・・，ＳＦ－Ｎは、ＳＤＩのＮ個のリンクに対応し、当該インターフェースにより後述する識別情報Ｉ－１，・・・，Ｉ－Ｎと共に送信される。

【0072】

サブフレームＳＦ毎の分割情報Ｃは、図２に示したとおり、ＩＤ１としてサブフレームＳＦの総数（Ｎ）、ＩＤ２として全てのサブフレームＳＦで形成される配列関係、ＩＤ３としてサブフレームＳＦの位置に応じた識別番号（本例では１，・・・，Ｎ）、ＩＤ４として全てのサブフレームＳＦによって伝送される映像の画素マッピング構造（分割方式）（本例ではスクエアディヴィジョン）、ＩＤ５としてサブフレームＳＦの画素数から構成される。

【0073】

これにより、サブフレームＳＦ－１，・・・，ＳＦ－Ｎのそれぞれについて、フルフレームＦＦとサブ有効フレームＳＥＦ－１，・・・，ＳＥＦ－Ｎとの間の関係を規定する分割情報Ｃ－１，・・・，Ｃ－Ｎが生成される。

【0074】

サブフレーム分割部１０は、サブフレームＳＦ－１，・・・，ＳＦ－Ｎの映像データを映像送信部１３に出力すると共に、分割情報Ｃ－１，・・・，Ｃ－Ｎ（サブフレームＳＦ毎のＩＤ１，・・・，ＩＤ５）をサブ有効フレーム指定部１２に出力する。

【0075】

図７は、フルフレームＦＦ、サブフレームＳＦ、有効フレームＥＦ及びサブ有効フレームＳＥＦを説明する図である。図７（１）及び図３に示したサブフレーム分割部１０の下部分を参照して、フルフレームＦＦは、１～Ｎ番のサブフレームＳＦ－１，・・・，ＳＦ－Ｎから構成される。サブフレーム分割部１０により、フルフレームＦＦはＮ個のサブフレームＳＦ－１，・・・，ＳＦ－Ｎに分割される。

【0076】

図３及び図４に戻って、ユーザ操作に従い、フルフレームＦＦ内の有効フレームＥＦの位置が指示される。そうすると、有効フレーム指定部１１は、当該ユーザ操作に従い、フルフレームＦＦ内の有効フレームＥＦを指定し、フルフレームＦＦ内の有効フレームＥＦを識別するための有効フレーム情報Ａを生成する（ステップＳ４０３）。有効フレーム指定部１１は、有効フレーム情報Ａをサブ有効フレーム指定部１２に出力する。

【0077】

図７（２）及び図３に示した有効フレーム指定部１１の下部分を参照して、有効フレームＥＦは、フルフレームＦＦ内の所定領域であり、ユーザ操作により指定される。

【0078】

図３及び図４に戻って、有効フレーム情報Ａにより、フルフレームＦＦ内の有効フレームＥＦの位置が特定される。例えば有効フレーム情報Ａは、有効フレームＥＦの水平方向及び垂直方向の画素数、及び、フルフレームＦＦに対する有効フレームＥＦのオフセットを示す水平方向の画素数及び垂直方向の画素数（フルフレームＦＦの中心画素と有効フレームＥＦの中心画素との間における水平方向及び垂直方向の画素数）からなる。

【0079】

尚、有効フレーム情報Ａは、有効フレームＥＦにおける左上の画素の座標情報及び右下の画素の座標情報からなるようにしてもよい。

【0080】

サブ有効フレーム指定部１２は、サブフレーム分割部１０から分割情報Ｃ－１，・・・，Ｃ－Ｎを入力すると共に、有効フレーム指定部１１から有効フレーム情報Ａを入力する。

【0081】

サブ有効フレーム指定部１２は、サブフレームＳＦ毎に、分割情報Ｃ及び有効フレーム情報Ａに基づいて、当該サブフレームＳＦ内の有効フレームＥＦと重なる領域をサブ有効フレームＳＥＦとして指定し、当該サブフレームＳＦ内のサブ有効フレームＳＥＦを識別するためのサブ有効フレーム情報Ｂを生成する（ステップＳ４０４）。すなわち、サブ有効フレーム指定部１２は、サブ有効フレーム情報Ｂとして、図２に示したＩＤ６，ＩＤ７を生成する。サブ有効フレーム情報Ｂは、サブフレームＳＦ－１，・・・，ＳＦ－Ｎ内のサブ有効フレームＳＥＦ－１，・・・，ＳＥＦ－Ｎのそれぞれに対応するサブ有効フレーム情報Ｂ－１，・・・，Ｂ－Ｎの総称である。

【0082】

サブフレームＳＦ毎のサブ有効フレーム情報Ｂは、図２に示したとおり、ＩＤ６としてサブ有効フレームＳＥＦの画素数、ＩＤ７としてサブフレームＳＦに対するサブ有効フレームＳＥＦのオフセットから構成される。

【0083】

これにより、サブフレームＳＦ－１，・・・，ＳＦ－Ｎのそれぞれについて、対応するサブ有効フレームＳＥＦ－１，・・・，ＳＥＦ－Ｎを識別するためのサブ有効フレーム情報Ｂ－１，・・・，Ｂ－Ｎが生成される。

【0084】

サブ有効フレーム指定部１２は、分割情報Ｃ－１，・・・，Ｃ－Ｎ（サブフレームＳＦ毎のＩＤ１，・・・，ＩＤ５）及びサブ有効フレーム情報Ｂ－１，・・・，Ｂ－Ｎ（サブフレームＳＦ毎のＩＤ６，ＩＤ７）を映像送信部１３に出力する。

【0085】

図７（３）及び図３に示したサブ有効フレーム指定部１２の右下部分を参照して、サブ有効フレームＳＥＦ－１，・・・，ＳＥＦ－Ｎは、サブフレームＳＦ－１，・・・，ＳＦ－Ｎ内の所定領域である。

【0086】

図３及び図４に戻って、サブ有効フレーム情報Ｂにより、サブフレームＳＦ内のサブ有効フレームＳＥＦの位置が特定される。

【0087】

尚、サブ有効フレーム情報Ｂは、サブ有効フレームＳＥＦにおける左上の画素の座標情報及び右下の画素の座標情報からなるようにしてもよい。

【0088】

映像送信部１３は、サブフレーム分割部１０からサブフレームＳＦ－１，・・・，ＳＦ－Ｎの映像データを入力する。また、映像送信部１３は、サブ有効フレーム指定部１２から分割情報Ｃ－１，・・・，Ｃ－Ｎ（サブフレームＳＦ毎のＩＤ１，・・・，ＩＤ５）及びサブ有効フレーム情報Ｂ－１，・・・，Ｂ－Ｎ（サブフレームＳＦ毎のＩＤ６，ＩＤ７）を入力する。

【0089】

映像送信部１３は、サブフレームＳＦ毎に、対応する分割情報Ｃ及びサブ有効フレーム情報Ｂを用いて、ＩＤ１，・・・，ＩＤ７からなる識別情報Ｉを生成する（ステップＳ４０５）。

【0090】

これにより、サブフレームＳＦ－１，・・・，ＳＦ－Ｎのそれぞれについて、対応する識別情報Ｉ－１，・・・，Ｉ－Ｎが生成される。

【0091】

映像送信部１３は、サブフレームＳＦ毎に、当該サブフレームＳＦ及びこれに対応する識別情報Ｉを多重し、多重信号を生成する（ステップＳ４０６）。

【0092】

映像送信部１３は、サブフレームＳＦである複数のサブフレームＳＦ－１，・・・，ＳＦ－Ｎのそれぞれ（の多重信号）をＳＤＩにおけるＮ個のリンク（Ｎ個のＳＤＩ信号）のそれぞれに割り付ける。そして、映像送信部１３は、サブフレームＳＦ毎の多重信号を映像信号として、サブフレームＳＦ毎の映像信号を、物理的なインターフェースであるＳＤＩの各リンク（マルチリンク）を介して後述する映像合成装置２へ送信する（ステップＳ４０７）。

【0093】

これにより、サブフレームＳＦ－１，・・・，ＳＦ－Ｎ及び識別情報Ｉ－１，・・・，Ｉ－ＮがＳＤＩのマルチリンクの映像信号として送信される。

【0094】

以上のように、本発明の実施形態の映像分割装置１によれば、サブフレーム分割部１０は、フルフレームＦＦの映像を入力してＮ個のサブフレームＳＦに分割し、分割情報Ｃ（ＩＤ１，・・・，ＩＤ５）を生成する。

【0095】

有効フレーム指定部１１は、ユーザ操作に従い有効フレームＥＦを指定し、フルフレームＦＦ内の有効フレームＥＦを識別するための有効フレーム情報Ａを生成する。サブ有効フレーム指定部１２は、サブフレームＳＦ毎に、分割情報Ｃ及び有効フレーム情報Ａに基づいてサブ有効フレームＳＥＦを指定し、当該サブフレームＳＦ内のサブ有効フレームＳＥＦを識別するためのサブ有効フレーム情報Ｂ（ＩＤ６，ＩＤ７）を生成する。

【0096】

映像送信部１３は、サブフレームＳＦ毎に、分割情報Ｃ及びサブ有効フレーム情報Ｂを用いて、ＩＤ１，・・・，ＩＤ７からなる識別情報Ｉを生成し、当該サブフレームＳＦ及び識別情報Ｉを多重し、サブフレームＳＦ毎の映像信号を、ＳＤＩの各リンクを介して送信する。

【0097】

これにより、後述する映像合成装置２は、サブフレームＳＦ毎の映像信号を受信してＮ個のサブフレームＳＦ及びＮ個の識別情報Ｉを分離し、サブ有効フレーム情報Ｂ及び有効フレーム情報Ａを復元し、フルフレームＦＦを合成し、フルフレームＦＦから有効フレームＥＦを抽出することができる。この有効フレームＥＦは、映像分割装置１の有効フレーム指定部１１により任意のアスペクト比及び画素数の画像として指定される。

【0098】

したがって、映像分割装置１から映像合成装置２へ、任意のアスペクト比及び画素数の映像信号を伝送することができる。つまり、非１６：９のアスペクト比でかつ２Ｋ，４Ｋ，８Ｋ以外の画素数の映像を、スタジオ機器間で伝送することが可能となる。

【0099】

〔映像合成装置〕
次に、本発明の実施形態による映像合成装置について説明する。図５は、本発明の実施形態による映像合成装置の構成例を示す図であり、図６は、その処理例を示すフローチャートである。

【0100】

この映像合成装置２は、映像受信部２０、サブ有効フレーム処理部２１、有効フレーム処理部２２及びサブフレーム合成部２３を備えている。

【0101】

映像受信部２０は、前述の映像分割装置１からＳＤＩの各リンクを介して、サブフレームＳＦ毎の映像信号（多重信号）を受信する（ステップＳ６０１）。そして、映像受信部２０は、映像信号毎に（サブフレームＳＦ毎に）、当該サブフレームＳＦ及びこれに対応する識別情報Ｉを分離する（ステップＳ６０２）。前述のとおり、識別情報Ｉは、ＩＤ１，・・・，ＩＤ７から構成される。

【0102】

これにより、サブフレームＳＦ毎に、サブフレームＳＦ－１，・・・，ＳＦ－Ｎ及び対応する識別情報Ｉ－１，・・・，Ｉ－Ｎが得られる。

【0103】

映像受信部２０は、サブフレームＳＦ毎に、識別情報Ｉを構成するＩＤ１，・・・，ＩＤ７からＩＤ１，・・・，ＩＤ５及びＩＤ６，ＩＤ７を抽出する。そして、映像受信部２０は、サブフレームＳＦ毎に、ＩＤ１，・・・，ＩＤ５を分割情報Ｃに設定する（ステップＳ６０３）。これは、図４のステップＳ４０５にて、映像分割装置１の映像送信部１３により分割情報Ｃ（ＩＤ１，・・・，ＩＤ５）及びサブ有効フレーム情報Ｂ（ＩＤ６，ＩＤ７）を用いて、識別情報Ｉ（ＩＤ１，・・・，ＩＤ７）を生成する処理に対応している。

【0104】

映像受信部２０は、サブフレームＳＦ毎に、当該サブフレームＳＦのＩＤ６，ＩＤ７をサブ有効フレーム情報Ｂに設定する（ステップＳ６０４）。これも、図４のステップＳ４０４の処理に対応している。

【0105】

これにより、サブフレームＳＦ毎に、サブフレームＳＦ－１，・・・，ＳＦ－Ｎに対応するサブ有効フレーム情報Ｂ－１，・・・，Ｂ－Ｎが得られる。

【0106】

映像受信部２０は、サブフレームＳＦ－１，・・・，ＳＦ－Ｎの映像データをサブフレーム合成部２３に出力する。また、映像受信部２０は、分割情報Ｃ－１，・・・，Ｃ－Ｎ（サブフレームＳＦ毎のＩＤ１，・・・，ＩＤ５）及びサブ有効フレーム情報Ｂ－１，・・・，Ｂ－Ｎ（サブフレームＳＦ毎のＩＤ６，ＩＤ７）をサブ有効フレーム処理部２１に出力する。

【0107】

サブ有効フレーム処理部２１は、映像受信部２０から分割情報Ｃ－１，・・・，Ｃ－Ｎ及びサブ有効フレーム情報Ｂ－１，・・・，Ｂ－Ｎを入力する。そして、サブ有効フレーム処理部２１は、サブフレームＳＦ毎の分割情報Ｃ及びサブ有効フレーム情報Ｂに基づいて、有効フレーム情報Ａを復元する（ステップＳ６０５）。

【0108】

これは、図４のステップＳ４０３にて、映像分割装置１の有効フレーム指定部１１により有効フレーム情報Ａを生成する処理に対応している。前述のとおり、分割情報Ｃ－１，・・・，Ｃ－ＮであるＩＤ１，・・・，ＩＤ５は、フルフレームＦＦがＮ個のサブフレームＳＦに分割されたときのフルフレームＦＦと個々のサブフレームＳＦとの間の関係を規定する情報である。また、サブ有効フレーム情報Ｂ－１，・・・，Ｂ－ＮであるＩＤ６，ＩＤ７は、サブフレームＳＦ内のサブ有効フレームＳＥＦを識別するための情報である。

【0109】

このため、これらのサブフレームＳＦ毎の分割情報Ｃ－１，・・・，Ｃ－Ｎ及びサブフレームＳＦ毎のサブ有効フレーム情報Ｂ－１，・・・，Ｂ－Ｎを用いることにより、サブフレームＳＦ－１，・・・，ＳＦ－Ｎ内のサブ有効フレームＳＥＦを合成することで、フルフレームＦＦ内の有効フレームＥＦを識別するための有効フレーム情報Ａを復元することができる。

【0110】

サブ有効フレーム処理部２１は、有効フレーム情報Ａを有効フレーム処理部２２に出力すると共に、分割情報Ｃ－１，・・・，Ｃ－Ｎをサブフレーム合成部２３に出力する。

【0111】

有効フレーム処理部２２は、サブ有効フレーム処理部２１から有効フレーム情報Ａを入力し、有効フレーム情報Ａに基づいて、フルフレームＦＦから有効フレームＥＦを抽出するための指定情報を生成する（ステップＳ６０６）。そして、有効フレーム処理部２２は、指定情報をサブフレーム合成部２３に出力する。

【0112】

サブフレーム合成部２３は、映像受信部２０からサブフレームＳＦ－１，・・・，ＳＦ－Ｎの映像データを入力すると共に、サブ有効フレーム処理部２１から分割情報を入力する。また、サブフレーム合成部２３は、有効フレーム処理部２２から指定情報を入力する。

【0113】

サブフレーム合成部２３は、分割情報に基づいて、サブフレームＳＦ－１，・・・，ＳＦ－ＮをフルフレームＦＦに合成する（ステップＳ６０７）。これは、図４のステップＳ４０２にて、映像分割装置１のサブフレーム分割部１０によりフルフレームＦＦがサブフレームＳＦ－１，・・・，ＳＦ－Ｎに分割され、分割情報が生成される処理に対応している。

【0114】

サブフレーム合成部２３は、指定情報に基づいて、フルフレームＦＦから出力映像である有効フレームＥＦの映像を抽出し、有効フレームＥＦの映像を出力する（ステップＳ６０８）。

【0115】

これにより、図３に示した映像分割装置１の有効フレーム指定部１１により指定された有効フレームＥＦが、映像合成装置２から出力される。

【0116】

以上のように、本発明の実施形態の映像合成装置２によれば、映像受信部２０は、映像分割装置１からＳＤＩの各リンクを介して、サブフレームＳＦ毎の映像信号を受信し、Ｎ個のサブフレームＳＦ及びＮ個の識別情報Ｉを分離し、サブフレームＳＦ毎の識別情報Ｉを用いて、分割情報Ｃ及びサブ有効フレーム情報Ｂを設定する。

【0117】

サブ有効フレーム処理部２１は、サブフレームＳＦ毎の分割情報Ｃ及びサブ有効フレーム情報Ｂに基づいて、有効フレーム情報Ａを復元する。有効フレーム処理部２２は、有効フレーム情報Ａに基づいて、フルフレームＦＦにおける有効フレームＥＦの指定情報を生成する。

【0118】

サブフレーム合成部２３は、Ｎ個のサブフレームＳＦをフルフレームＦＦに合成し、指定情報に基づいてフルフレームＦＦから有効フレームＥＦを抽出し、有効フレームＥＦの映像を出力する。

【0119】

この有効フレームＥＦは、映像分割装置１の有効フレーム指定部１１により任意のアスペクト比及び画素数の画像として指定されたものである。

【0120】

したがって、映像分割装置１から映像合成装置２へ、任意のアスペクト比及び画素数の映像信号を伝送することができる。つまり、非１６：９のアスペクト比でかつ２Ｋ，４Ｋ，８Ｋ以外の画素数の映像を、スタジオ機器間で伝送することが可能となる。

【0121】

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。

【0122】

例えば前述の実施形態では、図５に示した映像合成装置２は、サブ有効フレーム処理部２１及び有効フレーム処理部２２を備え、サブフレーム合成部２３が、有効フレーム処理部２２により生成された指定情報に基づいて、フルフレームＦＦから有効フレームＥＦを抽出するようにした。

【0123】

これに対し、映像合成装置２は、サブ有効フレーム処理部２１及び有効フレーム処理部２２の代わりに、フレーム処理部を備えるようにしてもよい。具体的には、フレーム処理部は、サブ有効フレーム処理部２１と同様に、サブフレームＳＦ毎の分割情報Ｃ及びサブ有効フレーム情報Ｂに基づいて、有効フレーム情報Ａを復元する。そして、サブフレーム合成部２３は、フレーム処理部により復元された有効フレーム情報Ａに基づいて、フルフレームＦＦから有効フレームＥＦを抽出する。

【0124】

また、前述の実施形態では、図３に示した映像分割装置１の映像送信部１３は、サブフレームＳＦとＩＤ１，・・・，ＩＤ７の識別情報Ｉとが多重された映像信号を送信し、図５に示した映像合成装置２の映像受信部２０は、この映像信号を受信するようにした。これに対し、映像分割装置１は、サブ有効フレームＳＥＦがサブフレームＳＦと一致する場合、当該サブフレームＳＦについて、ＩＤ６，ＩＤ７の送信を省略するようにしてもよい。これにより、映像分割装置１から映像合成装置２へ送信される映像信号の信号量を減らすことができる。

【0125】

具体的には、映像分割装置１の映像送信部１３は、サブフレームＳＦについて、ＩＤ５（サブフレームＳＦの画素数）とＩＤ６（サブ有効フレームＳＥＦの画素数）とを比較する。映像送信部１３は、ＩＤ５とＩＤ６とが同一でない場合、サブ有効フレームＳＥＦがサブフレームＳＦと一致しないと判定し、ＩＤ５とＩＤ６とが同一である場合、サブ有効フレームＳＥＦがサブフレームＳＦと一致すると判定する。

【0126】

そして、映像送信部１３は、サブ有効フレームＳＥＦがサブフレームＳＦと一致しないと判定した場合（サブ有効フレームＳＥＦがサブフレームＳＦの一部であると判定した場合）、前述のとおり、ＩＤ１，・・・，ＩＤ７からなる識別情報Ｉを生成し、当該サブフレームＳＦとＩＤ１，・・・，ＩＤ７の識別情報Ｉとを多重して送信する。

【0127】

一方、映像送信部１３は、サブ有効フレームＳＥＦがサブフレームＳＦと一致すると判定した場合、ＩＤ１，・・・，ＩＤ５からなる識別情報Ｉを生成し、当該サブフレームＳＦとＩＤ１，・・・，ＩＤ５の識別情報Ｉとを多重して送信する。この場合、映像送信部１３は、ＩＤ６，ＩＤ７を送信しない。

【0128】

ここで、映像送信部１３は、サブ有効フレームＳＥＦがサブフレームＳＦと一致すると判定した場合、ブランク（またはヌル）のＩＤ６，ＩＤ７を設定し、ＩＤ１，・・・，ＩＤ７からなる識別情報Ｉを生成し、当該サブフレームＳＦとＩＤ１，・・・，ＩＤ７の識別情報Ｉとを多重して送信するようにしてもよい。

【0129】

一方、映像合成装置２の映像受信部２０は、映像分割装置１からサブフレームＳＦ毎の映像信号を受信し、サブフレームＳＦ－１，・・・，ＳＦ－Ｎ及びこれに対応する識別情報Ｉ－１，・・・，Ｉ－Ｎを分離する。そして、映像受信部２０は、サブフレームＳＦ毎に、識別情報ＩにＩＤ６，ＩＤ７が含まれているか否かを判定する。

【0130】

映像受信部２０は、識別情報ＩにＩＤ６，ＩＤ７が含まれていると判定した場合、前述と同様に、ＩＤ６，ＩＤ７を抽出してサブ有効フレーム情報Ｂに設定する等の処理を行う。

【0131】

これに対し、映像受信部２０は、識別情報ＩにＩＤ６，ＩＤ７が含まれていないと判定した場合、サブ有効フレームＳＥＦが当該サブフレームＳＦと一致すると判定し、当該サブフレームＳＦについてのＩＤ６，ＩＤ７をサブ有効フレーム情報Ｂとして設定し、その後は前述と同様の処理を行う。この場合のサブ有効フレーム情報Ｂは、サブ有効フレームＳＥＦが当該サブフレームＳＦと一致することを示す情報でもあり、ＩＤ６として、ＩＤ５と同じ当該サブフレームＳＦの画素数が設定され、ＩＤ７として、オフセットである水平方向及び垂直方向の画素数0が設定される。

【0132】

ここで、映像受信部２０は、ＩＤ６，ＩＤ７にブランク（またはヌル）が設定されている場合、識別情報ＩにＩＤ６，ＩＤ７が含まれていないと判定し、前述と同様の処理を行う。

【0133】

また、前述の実施形態では、映像分割装置１と映像合成装置２との間のインターフェースをＳＤＩとして説明したが、本発明はＳＤＩに限定されるものではなく、他のインターフェースを用いるようにしてもよい。

【0134】

図３に示した映像分割装置１の映像送信部１３は、サブフレームＳＦ毎に、当該サブフレームＳＦ及びこれに対応する識別情報Ｉを多重して多重信号を生成し、サブフレームＳＦである複数のサブフレームＳＦ－１，・・・，ＳＦ－Ｎのそれぞれ（の多重信号）をＳＤＩにおけるＮ個のリンクのそれぞれに割り付け、サブフレームＳＦ毎の多重信号を映像信号として、ＳＤＩの各リンクを介して映像合成装置２へ送信するようにした。

【0135】

これに対し、映像送信部１３は、例えばサブフレームＳＦ毎に、多重信号をＮ個のリンクのそれぞれに割り付け、多重信号をＩＰパケットに格納し、複数のサブフレームＳＦ－１，・・・，ＳＦ－Ｎに対応する複数のＩＰパケットを、各リンクを介して映像合成装置２へ送信するようにしてもよい。この場合、映像合成装置２の映像受信部２０は、映像分割装置１から各リンクを介して複数のＩＰパケットを受信し、ＩＰパケットから多重信号を抽出し、前述と同様の処理にて、サブフレームＳＦ毎に、サブフレームＳＦ及びこれに対応する識別情報Ｉを分離し、前述と同様の処理にて、分割情報Ｃを抽出（設定）すると共に、サブ有効フレーム情報Ｂを抽出（設定）する。

【0136】

尚、映像分割装置１は、多重信号を生成することなく、サブフレームＳＦ及び識別情報Ｉをそれぞれ送信するようにしてもよい。具体的には、映像分割装置１の映像送信部１３は、サブフレームＳＦ毎の当該サブフレーム及びこれに対応する識別情報をＮ個のリンクのそれぞれに割り付け、当該サブフレーム及びこれに対応する識別情報を映像信号として、複数のサブフレームに対応する複数の映像信号をＮ個のリンクを介して映像合成装置２へ送信する。

【0137】

図５に示した映像合成装置２の映像受信部２０は、複数のサブフレームに対応する複数の映像信号をＮ個のリンクを介して受信し、映像信号毎に（サブフレームＳＦ毎に）、サブフレームＳＦ及びこれに対応する識別情報Ｉを認識し、前述と同様の処理にて、分割情報Ｃを抽出（設定）すると共に、サブ有効フレーム情報Ｂを抽出（設定）する。

【0138】

尚、本発明の実施形態による映像分割装置１及び映像合成装置２のハードウェア構成としては、通常のコンピュータを使用することができる。映像分割装置１及び映像合成装置２のそれぞれは、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

【0139】

映像分割装置１に備えたサブフレーム分割部１０、有効フレーム指定部１１、サブ有効フレーム指定部１２及び映像送信部１３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

【0140】

また、映像合成装置２に備えた映像受信部２０、サブ有効フレーム処理部２１、有効フレーム処理部２２及びサブフレーム合成部２３の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

【0141】

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

【符号の説明】

【0142】

１ 映像分割装置
２ 映像合成装置
１０ サブフレーム分割部
１１ 有効フレーム指定部
１２ サブ有効フレーム指定部
１３ 映像送信部
２０ 映像受信部
２１ サブ有効フレーム処理部
２２ 有効フレーム処理部
２３ サブフレーム合成部
ＦＦ フルフレーム
ＥＦ 有効フレーム
ＳＦ サブフレーム
ＳＥＦ サブ有効フレーム
Ａ 有効フレーム情報
Ｂ サブ有効フレーム情報
Ｃ 分割情報
Ｉ 識別情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】