特許 7057721 映像フレーム伝送装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-12

(45)【発行日】2022-04-20

(54)【発明の名称】映像フレーム伝送装置及びプログラム

(51)【国際特許分類】

   H04N 21/238 20110101AFI20220413BHJP

   H04N 21/2343 20110101ALI20220413BHJP

【ＦＩ】

H04N21/238

H04N21/2343

【請求項の数】 5

(21)【出願番号】P 2018114200

(22)【出願日】2018-06-15

(65)【公開番号】P2019220734

(43)【公開日】2019-12-26

【審査請求日】2021-04-30

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100121119

【弁理士】

【氏名又は名称】花村 泰伸

(72)【発明者】

【氏名】小山 智史

(72)【発明者】

【氏名】河原木 政宏

(72)【発明者】

【氏名】倉掛 卓也

【審査官】鈴木 順三

(56)【参考文献】

【文献】特開２０１２－１２０１５９（ＪＰ，Ａ）

【文献】特開２０１６－００９８８１（ＪＰ，Ａ）

【文献】特開２００７－３１１９２８（ＪＰ，Ａ）

【文献】特開２０１２－２０３５４０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０３６７７７９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

(57)【特許請求の範囲】

【請求項1】

ＹＣｂＣｒ形式の映像フレームをシリアル信号に変換し、前記シリアル信号を含むシリアルデジタル映像信号を伝送する映像フレーム伝送装置において、
前記映像フレームを入力し、所定の規則に従い、前記映像フレームに含まれる複数の要素信号を抽出し、前記複数の要素信号のそれぞれについて、上位ビットデータ及び下位ビットデータに分割し、前記複数の要素信号の前記上位ビットデータ及び前記下位ビットデータを並び替え、前記映像フレームを、当該映像フレームに含まれる全ての要素信号の前記上位ビットデータ及び前記下位ビットデータが隙間なく連続して構成された前記シリアル信号に変換する映像フレーム変換部と、
前記映像フレーム変換部により変換された前記シリアル信号を前記シリアルデジタル映像信号に格納し、前記シリアルデジタル映像信号を送信する送信部と、を備え、
前記映像フレーム変換部は、
前記映像フレームに含まれる全ての要素信号のうちＹ信号について、下位側のビットデータであって、ＣＰＵの計算処理単位と同じビット長の前記下位ビットデータ、及び、上位側のビットデータであって、前記計算処理単位のビット長よりも短い前記上位ビットデータに分割する、ことを特徴とする映像フレーム伝送装置。

【請求項2】

請求項１に記載の映像フレーム伝送装置において、
前記所定の規則は、前記映像フレームの映像フォーマットに応じて予め設定され、所定数の要素信号からなるサブグループのバイト長が定義されており、
前記映像フレーム変換部は、
前記映像フレームの前記映像フォーマットを特定する映像フォーマット特定手段と、
前記映像フォーマット特定手段により特定された前記映像フォーマットに対応する前記所定の規則に従い、前記サブグループ毎に、前記映像フレームを前記シリアル信号に変換する映像フレーム変換手段と、
を備えたことを特徴とする映像フレーム伝送装置。

【請求項3】

請求項２に記載の映像フレーム伝送装置において、
前記所定の規則には、さらに、前記映像フォーマット毎に、前記サブグループに含まれる前記所定数の要素信号のそれぞれについて、前記上位ビットデータのビット長を示す上位ビット長、前記下位ビットデータのビット長を示す下位ビット長、前記上位ビットデータを格納する前記シリアル信号内の位置を示す上位並び替え先、及び前記下位ビットデータを格納する前記シリアル信号内の位置を示す下位並び替え先が定義されており、
前記映像フレーム変換手段は、
前記所定の規則に従い、前記サブグループ毎に、前記映像フレームから前記サブグループに含まれる前記所定数の要素信号を抽出し、前記所定数の要素信号のそれぞれについて、前記上位ビット長の前記上位ビットデータ及び前記下位ビット長の前記下位ビットデータに分割し、前記上位ビットデータを前記上位並び替え先に、前記下位ビットデータを前記下位並び替え先にそれぞれ格納して並び替え、前記映像フレームを前記シリアル信号に変換する、ことを特徴とする映像フレーム伝送装置。

【請求項4】

請求項３に記載の映像フレーム伝送装置において、
前記送信部は、
前記映像フレーム変換手段により変換された前記シリアル信号について、１以上の所定数の前記サブグループに含まれる全ての要素信号を１つのＩＰパケットに格納し、前記ＩＰパケットを送信する、ことを特徴とする映像フレーム伝送装置。

【請求項5】

コンピュータを、請求項１または４までのいずれか一項に記載の映像フレーム伝送装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像フレームをシリアル信号に変換し、ＩＰパケット等のシリアルデジタル映像信号として伝送する映像フレーム伝送装置及びプログラムに関する。

【背景技術】

【0002】

従来、映像信号を伝送する規格として、ＳＤＩ（Serial Digital Interface：シリアルデジタルインタフェース）が知られている（例えば、非特許文献１を参照）。例えば、番組を制作する現場では、カメラにより撮影された映像をＳＤＩ信号に格納して伝送する番組制作システムが用いられる。

【0003】

図１５は、従来の番組制作システムの全体構成を示す概略図である。この番組制作システムは、カメラ１０２－１，１０２－２、映像切替装置１０３、画像処理装置１０４及びモニタ１０５を備えて構成される。

【0004】

カメラ１０２－１，１０２－２は、撮影した映像の映像フレームをシリアライズしてＳＤＩ信号に変換し、ＳＤＩ信号を映像切替装置１０３へ送信する。

【0005】

映像切替装置１０３は、カメラ１０２－１，１０２－２からＳＤＩ信号をそれぞれ受信し、ＳＤＩ信号を映像フレームに変換する。そして、映像切替装置１０３は、２つの映像フレームのいずれか一方を選択して切り替え、切り替え後の映像フレームをＳＤＩ信号に変換する。映像切替装置１０３は、ＳＤＩ信号を画像処理装置１０４へ送信する。

【0006】

画像処理装置１０４は、映像切替装置１０３からＳＤＩ信号を受信し、ＳＤＩ信号を映像フレームに変換し、映像フレームに基づいて所定の画像処理を行う。画像処理装置１０４は、映像フレームをＳＤＩ信号に変換し、ＳＤＩ信号をモニタ１０５へ送信する。

【0007】

モニタ１０５は、画像処理装置１０４からＳＤＩ信号を受信し、ＳＤＩ信号を映像フレームに変換し、映像フレームを画面表示する。

【0008】

このような番組制作システムは、従来のＳＤＩの伝送路による構成から、ＩＰネットワークの伝送路による構成へと移行することが検討されている（例えば、非特許文献２を参照）。ＩＰネットワークを用いた番組制作システムでは、映像フレームをＩＰパケットに格納し、ＩＰパケットを伝送する。

【0009】

これにより、カメラ１０２－１，１０２－２、映像切替装置１０３等の各装置を容易にＩＰネットワークに接続することができ、映像フレームに対する処理を専用のハードウェアではなく、一般的なＰＣサーバにて行うことができる。結果として、番組を制作する際に、低廉化かつ柔軟な処理が可能となる。

【0010】

また、ＩＰネットワークにて使用可能な装置は、安価かつ伝送容量が大きいことから、設備コストを下げることが期待できる。また、汎用のＰＣサーバにて受信及び処理が可能なことから、クラウドの活用及びソフトウェアによる高度な処理の実現も期待できる。

【0011】

一般に、ＩＰネットワークを用いた番組制作システムにおいて、映像フレームを、ＩＰネットワークを介して伝送する際にも、ＳＤＩの場合と同様に、映像フレームをシリアライズし、シリアル信号を生成する必要がある。このシリアライズの方法及びＩＰパケットの構成方法については、ＲＦＣ４１７５の技術仕様に規定されている（例えば、非特許文献３を参照）。このＲＦＣ４１７５の技術仕様は、ＳＤＩと同様のシリアライズ方法を規定しており、１０ビットまたは１２ビットで表現された輝度信号及び色差信号を、シリアル信号に隙間なく連続して配置する。

【0012】

図１６は、従来技術の処理を説明する図であり、ＲＦＣ４１７５の技術仕様に従い、映像フォーマットがＹＣｂＣｒ４：２：２ １０ビットの場合に、輝度信号及び色差信号を隙間なく連続してシリアル信号に配置する例を示している。映像フォーマット「ＹＣｂＣｒ４：２：２ １０ビット」において、「ＹＣｂＣｒ」は、要素信号の種類（要素信号が輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ）を表す形式を示している。また、「４：２：２」は、サブサンプリング方式を示し、「１０ビット」は各要素信号の量子化ビット数を示している。図１６の上部右側の図は、映像フレームのうち左上の箇所の要素信号を示しており、三重丸及び一重丸は、各画素を示している。後述する図４、図５等についても同様である。

【0013】

この映像フレームは、第１番目の画素位置に輝度信号Ｙ０及び色差信号Ｃｂ０，Ｃｒ０が配置され、第２番目の画素位置に輝度信号Ｙ１が配置され、第３番目の画素位置に輝度信号Ｙ２及び色差信号Ｃｂ１，Ｃｒ１が配置され、第４番目の画素位置に輝度信号Ｙ３が配置されている。つまり、映像フレームは、画素毎に、所定の要素信号が順番に配置されている。

【0014】

このように構成された映像フレームから、輝度信号Ｙ０，Ｙ１，・・・、色差信号Ｃｂ０，Ｃｂ１，・・・及び色差信号Ｃｒ０，Ｃｒ１，・・・がそれぞれ抽出される。そして、図１６の下部に示すように、これらの要素信号が所定の順番に隙間なく連続して構成されたシリアル信号が生成される。

【0015】

そして、シリアル信号はＩＰパケットに格納され、伝送される。つまり、映像フレームを構成する輝度信号Ｙ０，・・・、色差信号Ｃｂ０，・・・及び色差信号Ｃｒ０，・・・は、図１６の下部に示すように、色差信号Ｃｂ０、輝度信号Ｙ０、色差信号Ｃｒ０、・・・の順番に、要素信号を単位として隙間なく連続的に送信される。

【0016】

ここで、汎用のＰＣサーバが、ＩＰパケットにより伝送された映像フレームを受信し、処理するものとする。一般に、汎用のＰＣサーバに用いられるＣＰＵは、８ビットを１バイトとして、バイトを単位とした計算処理を行う。この場合のＣＰＵの計算処理単位は１バイトである。また、複数バイトの値を表現する場合のバイトオーダーには、リトルエンディアン及びビックエンディアンがあり、リトルエンディアンが用いられることが多い。

【0017】

そのため、図１６に示したとおり、１０ビット（または１２ビット）で表現された輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒが連続して送信された場合には、ＰＣサーバは、これらの要素信号のそれぞれを、２バイト（１６ビット）の信号として配置する必要がある。

【0018】

図１７は、従来技術におけるＰＣサーバによる輝度信号Ｙ０（以下、Ｙ０信号という。）のデータ生成処理を説明する図である。このデータ生成処理は、映像フレームを処理するＰＣサーバのＣＰＵにて計算処理可能となるように、Ｙ０信号のビット配置を変更する等して、Ｙ０信号のデータを生成する処理をいう。

【0019】

ＰＣサーバは、ＩＰパケットを受信すると、ＩＰパケットからＹＣｂＣｒ４：２：２ １０ビットのシリアル信号を抽出する。ＰＣサーバは、シリアル信号からＹ０信号が配置された、８ビット区切りであるバイト単位の箇所を特定し、Ｙ０信号を含む２バイトのデータを抽出する（ステップＳ１７０１）。

【0020】

これにより、（ａ）に示すように、下位２ビットの色差信号Ｃｂ０（以下、Ｃｂ０信号という。）、Ｙ０信号、及び上位４ビットの色差信号Ｃｒ０（以下、Ｃｒ０信号という。）から構成される２バイトのデータが抽出される。

【0021】

ＰＣサーバは、Ｙ０信号を含む２バイトのデータ（ａ）に対し、ビックエンディアンをリトルエンディアンに変更するために、上位バイトのデータと下位バイトのデータとを入れ替える（ステップＳ１７０２）。これにより、（ｂ）に示す２バイトのデータが構成される。

【0022】

ＰＣサーバは、ステップＳ１７０２の２バイトのデータに対し、下位バイト（右側のバイト）の最上位ビットを先頭位置とし、上位バイト（左側のバイト）の最下位ビットを終了位置として、４ビット右側へビットシフトする（ステップＳ１７０３）。これにより、（ｃ）に示す２バイトのデータが構成される。

【0023】

ＰＣサーバは、ステップＳ１７０３の２バイトのデータに対し、下位バイトの所定位置をビットマスクする（ステップＳ１７０４）。

【0024】

これにより、（ｄ）に示すように、下位８ビットのＹ０信号、６ビットの０の信号及び上位２ビットのＹ０信号から構成される２バイトのデータが生成される。この２バイトのデータは、リトルエンディアンで表された１０ビットのＹ０信号のみからなる。このため、ＣＰＵは、２バイトのＹ０信号を用いて計算処理を行うことができる。

【0025】

このように、ＰＣサーバは、図１７に示したバイトオーダー、ビットシフト及びビットマスクの処理により、Ｙ０信号を、ＣＰＵが計算処理可能な１６ビットに配置することができる。

【0026】

尚、映像フレームをシリアライズする方法として、非特許文献３のＲＦＣ４１７５の技術仕様に加え、非特許文献２のＶ２１０の技術仕様、及びＳＭＰＴＥ ＲＤＤ ４０の規格（例えば、非特許文献４を参照）が知られている。いずれの規定においても、図１７に示した処理が必要となる。

【先行技術文献】

【非特許文献】

【0027】

【文献】SMPTE ST 292-1，“1.5 Gb/S Signal/Data Serial Interface”

【文献】Technical Note TN2162，“Uncompressed Y’CbCr Video in QuickTime Files”，［online］，1992年12月14日，Apple Computer,Inc.，［平成30年3月9日検索］，インターネット＜https://developer.apple.com/library/content/technotes/tn2162/_index.html#//apple_ref/doc/uid/DTS40013070-CH1-TNTAG8-V210_4_2_2_COMPRESSION_TYPE＞

【文献】RFC 4175，“RTP Payload Format for Uncompressed Video”

【文献】SMPTE RDD 40:2016，“Essence-independent IP Live Networked Media Transport”

【発明の概要】

【発明が解決しようとする課題】

【0028】

前述のとおり、１０ビットまたは１２ビットで表現された要素信号のシリアル信号が連続して送信された場合、受信側のＰＣサーバは、受信したシリアル信号からＹ０信号を抽出し、バイトオーダー、ビットシフト及びビットマスクの処理を行う。

【0029】

これは、ＰＣサーバのＣＰＵがＹ０信号を扱うことができるように、Ｙ信号を、ＣＰＵが計算処理可能な１６ビットに配置する必要があるからである。

【0030】

つまり、１０ビットまたは１２ビットの要素信号で表現された映像フレームに対し、１バイト単位で計算処理を行うコンピュータが画像処理を行うためには、画像処理の前にビット配置を変換する処理が必要となる。

【0031】

例えば、画像処理としてエッジを認識する処理を行う場合、ＰＣサーバは、図１７に示したとおり、まず映像フレームの要素信号にて構成されるシリアル信号からＹ０信号を抽出する。そして、ＰＣサーバは、Ｙ０信号に対し、バイトオーダー、ビットシフト及びビットマスクの処理を行うことで、Ｙ０信号のビット配置を変換する処理を行う。これより、ＰＣサーバは、データ配置が変換されたＹ０信号を用いて、エッジ認識処理を行うことができる。

【0032】

しかしながら、このようなビット配置の変換処理は手間であり時間がかかり、受信側のＰＣサーバ（受信装置）の処理性能に影響を与えてしまうという問題があった。このため、可能な限りリアルタイムに画像処理を行うことができるように、ビット配置の変換処理を短時間かつ低負荷にて完了できることが所望されていた。

【0033】

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、シリアルデジタル映像信号を受信装置へ伝送する際に、当該受信装置にて映像フレームの処理が短時間かつ低負荷にて実現できるように、要素信号のビット配置を変換する映像フレーム伝送装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0034】

前記課題を解決するために、請求項１の映像フレーム伝送装置は、ＹＣｂＣｒ形式の映像フレームをシリアル信号に変換し、前記シリアル信号を含むシリアルデジタル映像信号を伝送する映像フレーム伝送装置において、前記映像フレームを入力し、所定の規則に従い、前記映像フレームに含まれる複数の要素信号を抽出し、前記複数の要素信号のそれぞれについて、上位ビットデータ及び下位ビットデータに分割し、前記複数の要素信号の前記上位ビットデータ及び前記下位ビットデータを並び替え、前記映像フレームを、当該映像フレームに含まれる全ての要素信号の前記上位ビットデータ及び前記下位ビットデータが隙間なく連続して構成された前記シリアル信号に変換する映像フレーム変換部と、前記映像フレーム変換部により変換された前記シリアル信号を前記シリアルデジタル映像信号に格納し、前記シリアルデジタル映像信号を送信する送信部と、を備え、前記映像フレーム変換部が、前記映像フレームに含まれる全ての要素信号のうちＹ信号について、下位側のビットデータであって、ＣＰＵの計算処理単位と同じビット長の前記下位ビットデータ、及び、上位側のビットデータであって、前記計算処理単位のビット長よりも短い前記上位ビットデータに分割する、ことを特徴とする。

【0035】

また、請求項２の映像フレーム伝送装置は、請求項１に記載の映像フレーム伝送装置において、前記所定の規則が、前記映像フレームの映像フォーマットに応じて予め設定され、所定数の要素信号からなるサブグループのバイト長が定義されており、前記映像フレーム変換部が、前記映像フレームの前記映像フォーマットを特定する映像フォーマット特定手段と、前記映像フォーマット特定手段により特定された前記映像フォーマットに対応する前記所定の規則に従い、前記サブグループ毎に、前記映像フレームを前記シリアル信号に変換する映像フレーム変換手段と、を備えたことを特徴とする。

【0036】

また、請求項３の映像フレーム伝送装置は、請求項２に記載の映像フレーム伝送装置において、前記所定の規則には、さらに、前記映像フォーマット毎に、前記サブグループに含まれる前記所定数の要素信号のそれぞれについて、前記上位ビットデータのビット長を示す上位ビット長、前記下位ビットデータのビット長を示す下位ビット長、前記上位ビットデータを格納する前記シリアル信号内の位置を示す上位並び替え先、及び前記下位ビットデータを格納する前記シリアル信号内の位置を示す下位並び替え先が定義されており、前記映像フレーム変換手段が、前記所定の規則に従い、前記サブグループ毎に、前記映像フレームから前記サブグループに含まれる前記所定数の要素信号を抽出し、前記所定数の要素信号のそれぞれについて、前記上位ビット長の前記上位ビットデータ及び前記下位ビット長の前記下位ビットデータに分割し、前記上位ビットデータを前記上位並び替え先に、前記下位ビットデータを前記下位並び替え先にそれぞれ格納して並び替え、前記映像フレームを前記シリアル信号に変換する、ことを特徴とする。

【0037】

また、請求項４の映像フレーム伝送装置は、請求項３に記載の映像フレーム伝送装置において、前記送信部が、前記映像フレーム変換手段により変換された前記シリアル信号について、１以上の所定数の前記サブグループに含まれる全ての要素信号を１つのＩＰパケットに格納し、前記ＩＰパケットを送信する、ことを特徴とする。

【0038】

また、請求項５のプログラムは、コンピュータを、請求項１から４までのいずれか一項に記載の映像フレーム伝送装置として機能させることを特徴とする。

【発明の効果】

【0039】

以上のように、本発明によれば、シリアルデジタル映像信号を受信装置へ伝送する際に、当該受信装置にて映像フレームの処理が短時間かつ低負荷にて実現できるように、要素信号のビット配置を変換することが可能となる。

【図面の簡単な説明】

【0040】

【図1】本発明の実施形態による映像フレーム伝送装置を含む番組制作システムの全体構成例を示す概略図である。

【図2】映像フレーム伝送装置の構成例を示すブロック図である。

【図3】映像フレーム変換部の構成例を示すブロック図である。

【図4】映像フレーム変換手段の処理例（ＹＣｂＣｒ４：２：２ １０ビットの映像フレームの場合）を説明する図である。

【図5】映像フレーム変換手段の処理例（ＹＣｂＣｒ４：４：４ １２ビットの映像フレームの場合）を説明する図である。

【図6】ＹＣｂＣｒ４：２：２ １０ビット用テーブルのデータ構成例を示す図である。

【図7】ＹＣｂＣｒ４：４：４ １２ビット用テーブルのデータ構成例を示す図である。

【図8】（１）は、バイト番号を示す図である。（２）は、ビット位置を示す図である。

【図9】映像フレーム変換部の処理例を示すフローチャートである。

【図10】Ｙ，Ｃｂ，Ｃｒ信号の抽出処理（ステップＳ９０３）を説明する図である。

【図11】上位及び下位分割処理、並び替え処理及びシリアル信号生成処理（ステップＳ９０４～ステップＳ９０６）を説明する図である。

【図12】（１）は、ＹＣｂＣｒ４：４：４ １０ビットのシリアル信号の構成例を示す図である。（２）は、ＹＣｂＣｒ４：２：２ １２ビットのシリアル信号の構成例を示す図である。

【図13】映像切替部１２等におけるＹ０信号のデータ生成処理例を説明する図である。

【図14】本発明の実施形態及び従来技術における処理時間を説明する実験結果の図である。

【図15】従来の番組制作システムの全体構成例を示す概略図である。

【図16】従来技術の処理を説明する図である。

【図17】従来技術におけるＰＣサーバによるＹ０信号のデータ生成処理を説明する図である。

【発明を実施するための形態】

【0041】

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔番組制作システム〕
まず、本発明の実施形態が適用される番組制作システムについて説明する。図１は、本発明の実施形態による映像フレーム伝送装置を含む番組制作システムの全体構成例を示す概略図である。この番組制作システムは、カメラ２－１，２－２、映像切替装置３、画像処理装置４及びモニタ５を備えて構成される。

【0042】

カメラ２－１は、撮像部１０－１及び映像フレーム伝送装置１１－１を備えている。撮像部１０－１は、撮影対象を撮影し、撮影した映像の映像フレームを映像フレーム伝送装置１１－１に出力する。

【0043】

映像フレーム伝送装置１１－１は、撮像部１０－１から映像フレームを入力する。そして、映像フレーム伝送装置１１－１は、映像フレームから要素信号を抽出し、所定の規則に従い、要素信号のビット配置を、受信側のＣＰＵにて計算処理可能な配置に変換し、要素信号が隙間なく連続して構成されたシリアル信号を生成する。映像フレーム伝送装置１１－１は、シリアル信号をＩＰパケットに格納し、ＩＰパケットを、ＩＰネットワークを介して映像切替装置３へ伝送する。映像フレーム伝送装置１１－１の詳細については後述する。

【0044】

カメラ２－２は、撮像部１０－２及び映像フレーム伝送装置１１－２を備えている。撮像部１０－２及び映像フレーム伝送装置１１－２は、カメラ２－１に備えた撮像部１０－１及び映像フレーム伝送装置１１－１と同様であるから、ここでは説明を省略する。映像フレーム伝送装置１１－２の詳細については後述する。

【0045】

ここで、映像フレームは、例えば、輝度信号であるＹ信号、並びに色差信号であるＣｂ信号及びＣｒ信号からなるＹ，Ｃｂ，Ｃｒの３つの要素信号から構成される。また、映像フレームは、例えば、色信号であるＲ信号、Ｇ信号及びＢ信号からなるＲ，Ｇ，Ｂの３つの要素信号から構成される。

【0046】

各要素信号の量子化ビット数は、１０ビット、１２ビット等である。また、映像フレームが全ての画素の情報から構成される場合、そのサンプリング方式は４：４：４であり、Ｃｂ信号及びＣｒ信号の画素を間引いて構成される場合、そのサンプリング方式は４：２：２である。また、信号の配置形式は、１０ビット、１２ビットの他、１６ビットの形式もあり、非特許文献２に示すＶ２１０の形式、非特許文献３に示すＲＦＣ４１７５の形式、またはＮＭＩ形式で配置されていてもよい。

【0047】

映像切替装置３は、例えばＰＣサーバであり、映像切替部１２及び映像フレーム伝送装置１１－３を備えている。映像切替部１２は、映像切り替えプログラムを実行し、以下の処理を行う。映像切替部１２は、カメラ２－１，２－２からＩＰパケットをそれぞれ受信し、ＩＰパケットからシリアル信号を抽出する。そして、映像切替部１２は、シリアル信号から、映像フレームを構成する複数の要素信号のうち所定の要素信号を含む所定バイト（例えば２バイト）のデータを抽出する。ここで、所定バイトは、当該映像切替装置３のＣＰＵが計算処理を行う際の複数バイトをいう。

【0048】

映像切替部１２は、抽出した所定バイトのデータに対してビットマスクの処理を行い、所定の要素信号のみを含む所定バイトのデータ、すなわちＣＰＵが計算処理可能なデータを生成する。映像切替部１２におけるデータ生成処理の詳細については後述する。

【0049】

ここで、シリアル信号から抽出された所定の要素信号を含む所定バイトのデータは、前段の映像フレーム伝送装置１１－１，１１－２により、ＣＰＵにて計算処理可能なビット配置に変換されている。

【0050】

これにより、映像切替部１２では、ＣＰＵが計算処理可能なデータを生成するために、図１７に示した負荷の高い処理が不要となり、ビットマスクの処理のみを行えばよい。したがって、所定の要素信号のビット配置を、ＣＰＵにて計算処理可能な配置に、短時間かつ低負荷にて変換することが可能となる。

【0051】

映像切替部１２は、例えば所定バイトのデータを用いて、映像フレームの処理等を行い、カメラ２－１，２－２における２つの映像のいずれか一方を選択して切り替え、シリアル信号から映像フレームを生成する。そして、映像切替部１２は、映像フレームを映像フレーム伝送装置１１－３に出力する。

【0052】

映像フレーム伝送装置１１－３は、映像切替部１２から映像フレームを入力し、カメラ２－１の映像フレーム伝送装置１１－１と同様の処理を行い、ＩＰパケットを、ＩＰネットワークを介して画像処理装置４へ伝送する。映像フレーム伝送装置１１－３の詳細については後述する。

【0053】

画像処理装置４は、例えばＰＣサーバであり、画像処理部１３及び映像フレーム伝送装置１１－４を備えている。画像処理部１３は、画像処理プログラムを実行し、以下の処理を行う。画像処理部１３は、映像切替装置３からＩＰパケットを受信し、ＩＰパケットからシリアル信号を抽出する。そして、画像処理部１３は、映像切替装置３の映像切替部１２と同様に、シリアル信号から、所定の要素信号を含む所定バイトのデータを抽出し、ビットマスクの処理を行ってＣＰＵが計算処理可能なデータを生成する。画像処理部１３におけるデータ生成処理の詳細については後述する。

【0054】

ここで、シリアル信号から抽出された所定バイトのデータは、前段の映像フレーム伝送装置１１－３により、ＣＰＵにて計算処理可能なビット配置に変換されている。

【0055】

これにより、画像処理部１３では、ＣＰＵが計算処理可能なデータを生成するために、ビットマスクの処理のみを行えばよく、所定の要素信号のビット配置を、ＣＰＵにて計算処理可能な配置に、短時間かつ低負荷にて変換することが可能となる。

【0056】

画像処理部１３は、例えば所定バイトのデータを用いた画像処理を行うと共に、シリアル信号から映像フレームを生成し、映像フレームを映像フレーム伝送装置１１－４に出力する。

【0057】

映像フレーム伝送装置１１－４は、画像処理部１３から映像フレームを入力し、カメラ２－１の映像フレーム伝送装置１１－１と同様の処理を行い、ＩＰパケットを、ＩＰネットワークを介してモニタ５へ伝送する。映像フレーム伝送装置１１－４の詳細については後述する。

【0058】

モニタ５は、画像処理装置４からＩＰパケットを受信し、ＩＰパケットからシリアル信号を抽出する。そして、モニタ５は、映像切替装置３の映像切替部１２と同様に、シリアル信号から、所定の要素信号を含む所定バイトのデータを抽出し、ビットマスクの処理を行ってＣＰＵが計算処理可能なデータを生成する。モニタ５は、所定バイトのデータを用いて画面表示を行う。モニタ５におけるデータ生成処理の詳細については後述する。

【0059】

ここで、シリアル信号から抽出された所定バイトのデータは、前段の映像フレーム伝送装置１１－４により、ＣＰＵにて計算処理可能なビット配置に変換されている。

【0060】

これにより、モニタ５では、ＣＰＵが計算処理可能なデータを生成するために、ビットマスクの処理のみを行えばよく、所定の要素信号のビット配置を、ＣＰＵにて計算処理可能な配置に、短時間かつ低負荷にて変換することが可能となる。

【0061】

〔映像フレーム伝送装置１１〕
次に、図１に示した映像フレーム伝送装置１１－１～１１－４（以下、総称して映像フレーム伝送装置１１という。）について説明する。以下、映像フレームからＹ，Ｃｂ，Ｃｒ信号を抽出し、Ｙ信号のビット配置をＣＰＵにて計算処理可能な配置に変換する例を挙げて説明する。

【0062】

図２は、映像フレーム伝送装置１１の構成例を示すブロック図である。この映像フレーム伝送装置１１は、映像フレーム変換部２０及びＩＰパケット送信部２１を備えている。

【0063】

映像フレーム変換部２０は、映像フレームを入力し、入力した映像フレームの映像フォーマットを特定する。そして、映像フレーム変換部２０は、特定した映像フォーマットに対応する所定の規則に従い、映像フレームからＹ，Ｃｂ，Ｃｒ信号を抽出する。映像フレーム変換部２０は、Ｙ，Ｃｂ，Ｃｒ信号のビット配置を変換し、Ｙ信号についてはＣＰＵにて計算処理可能な配置に並び替え、Ｙ，Ｃｂ，Ｃｒ信号が隙間なく連続して構成されたシリアル信号を生成する。そして、映像フレーム変換部２０は、シリアル信号をＩＰパケット送信部２１に出力する。映像フレーム変換部２０の詳細については後述する。

【0064】

ＩＰパケット送信部２１は、映像フレーム変換部２０からシリアル信号を入力する。そして、ＩＰパケット送信部２１は、シリアル信号について、１以上の所定数のサブグループに含まれる全てのＹ，Ｃｂ，Ｃｒ信号を１つのＩＰパケットに格納し、ＩＰパケットをＩＰネットワークへ送信する。この場合、ＩＰパケット送信部２１は、１つのサブグループ（に含まれるＹ，Ｃｂ，Ｃｒ信号）を分割して複数のＩＰパケットに格納し、送信することはしない。つまり、１つのサブグループは、分断して送信されることはなく、１つのＩＰパケットに格納されて送信される。

【0065】

これにより、ＩＰパケットを受信する受信装置は、サブグループ単位にＹ信号、Ｃｒ，Ｃｂ信号を受信し抽出することができるから、画素毎の処理に対応することができる。また、受信装置は、ＩＰパケットが消失した場合、画素毎に処理することができるから、その復元が容易となる。

【0066】

サブグループは、映像フレーム変換部２０が映像フレームからシリアル信号を生成する処理において、処理対象の単位となるグループ、すなわち所定数のＹ，Ｃｂ，Ｃｒ信号からなるグループをいう。例えば、ＹＣｂＣｒ４：２：２ １０ビットの映像フレームの場合、後述する図４及び図６に示すように、サブグループは、６つのＹ信号（Ｙ０～Ｙ５信号）、３つのＣｂ信号（Ｃｂ０～Ｃｂ２信号）及び３つのＣｒ信号（Ｃｒ０～Ｃｒ２信号）からなる１５バイトを単位としたグループである。また、ＹＣｂＣｒ４：４：４ １２ビットの映像フレームの場合、後述する図５及び図７に示すように、サブグループは、２つのＹ信号（Ｙ０，Ｙ１信号）、２つのＣｂ信号（Ｃｂ０，Ｃｂ１信号）及び２つのＣｒ信号（Ｃｒ０，Ｃｒ１信号）からなる９バイトを単位としたグループである。詳細については後述する。

【0067】

ここで、サブグループに含まるＹ，Ｃｂ，Ｃｒ信号は、複数のＩＰパケットに分割して格納されることはない。また、Ｙ，Ｃｂ，Ｃｒ信号は、映像フレーム（シリアル信号）の先頭のサブグループから順番に、ＩＰパケットに格納される。

【0068】

尚、ＩＰパケットのヘッダには、以下の非特許文献に示すＲＴＰ、ＵＤＰ及びＩＰの各ヘッダ情報が格納される。
［非特許文献５］ SMPTE ST2110-20:2017，“Professional Media Over Managed IP Networks: Uncompressed Active Video”
［非特許文献６］ RFC3550 RTP，“A Transport Protocol for Real-Time Applications”
［非特許文献７］ RFC768，“User Datagram Protocol”
［非特許文献８］ RFC791，“Internet Protocol”

【0069】

〔映像フレーム変換部２０の構成〕
次に、図２に示した映像フレーム変換部２０の構成について詳細に説明する。図３は、映像フレーム変換部２０の構成例を示すブロック図である。この映像フレーム変換部２０は、映像フォーマット特定手段３０、映像フレーム変換手段３１及びテーブル群３２を備えている。

【0070】

映像フォーマット特定手段３０は、当該映像フレーム変換部２０が入力した映像フレームの映像フォーマットを特定し、映像フォーマットの情報を映像フレーム変換手段３１に出力する。例えば、映像フォーマット特定手段３０は、予め設定された映像フォーマットを、当該映像フレームの映像フォーマットとして特定する。また、映像フォーマット特定手段３０は、当該映像フレーム変換部２０が映像フレームを含むＳＤＩ信号を入力した場合、ＳＤＩ信号から映像フォーマットを抽出し、抽出した映像フォーマットを、当該映像フレームの映像フォーマットとして特定する。

【0071】

映像フレーム変換手段３１は、映像フレームを入力すると共に、映像フォーマット特定手段３０から映像フォーマットの情報を入力し、入力した映像フォーマットのテーブルをテーブル群３２から読み出す。そして、映像フレーム変換手段３１は、読み出したテーブルを用いて、サブグループ毎に、映像フレームに含まれるＹ，Ｃｂ，Ｃｒ信号を識別する。映像フレーム変換手段３１は、Ｙ，Ｃｂ，Ｃｒ信号のビット配置を変換し、Ｙ信号についてはＣＰＵにて計算処理可能な配置に並び替え、シリアル信号を生成する。そして、映像フレーム変換手段３１は、シリアル信号をＩＰパケット送信部２１に出力する。

【0072】

テーブル群３２は、複数の映像フォーマットのテーブルから構成され、予め設定された複数のテーブルとしてメモリに格納されている。テーブル群３２は、例えば、後述する図６のＹＣｂＣｒ４：２：２ １０ビット用テーブル、後述する図７のＹＣｂＣｒ４：４：４ １２ビット用テーブル等を含む。テーブルには、映像フレームをシリアル信号に変換するための規則、すなわち、Ｙ，Ｃｂ，Ｃｒ信号のビット配置を変換し、Ｙ信号についてはＣＰＵにて計算処理可能な配置に並び替えるための規則を表すデータが格納されている。

【0073】

（ＹＣｂＣｒ４：２：２ １０ビットの映像フレームの場合）
図４は、映像フレーム変換手段３１の処理例を説明する図であり、ＹＣｂＣｒ４：２：２ １０ビットの映像フレームの場合を示している。図６は、ＹＣｂＣｒ４：２：２ １０ビット用テーブルのデータ構成例を示す図である。

【0074】

図６を参照して、このテーブルは、サブグループ長、信号、上位ビット長、下位ビット長、上位並び替え先（バイト番号／ビット位置）及び下位並び替え先（バイト番号／ビット位置）の各データから構成される。

【0075】

尚、図６に示すテーブルのデータ構成は一例であり、本発明は、このデータ構成に限定されるものではない。後述する図７に示すテーブルについても同様である。

【0076】

図４及び図６を参照して、映像フレーム変換手段３１は、入力した映像フレームの映像フォーマットがＹＣｂＣｒ４：２：２ １０ビットである場合、図６のテーブルに格納されたサブグループ長「１５バイト」を読み出す。そして、映像フレーム変換手段３１は、１５バイトを単位として、シリアル信号を生成する。

【0077】

映像フレーム変換手段３１は、図６のテーブルに格納された信号の情報を読み出し、映像フレームに含まれるＹ０～Ｙ５信号、Ｃｂ０～Ｃｂ２信号及びＣｒ０～Ｃｒ２信号を識別する。ここで、１５バイトのサブグループは、Ｙ０～Ｙ５信号、Ｃｂ０～Ｃｂ２信号及びＣｒ０～Ｃｒ２信号からなる１２個の要素信号により構成される。

【0078】

映像フレーム変換手段３１は、図６のテーブルに格納された信号毎に、上位ビット長、下位ビット長、上位並び替え先（バイト番号／ビット位置）及び下位並び替え先（バイト番号／ビット位置）を読み出す。そして、映像フレーム変換手段３１は、サブグループ毎に、映像フレームから識別した要素信号のそれぞれについて、上位ビット長、下位ビット長、上位並び替え先及び下位並び替え先に従い、分割して並び替える処理を行う。

【0079】

図６のテーブルを参照して、サブグループ長は、サブグループを構成する所定数の要素信号の合計バイト長を示す。上位ビット長は、要素信号を並び替える際の、映像フレームから識別された要素信号を分割する上位側のビット長（上位ビットデータのビット長）である。下位ビット長は、要素信号を分割する下位側のビット長（下位ビットデータのビット長）である。

【0080】

上位並び替え先（バイト番号／ビット位置）は、要素信号を並び替えてシリアル信号を生成する際の、要素信号の上位ビットデータが格納される、サブグループを単位としたシリアル信号内の位置である。下位並び替え先（バイト番号／ビット位置）は、要素信号を並び替えてシリアル信号を生成する際の、要素信号の下位ビットデータが格納される、サブグループを単位としたシリアル信号内の位置である。

【0081】

図８（１）は、シリアル信号において、サブグループ長が１５バイトの場合のバイト番号を示す図であり、図８（２）は、１バイト内のビット位置を示す図である。サブグループ長が１５バイトの場合、バイト番号は、シリアル信号内において、１から１５まで順番に付けられている。また、ビット位置は、１バイト内において、最下位ビットのビット位置０から最上位ビットのビット位置７まで順番に付けられている。

【0082】

図６のテーブルにおいて、上位並び替え先（バイト番号／ビット位置）及び下位並び替え先（バイト番号／ビット位置）のバイト番号は、図８（１）に対応し、ビット位置は、図８（２）に対応する。つまり、要素信号の上位ビットデータは、１５バイトのサブグループを単位としたシリアル信号内の、図８（１）（２）にて特定される上位並び替え先に格納される。また、要素信号の下位ビットデータは、１５バイトのサブグループを単位としたシリアル信号内の、図８（１）（２）にて特定される下位並び替え先に格納される。

【0083】

例えば、映像フレーム変換手段３１は、Ｙ０信号について、図６のテーブルから上位ビット長「２」、下位ビット長「８」、上位並び替え先「２／０～１」及び下位並び替え先「１／０～７」を読み出す。この場合、上位ビット長「２」は、ＣＰＵの計算処理単位のビット長８よりも短いビット長であり、下位ビット長「８」は、ＣＰＵの計算処理単位のビット長８と同じビット長である。

【0084】

映像フレーム変換手段３１は、図４のα１に示すように、Ｙ０信号における２ビット長の上位ビットデータを、シリアル信号内の上位並び替え先「２／０～１」であるバイト番号２のビット位置０～１に格納する。また、映像フレーム変換手段３１は、図４のβ１に示すように、Ｙ０信号における８ビット長の下位ビットデータを、シリアル信号内の下位並び替え先「１／０～７」であるバイト番号１のビット位置０～７に格納する。

【0085】

このように、映像フレーム変換手段３１により、図６のテーブルを用いて、１５バイトのサブグループ毎に、映像フレームに含まれるＹ，Ｃｂ，Ｃｒ信号が、図４の下部に示すシリアル信号内の所定位置に並び替えられる。

【0086】

これにより、映像フレームは、当該映像フレームを構成する全てのＹ，Ｃｂ，Ｃｒ信号の上位ビットデータ及び下位ビットデータが隙間なく連続して構成されたシリアル信号に変換される。

【0087】

また、Ｙ信号は、ＣＰＵにて計算処理可能な２バイト（下位バイト及び上位バイト）の配置に並び替えられる。つまり、Ｙ信号は、ＣＰＵの計算処理単位と同じ１バイトである８ビット長の下位ビットデータ、及び、ＣＰＵの計算処理単位である１バイトよりも短い２ビット長の上位ビットデータに分割され、上位ビットデータは上位並び替え先に、下位ビットデータは下位並び替え先に格納され並び替えられる。

【0088】

そして、受信装置は、Ｙ信号の上位ビットデータのビット位置２からビット位置７までをビットマスクすることで、ＣＰＵは、Ｙ信号の上位ビットデータ及び下位ビットデータを用いて、Ｙ信号の計算処理を行うことができる。例えば、受信装置は、Ｙ０信号について、バイト番号２のビット位置２からビット位置７までのデータ（Ｃｂ０信号の下位ビットデータ）をビットマスクすることで、ＣＰＵは、Ｙ０信号の計算処理を行うことができる。

【0089】

（ＹＣｂＣｒ４：４：４ １２ビットの映像フレームの場合）
図５は、映像フレーム変換手段３１の処理例を説明する図であり、ＹＣｂＣｒ４：４：４ １２ビットの映像フレームの場合を示している。図７は、ＹＣｂＣｒ４：４：４ １２ビット用テーブルのデータ構成例を示す図である。

【0090】

図７を参照して、このテーブルは、図６と同様に、サブグループ長、信号、上位ビット長、下位ビット長、上位並び替え先（バイト番号／ビット位置）及び下位並び替え先（バイト番号／ビット位置）の各データから構成される。

【0091】

図５及び図７を参照して、映像フレーム変換手段３１は、入力した映像フレームの映像フォーマットがＹＣｂＣｒ４：４：４ １２ビットである場合、図７のテーブルに格納されたサブグループ長「９バイト」を読み出す。そして、映像フレーム変換手段３１は、９バイトを単位として、シリアル信号を生成する。

【0092】

映像フレーム変換手段３１は、図７のテーブルに格納された信号の情報を読み出し、映像フレームに含まれるＹ０，Ｙ１信号、Ｃｂ０，Ｃｂ１信号及びＣｒ０，Ｃｒ１信号を識別する。ここで、９バイトのサブグループは、Ｙ０，Ｙ１信号、Ｃｂ０，Ｃｂ１信号及びＣｒ０，Ｃｒ１信号からなる６個の要素信号により構成される。

【0093】

例えば、映像フレーム変換手段３１は、Ｙ０信号について、図７のテーブルから上位ビット長「４」、下位ビット長「８」、上位並び替え先「２／０～３」及び下位並び替え先「１／０～７」を読み出す。

【0094】

映像フレーム変換手段３１は、図５のα２に示すように、Ｙ０信号における４ビット長の上位ビットデータを、シリアル信号内の上位並び替え先「２／０～３」であるバイト番号２のビット位置０～３に格納する。また、映像フレーム変換手段３１は、図５のβ２に示すように、Ｙ０信号における８ビット長の下位ビットデータを、シリアル信号内の下位並び替え先「１／０～７」であるバイト番号１のビット位置０～７に格納する。

【0095】

このように、映像フレーム変換手段３１により、図７のテーブルを用いて、９バイトのサブグループ毎に、映像フレームに含まれるＹ，Ｃｂ，Ｃｒ信号が、図５の下部に示すシリアル信号内の所定位置に並び替えられる。

【0096】

これにより、映像フレームは、当該映像フレームを構成する全てのＹ，Ｃｂ，Ｃｒ信号の上位ビットデータ及び下位ビットデータが隙間なく連続して構成されたシリアル信号に変換される。

【0097】

また、Ｙ信号は、ＣＰＵにて計算処理可能な２バイト（下位バイト及び上位バイト）の配置に並び替えられる。つまり、Ｙ信号は、ＣＰＵの計算処理単位と同じ１バイトである８ビット長の下位ビットデータ、及び、ＣＰＵの計算処理単位である１バイトよりも短い４ビット長の上位ビットデータに分割され、上位ビットデータは上位並び替え先に、下位ビットデータは下位並び替え先に格納され並び替えられる。

【0098】

そして、受信装置は、Ｙ信号の上位ビットデータのビット位置４からビット位置７までをビットマスクすることで、ＣＰＵは、Ｙ信号の上位ビットデータ及び下位ビットデータを用いて、Ｙ信号の計算処理を行うことができる。例えば、受信装置は、Ｙ０信号について、バイト番号２のビット位置４からビット位置７までのデータ（Ｃｂ０信号の下位ビットデータ）をビットマスクすることで、ＣＰＵは、Ｙ０信号の計算処理を行うことができる。

【0099】

〔映像フレーム変換部２０の処理〕
次に、図２に示した映像フレーム変換部２０の処理について詳細に説明する。図９は、映像フレーム変換部２０の処理例を示すフローチャートである。以下、ＹＣｂＣｒ４：２：２ １０ビットの映像フレームの場合を例に挙げて説明する。

【0100】

映像フレーム変換部２０が映像フレームを入力すると（ステップＳ９０１）、映像フォーマット特定手段３０は、映像フレームの映像フォーマットがＹＣｂＣｒ４：２：２ １０ビットであると特定する（ステップＳ９０２）。

【0101】

映像フレーム変換手段３１は、図６のテーブルを参照し、サブグループ長「１５バイト」のサブグループを単位として、映像フレームからＹ，Ｃｂ，Ｃｒ信号のそれぞれを識別し、映像フレームの先頭から順番に抽出する（ステップＳ９０３）。

【0102】

図１０は、Ｙ，Ｃｂ，Ｃｒ信号の抽出処理（ステップＳ９０３）を説明する図である。映像フレーム変換手段３１は、映像フレームから、サブグループ長「１５バイト」のサブグループを単位として、最初に、Ｃｂ０信号、Ｙ０信号、Ｃｒ０信号、・・・、Ｙ５信号を抽出する。Ｃｂ０信号、Ｙ０信号、Ｃｒ０信号、・・・、Ｙ５信号の要素数は１２であり、各要素信号は１０ビット長である。

【0103】

図９に戻って、映像フレーム変換手段３１は、図６のテーブルを参照し、ステップＳ９０３にて抽出したＣｂ０信号、Ｙ０信号、Ｃｒ０信号、・・・、Ｙ５信号のそれぞれについて、上位ビットデータ及び下位ビットデータに分割する（ステップＳ９０４）。

【0104】

映像フレーム変換手段３１は、図６のテーブルを参照し、ステップＳ９０４にて分割したＣｂ０信号、Ｙ０信号、Ｃｒ０信号、・・・、Ｙ５信号の上位ビットデータ及び下位ビットデータについて、並び替えを行う（ステップＳ９０５）。そして、映像フレーム変換手段３１は、図４の下部に示したシリアル信号を生成し、シリアル信号をＩＰパケット送信部２１に出力する（ステップＳ９０６）。

【0105】

図１１は、上位及び下位分割処理、並び替え処理及びシリアル信号生成処理（ステップＳ９０４～ステップＳ９０６）を説明する図である。映像フレーム変換手段３１は、Ｃｂ０信号について、図６のテーブルから上位ビット長「４」、下位ビット長「６」、上位並び替え先「１３／０～３」及び下位並び替え先「２／２～７」を読み出す。

【0106】

映像フレーム変換手段３１は、Ｃｂ０信号を、４ビット長の上位ビットデータ及び６ビット長の下位ビットデータに分割する。そして、映像フレーム変換手段３１は、Ｃｂ０信号における４ビット長の上位ビットデータを、シリアル信号内のバイト番号１３のビット位置０～３に格納する。また、映像フレーム変換手段３１は、Ｃｂ０信号における６ビット長の下位ビットデータを、シリアル信号内のバイト番号２のビット位置２～７に格納する。

【0107】

同様に、映像フレーム変換手段３１は、図６のテーブルを参照し、Ｙ０信号を２ビット長の上位ビットデータ及び８ビット長の下位ビットデータに分割する。そして、映像フレーム変換手段３１は、Ｙ０信号における２ビット長の上位ビットデータを、シリアル信号内のバイト番号２のビット位置０～１に格納する。また、映像フレーム変換手段３１は、Ｙ０信号における８ビット長の下位ビットデータを、シリアル信号内のバイト番号１のビット位置０～７に格納する。

【0108】

同様に、映像フレーム変換手段３１は、図６のテーブルを参照し、Ｃｒ０信号を４ビット長の上位ビットデータ及び６ビット長の下位ビットデータに分割する。そして、映像フレーム変換手段３１は、Ｃｒ０信号における４ビット長の上位ビットデータを、シリアル信号内のバイト番号１３のビット位置４～７に格納する。また、映像フレーム変換手段３１は、Ｃｒ０信号における６ビット長の下位ビットデータを、シリアル信号内のバイト番号４のビット位置２～７に格納する。

【0109】

そして、映像フレーム変換手段３１は、図１１の下部に示したシリアル信号を生成し、シリアル信号をＩＰパケット送信部２１に出力する。

【0110】

映像フォーマットがＹＣｂＣｒ４：２：２ １０ビットの場合、そのシリアル信号の構成は、図４の下部に示したとおりである。また、映像フォーマットがＹＣｂＣｒ４：４：４ １２ビットの場合、そのシリアル信号の構成は、図５の下部に示したとおりである。

【0111】

〔他の映像フォーマットのシリアル信号〕
次に、他の映像フォーマットにおけるシリアル信号の構成例について説明する。図１２（１）は、ＹＣｂＣｒ４：４：４ １０ビットのシリアル信号の構成例を示す図である。映像フォーマットがＹＣｂＣｒ４：４：４ １０ビットの場合、サブグループ長は１５バイトである。１５バイトのサブグループは、Ｙ０～Ｙ３信号、Ｃｂ０～Ｃｂ３信号及びＣｒ０～Ｃｒ３信号からなる１２個の要素信号により構成される。

【0112】

図１２（１）に示すように、Ｙ０～Ｙ３信号、Ｃｂ０～Ｃｂ３信号及びＣｒ０～Ｃｒ３信号のそれぞれは、所定長の上位ビットデータ及び下位ビットデータに分割される。そして、上位ビットデータ及び下位ビットデータは、シリアル信号内の所定位置に格納される。このような処理は１５バイトのサブグループ毎に行われ、映像フレームに対応するシリアル信号が生成される。

【0113】

図１２（２）は、ＹＣｂＣｒ４：２：２ １２ビットのシリアル信号の構成例を示す図である。映像フォーマットがＹＣｂＣｒ４：２：２ １２ビットの場合、サブグループ長は６バイトである。６バイトのサブグループは、Ｙ０，Ｙ１信号、Ｃｂ０信号及びＣｒ０信号からなる４個の要素信号により構成される。

【0114】

図１２（２）に示すように、Ｙ０，Ｙ１信号、Ｃｂ０信号及びＣｒ０信号のそれぞれは、所定長の上位ビットデータ及び下位ビットデータに分割される。そして、上位ビットデータ及び下位ビットデータは、シリアル信号内の所定位置に格納される。このような処理は６バイトのサブグループ毎に行われ、映像フレームに対応するシリアル信号が生成される。

【0115】

〔ＣＰＵにて計算処理可能なデータ生成処理〕
次に、ＣＰＵにて計算処理可能なデータ生成処理について説明する。このデータ生成処理は、映像フレームを処理する映像切替部１２、画像処理部１３及びモニタ５のＣＰＵにて計算処理可能となるように、Ｙ０信号を含む２バイトのデータに対して行う処理である。

【0116】

図１３は、映像切替部１２等におけるＹ０信号のデータ生成処理例を説明する図である。映像切替部１２等は、ＩＰパケットを受信すると、ＩＰパケットから、映像フレームのシリアル信号（図４及び図１１に示したＹＣｂＣｒ４：２：２ １０ビットのシリアル信号）を抽出する。そして、映像切替部１２等は、シリアル信号からＹ０信号が配置されたバイト単位の箇所を特定し、Ｙ０信号を含む２バイトのデータを抽出する（ステップＳ１３０１）。

【0117】

これにより、（ａ）に示すように、下位８ビットのＹ０信号、下位６ビットのＣｂ０信号及び上位２ビットのＹ０信号から構成される２バイトのデータが抽出される。

【0118】

映像切替部１２等は、Ｙ０信号を含む２バイトのデータ（ａ）に対し、下位バイトのビット位置２～７をビットマスクする（ステップＳ１３０２）。

【0119】

これにより、（ｂ）に示すように、下位８ビットのＹ０信号、６ビットの０の信号及び上位２ビットのＹ０信号から構成される２バイトのデータが生成される。この２バイトのデータは、リトルエンディアンで表された１０ビットのＹ０信号のみからなる。このため、ＣＰＵは、２バイトのＹ０信号に対して計算処理を行うことができる。

【0120】

このように、映像切替部１２等は、図１３に示したビットマスクの処理により、Ｙ０信号を、ＣＰＵが計算処理可能な１６ビットに配置することができる。

【0121】

図１７に示した従来技術の処理では、ＣＰＵにて計算処理可能なデータを生成するために、バイトオーダー、ビットシフト及びビットマスクの処理が必要であるのに対し、図１３に示した本発明の実施形態の処理では、ビットマスクの処理のみが必要である。したがって、本発明の実施形態では、従来技術よりも少ない処理で済むから、映像フレームから抽出した要素信号のビット配置を、ＣＰＵにて計算処理可能な配置に、短時間かつ低負荷にて変換することが可能となる。

【0122】

〔実験結果〕
次に、コンピュータシミュレーションによる実験結果について説明する。図１４は、本発明の実施形態及び従来技術における処理時間を説明する実験結果の図であり、シリアル信号がＹ信号を抽出し、ＣＰＵにて計算処理可能なＹ信号のデータを生成するための処理時間を示している。

【0123】

図１４の上部に示すように、ＩＰパケット受信部４０、Ｙ信号抽出部４１及び画像認識部４２を備えたＰＣサーバにおいて、Ｙ信号抽出部４１の処理時間を測定し、これを実験結果として、図１４の下部に示している。

【0124】

従来技術（非特許文献３のＲＦＣ４１７５の方法）による実験結果は、ＰＣサーバが、図１６に示したようなシリアル信号が格納されたＩＰパケットを受信した場合のＹ信号抽出部４１による処理時間を示す。ＩＰパケットには、２Ｋ解像度の映像フレームが格納されている。

【0125】

ＩＰパケット受信部４０において、ＩＰパケットからシリアル信号が抽出され、Ｙ信号抽出部４１へ入力される。Ｙ信号抽出部４１において、シリアル信号からＹ信号を含む２バイトのデータが抽出され、図１７に示したデータ生成処理により、ＣＰＵにて計算処理可能なＹ信号を含む２バイトのデータ（図１７（ｄ））が生成される。Ｙ信号抽出部４１により生成されたＹ信号を含む２バイトのデータは、画像認識部４２へ入力され、画像認識の処理が行われる。

【0126】

一方、本発明の実施形態では、ＰＣサーバは、本発明の実施形態の映像フレーム伝送装置１１から送信された２Ｋ解像度の映像フレームを含むＩＰパケットを受信する。ＩＰパケット受信部４０において、ＩＰパケットからシリアル信号が抽出され、Ｙ信号抽出部４１へ入力される。

【0127】

Ｙ信号抽出部４１において、シリアル信号からＹ信号を含む２バイトのデータが抽出され、図１３に示したデータ生成処理により、ＣＰＵにて計算処理可能なＹ信号を含む２バイトのデータ（図１３の（ｂ））が生成される。Ｙ信号抽出部４１により生成されたＹ信号を含む２バイトのデータは、画像認識部４２へ入力され、画像認識の処理が行われる。

【0128】

このような一連の処理の中で、Ｙ信号抽出部４１による処理、すなわち、シリアル信号からＹ信号が抽出され、ＣＰＵにて計算処理可能なＹ信号を含む２バイトのデータが生成されるまでの処理時間を１００フレーム分計測する。そして、この計測値を平均化して１フレーム当たりの平均処理時間を算出する。

【0129】

このようにして算出された平均処理時間は、従来技術では９．４４４２０１ｍｓｅｃであり、本発明の実施形態では８．５５３４８９ｍｓｅｃである。この実験結果から、本発明の実施形態の平均処理時間は、従来技術よりも短いことがわかる。つまり、本発明の実施形態により、シリアル信号から抽出したＹ０信号のビット配置を、ＣＰＵにて計算処理可能な配置に、短時間かつ低負荷にて変換することが可能となる。

【0130】

以上のように、本発明の実施形態の映像フレーム伝送装置１１によれば、映像フレーム変換部２０は、映像フレームの映像フォーマットを特定し、特定した映像フォーマットのテーブルを用いて、サブグループ毎に、映像フレームに含まれるＹ，Ｃｂ，Ｃｒ信号を識別し、これらの要素信号のビット配置を変換し、Ｙ信号についてはＣＰＵにて計算処理可能な配置に並び替え、シリアル信号を生成する。

【0131】

ＩＰパケット送信部２１は、シリアル信号に含まれるＹ，Ｃｂ，Ｃｒ信号のサブグループを単位として、１以上のサブグループをＩＰパケットに格納し、ＩＰパケットをＩＰネットワークへ送信する。

【0132】

そして、ＩＰパケットを受信する映像切替装置３の映像切替部１２、画像処理装置４の画像処理部１３及びモニタ５は、受信したＩＰパケットから映像フレームのシリアル信号を抽出し、シリアル信号からＹ信号を含む２バイトのデータを抽出する。そして、映像切替部１２等は、Ｙ信号を含む２バイトのデータに対し、下位バイトの所定ビット位置をビットマスクする。これにより、映像切替部１２等のＣＰＵは、Ｙ信号の計算処理を行うことができる。

【0133】

ＣＰＵにて計算処理可能なデータを生成するために、従来技術では、バイトオーダー、ビットシフト及びビットマスクの処理が必要であったが、本発明の実施形態では、ビットマスクの処理のみで済む。

【0134】

したがって、本発明の実施形態によれば、映像切替部１２等において、映像フレームから抽出したＹ信号のビット配置を、ＣＰＵにて計算処理可能な配置に、短時間かつ低負荷にて変換することが可能となる。つまり、映像フレーム伝送装置１１において、ＩＰパケットを映像切替装置３等の受信装置へ伝送する際に、映像切替装置３等にて映像フレームの処理が短時間かつ低負荷にて実現できるように、要素信号のビット配置を変換することが可能となる。そして、例えば画像処理部１３において、映像フレームに対し、エッジ抽出、顔、文字等の対象物の認識等の処理を短時間で開始することができる。

【0135】

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば図１において、映像切替装置３は、本発明の実施形態による映像フレーム伝送装置１１－３を備え、画像処理装置４は、映像フレーム伝送装置１１－４を備えるようにした。この映像フレーム伝送装置１１は、映像切替装置３及び画像処理装置４に実装されるだけではなく、映像フレームが格納されたＩＰパケットを送信する装置の一部に実装されていればよい。

【0136】

また、本発明の実施形態による映像フレーム伝送装置１１の処理対象となる映像フレームの映像フォーマットは、図４に示したＹＣｂＣｒ４：２：２ １０ビット、図５に示したＹＣｂＣｒ４：４：４ １２ビット、図１２（１）に示したＹＣｂＣｒ４：４：４ １０ビット、図１２（２）に示したＹＣｂＣｒ４：２：２ １２ビットだけでなく、他のフォーマットにも適用がある。この場合、図３に示したテーブル群３２には、映像フレーム伝送装置１１の処理対象となる全ての映像フレームの映像フォーマットに関するテーブルが含まれる。

【0137】

また、前記実施形態では、映像フレーム伝送装置１１は、映像フレームのシリアル信号をＩＰパケットに格納し、ＩＰパケットをＩＰネットワークの伝送路へ送信するようにした。これに対し、映像フレーム伝送装置１１は、映像フレームのシリアル信号をＳＤＩ信号に格納し、ＳＤＩ信号をＳＤＩの伝送路へ送信するようにしてもよい。要するに、映像フレーム伝送装置１１は、映像フレームのシリアル信号をＩＰパケット以外のＳＤＩ信号等のシリアルデジタル映像信号に格納し、シリアルデジタル映像信号をシリアル伝送路へ送信するようにしてもよい。

【0138】

尚、本発明の実施形態による映像フレーム伝送装置１１のハードウェア構成としては、通常のコンピュータを使用することができる。映像フレーム伝送装置１１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。映像フレーム伝送装置１１に備えた映像フレーム変換部２０及びＩＰパケット送信部２１の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

【符号の説明】

【0139】

１，１０１ 番組制作システム
２－１，２－２，１０２－１，１０２－２ カメラ
３，１０３ 映像切替装置
４，１０４ 画像処理装置
５，１０５ モニタ
１０－１，１０－２ 撮像部
１１－１，１１－２，１１－３，１１－４ 映像フレーム伝送装置
１２ 映像切替部
１３ 画像処理部
２０ 映像フレーム変換部
２１ ＩＰパケット送信部
３０ 映像フォーマット特定手段
３１ 映像フレーム変換手段
３２ テーブル群
４０ ＩＰパケット受信部
４１ Ｙ信号抽出部
４２ 画像認識部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】