▶ 学校法人幾徳学園の特許一覧 ▶ ミハル通信株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024145754
(43)【公開日】2024-10-15
(54)【発明の名称】映像処理装置
(51)【国際特許分類】
H04N 21/241 20110101AFI20241004BHJP
H04L 41/0897 20220101ALI20241004BHJP
H04N 7/18 20060101ALI20241004BHJP
H04N 21/238 20110101ALI20241004BHJP
【ＦＩ】
H04N21/241
H04L41/0897
H04N7/18 K
H04N21/238
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2023058238
(22)【出願日】2023-03-31
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和３年度 国立研究開発法人情報通信研究機構「革新的情報通信技術研究開発委託研究／（高臨場感通信環境実現のための広帯域・低遅延リアルタイム配信処理プラットフォームの研究開発）（採択番号０３１０１）」、産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】391022614
【氏名又は名称】学校法人幾徳学園
(71)【出願人】
【識別番号】000114226
【氏名又は名称】ミハル通信株式会社
(74)【代理人】
【識別番号】100144749
【弁理士】
【氏名又は名称】小林 正英
(74)【代理人】
【識別番号】100076369
【弁理士】
【氏名又は名称】小林 正治
(72)【発明者】
【氏名】丸山 充
(72)【発明者】
【氏名】瀬林 克啓
(72)【発明者】
【氏名】加藤 康久
(72)【発明者】
【氏名】青木 弘太
【テーマコード（参考）】
5C054
5C164
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054EA00
5C054HA17
5C164FA29
5C164MA02S
5C164SB21P
5C164SB51P
5C164TA22S
(57)【要約】
【課題】 ネットワーク上のクラウドやエッジのコンピューティング能力を使用し、必要な時だけシステムを仮想的に構成し、映像処理ワークフローを実現できるようにする。
【解決手段】 ネットワークに接続されたＰＣサーバや仮想マシンを使って映像処理する映像処理装置であり、ＤＰＤＫで提供する機能を用いて、ＯＳの配下から特定のＣＰＵコアやメモリ、ネットワークインタフェースカードのリソースを取り上げて、ユーザプログラムで専有できる状態にした上で、映像処理機能割当部が映像データの入出力に用いるネットワークインタフェースカードのリソース割り当て、複数のプログラム処理を実行するファンクションためのＣＰＵのコアのリソース割り当て、入出力に用いるアドレス情報の割り当てを行い、ファンクション部は、割り当てられたファンクションのみの動作を繰り返し実行させることで、ファンクション部を一斉に起動した後は、入力パケットデータに基づく途切れのない映像処理を実行できるようにした。
【選択図】図１
【解決手段】 ネットワークに接続されたＰＣサーバや仮想マシンを使って映像処理する映像処理装置であり、ＤＰＤＫで提供する機能を用いて、ＯＳの配下から特定のＣＰＵコアやメモリ、ネットワークインタフェースカードのリソースを取り上げて、ユーザプログラムで専有できる状態にした上で、映像処理機能割当部が映像データの入出力に用いるネットワークインタフェースカードのリソース割り当て、複数のプログラム処理を実行するファンクションためのＣＰＵのコアのリソース割り当て、入出力に用いるアドレス情報の割り当てを行い、ファンクション部は、割り当てられたファンクションのみの動作を繰り返し実行させることで、ファンクション部を一斉に起動した後は、入力パケットデータに基づく途切れのない映像処理を実行できるようにした。
【選択図】図１
【特許請求の範囲】
【請求項1】
映像処理をネットワークに接続された汎用のＰＣサーバや仮想マシンを使って実現する映像処理装置において、
ＤＰＤＫで提供する機能を用いて、ＯＳの配下から特定のＣＰＵコアやメモリ、ネットワークインタフェースカードのリソースを取り上げて、ユーザプログラムで専有できる状態にした上で、
映像処理機能割当部が、映像データの入出力に用いるネットワークインタフェースカードのリソース割り当て、複数のプログラム処理を実行するファンクションためのＣＰＵのコアのリソース割り当て、入出力に用いるアドレス情報の割り当てを行い、
ファンクション部の各ＣＰＵコアは、割り当てたファンクションのみの動作を繰り返し実行させることで、ファンクション部を一斉に起動した後は、入力パケットデータに基づく途切れのない映像処理を実行でき、各ファンクションには、外部からの映像処理に関わる機能制御を行うＡＰＩインタフェースを備えることにより、リアルタイム映像処理を行える、
ことを特徴とする映像処理装置。
ＤＰＤＫで提供する機能を用いて、ＯＳの配下から特定のＣＰＵコアやメモリ、ネットワークインタフェースカードのリソースを取り上げて、ユーザプログラムで専有できる状態にした上で、
映像処理機能割当部が、映像データの入出力に用いるネットワークインタフェースカードのリソース割り当て、複数のプログラム処理を実行するファンクションためのＣＰＵのコアのリソース割り当て、入出力に用いるアドレス情報の割り当てを行い、
ファンクション部の各ＣＰＵコアは、割り当てたファンクションのみの動作を繰り返し実行させることで、ファンクション部を一斉に起動した後は、入力パケットデータに基づく途切れのない映像処理を実行でき、各ファンクションには、外部からの映像処理に関わる機能制御を行うＡＰＩインタフェースを備えることにより、リアルタイム映像処理を行える、
ことを特徴とする映像処理装置。
【請求項2】
請求項１記載の映像処理装置において、
ネットワークインタフェースカードのリソース割り当てやＣＰＵのコアリソース割り当て、アドレス割り当ての情報を一括して設定可能なリソース統合情報で管理する、
ことを特徴とする映像処理装置。
ネットワークインタフェースカードのリソース割り当てやＣＰＵのコアリソース割り当て、アドレス割り当ての情報を一括して設定可能なリソース統合情報で管理する、
ことを特徴とする映像処理装置。
【請求項3】
請求項１又は請求項２記載の映像処理装置において、
ネットワークインタフェースの回線状況や割り当てたコアのＣＰＵやメモリのリソースを内部リソース監視部でモニタリングして、絶えずリソース状況を監視表示することが可能である、
ことを特徴とする映像処理装置。
ネットワークインタフェースの回線状況や割り当てたコアのＣＰＵやメモリのリソースを内部リソース監視部でモニタリングして、絶えずリソース状況を監視表示することが可能である、
ことを特徴とする映像処理装置。
【請求項4】
請求項１又は請求項２記載の映像処理装置において、
リソース状況のモニタリングの結果、リソース不足が判明した場合には、該当のＣＰＵコア数などの割り当て数を変更し、リソース統合情報を書き替え、映像処理機能割当部が各ファンクション部を再起動可能である、
ことを特徴とする映像処理装置。
リソース状況のモニタリングの結果、リソース不足が判明した場合には、該当のＣＰＵコア数などの割り当て数を変更し、リソース統合情報を書き替え、映像処理機能割当部が各ファンクション部を再起動可能である、
ことを特徴とする映像処理装置。
【請求項5】
請求項１記載の映像処理装置において、
複数の映像処理機能を連結して、一連の映像ワークフローを実現するために、
映像処理機能の構成情報を管理する映像処理機能構成管理部を加え、
外部ネットワークから入力された映像パケットに対して、入力映像のパケットプロトコル処理および映像処理機能部で処理する順番を指定する機能を有する映像処理入力部と、
複数の映像処理機能部と、
外部ネットワークに出力するための映像パケットに変換するプロトコル処理を行うための映像出力部が相互結合されたコネクションネットワークで接続され、
映像処理機能構成管理部が複数の映像処理機能部と映像処理入力部と映像出力処理部を起動することで、
外部ネットワークからの映像入力パケットに基づく途切れのない複数の映像処理の連結動作を行い、処理後の映像パケットを出力することを可能とする、
ことを特徴とする映像処理装置。
複数の映像処理機能を連結して、一連の映像ワークフローを実現するために、
映像処理機能の構成情報を管理する映像処理機能構成管理部を加え、
外部ネットワークから入力された映像パケットに対して、入力映像のパケットプロトコル処理および映像処理機能部で処理する順番を指定する機能を有する映像処理入力部と、
複数の映像処理機能部と、
外部ネットワークに出力するための映像パケットに変換するプロトコル処理を行うための映像出力部が相互結合されたコネクションネットワークで接続され、
映像処理機能構成管理部が複数の映像処理機能部と映像処理入力部と映像出力処理部を起動することで、
外部ネットワークからの映像入力パケットに基づく途切れのない複数の映像処理の連結動作を行い、処理後の映像パケットを出力することを可能とする、
ことを特徴とする映像処理装置。
【請求項6】
請求項２記載の映像処理装置において、
複数の映像処理機能を連結して、一連の映像ワークフローを実現するために、
映像処理機能の構成情報を管理する映像処理機能構成管理部を加え、
外部ネットワークから入力された映像パケットに対して、入力映像のパケットプロトコル処理および映像処理機能部で処理する順番を指定する機能を有する映像処理入力部と、
複数の映像処理機能部と、
外部ネットワークに出力するための映像パケットに変換するプロトコル処理を行うための映像出力部が相互結合されたコネクションネットワークで接続され、
映像処理機能構成管理部が複数の映像処理機能部と映像処理入力部と映像出力処理部を起動することで、
外部ネットワークからの映像入力パケットに基づく途切れのない複数の映像処理の連結動作を行い、処理後の映像パケットを出力することを可能とする、
ことを特徴とする映像処理装置。
複数の映像処理機能を連結して、一連の映像ワークフローを実現するために、
映像処理機能の構成情報を管理する映像処理機能構成管理部を加え、
外部ネットワークから入力された映像パケットに対して、入力映像のパケットプロトコル処理および映像処理機能部で処理する順番を指定する機能を有する映像処理入力部と、
複数の映像処理機能部と、
外部ネットワークに出力するための映像パケットに変換するプロトコル処理を行うための映像出力部が相互結合されたコネクションネットワークで接続され、
映像処理機能構成管理部が複数の映像処理機能部と映像処理入力部と映像出力処理部を起動することで、
外部ネットワークからの映像入力パケットに基づく途切れのない複数の映像処理の連結動作を行い、処理後の映像パケットを出力することを可能とする、
ことを特徴とする映像処理装置。
【請求項7】
請求項５記載の映像処理装置において、
回線状況および映像処理機能部のリソース状況をリアルタイムに監視する映像処理機能リソース監視部によりシステムの正常動作を監視・表示できる、
ことを特徴とする映像処理装置。
回線状況および映像処理機能部のリソース状況をリアルタイムに監視する映像処理機能リソース監視部によりシステムの正常動作を監視・表示できる、
ことを特徴とする映像処理装置。
【請求項8】
請求項６記載の映像処理装置において、
回線状況および映像処理機能部のリソース状況をリアルタイムに監視する映像処理機能リソース監視部によりシステムの正常動作を監視・表示できる、
ことを特徴とする映像処理装置。
回線状況および映像処理機能部のリソース状況をリアルタイムに監視する映像処理機能リソース監視部によりシステムの正常動作を監視・表示できる、
ことを特徴とする映像処理装置。
【請求項9】
請求項５記載の映像処理装置において、
リソース不足が判明した場合に、映像処理機能構成管理部に通知することで、映像処理機能部の実行に割り当ててある仮想マシンや物理サーバ等の割り当て情報を再割り当てして、安定動作可能にする、
ことを特徴とする映像処理装置。
リソース不足が判明した場合に、映像処理機能構成管理部に通知することで、映像処理機能部の実行に割り当ててある仮想マシンや物理サーバ等の割り当て情報を再割り当てして、安定動作可能にする、
ことを特徴とする映像処理装置。
【請求項10】
請求項６記載の映像処理装置において、
リソース不足が判明した場合に、映像処理機能構成管理部に通知することで、映像処理機能部の実行に割り当ててある仮想マシンや物理サーバ等の割り当て情報を再割り当てして、安定動作可能にする、安定動作可能にする、
ことを特徴とする映像処理装置。
リソース不足が判明した場合に、映像処理機能構成管理部に通知することで、映像処理機能部の実行に割り当ててある仮想マシンや物理サーバ等の割り当て情報を再割り当てして、安定動作可能にする、安定動作可能にする、
ことを特徴とする映像処理装置。
【請求項11】
請求項７記載の映像処理装置において、
リソース不足が判明した場合に、映像処理機能構成管理部に通知することで、映像処理機能部の実行に割り当ててある仮想マシンや物理サーバ等の割り当て情報を再割り当てして、安定動作可能にする、
ことを特徴とする映像処理装置。
リソース不足が判明した場合に、映像処理機能構成管理部に通知することで、映像処理機能部の実行に割り当ててある仮想マシンや物理サーバ等の割り当て情報を再割り当てして、安定動作可能にする、
ことを特徴とする映像処理装置。
【請求項12】
請求項８記載の映像処理装置において、
リソース不足が判明した場合に、映像処理機能構成管理部に通知することで、映像処理機能部の実行に割り当ててある仮想マシンや物理サーバ等の割り当て情報を再割り当てして、安定動作可能にする、安定動作可能にする、
ことを特徴とする映像処理装置。
リソース不足が判明した場合に、映像処理機能構成管理部に通知することで、映像処理機能部の実行に割り当ててある仮想マシンや物理サーバ等の割り当て情報を再割り当てして、安定動作可能にする、安定動作可能にする、
ことを特徴とする映像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ライブ映像制作に用いる映像処理装置（映像処理システム）に関するものである。
【背景技術】
【0002】
ライブ映像制作では、複数のカメラ映像素材やレコーダの収録済の映像素材などの入力素材に加工を加え、随時切り替える編集作業を行い、視聴者に送出する映像ワークフローを実現するためのシステムが使われる。図１４のように、遠隔地のカメラ素材（例えばお天気カメラ）などは、送信伝送装置Ａから送出され、ネットワークを介して、受信伝送装置Ｂで受信したものを素材として用いる。編集拠点では、様々な映像処理機能（色調整Ｃ、フォーマット変換Ｄ、映像切り替えＥ、フォーマット変換・圧縮機能Ｆ）を実現する複数の映像処理装置を組み合わせてシステム化し、それら映像処理装置の結線にはＳＤＩなどの数ｍから最長100ｍ程度の映像インタフェースケーブルが使われる事が多い。
このため、複数の映像処理装置を１箇所に集める必要がある他、映像処理装置は、映像フォーマットによって様々な種類があり、電気的な入出力インタフェース条件が違うと接続できないなど構築に関する専門の知識が必要となる。また、最近普及してきた８Ｋ映像に対応したものになると、４８Ｇｂｐｓや２４Ｇｂｐｓの映像インタフェース速度が必要となり、映像処理装置間では複数本数の映像インタフェースを束ねて並列伝送したり、光ケーブルを使って伝送したりするシステムになり、高価であり、簡単に利用する事はできない課題がある。
このため、複数の映像処理装置を１箇所に集める必要がある他、映像処理装置は、映像フォーマットによって様々な種類があり、電気的な入出力インタフェース条件が違うと接続できないなど構築に関する専門の知識が必要となる。また、最近普及してきた８Ｋ映像に対応したものになると、４８Ｇｂｐｓや２４Ｇｂｐｓの映像インタフェース速度が必要となり、映像処理装置間では複数本数の映像インタフェースを束ねて並列伝送したり、光ケーブルを使って伝送したりするシステムになり、高価であり、簡単に利用する事はできない課題がある。
【0003】
従来、ＩＰネットワークが広く使われるようになり、中継現場とスタジオをネットワークで接続し、番組制作を行うリモートプロダクションというワークフローが浸透してきた他、さらにネットワーク上のクラウドやエッジのコンピューティング能力を用いて、先行投資なしで必要な時だけ映像編集処理を行う動きがある（非特許文献１）。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】https://www.nhk.or.jp/strl/publica/rd/179/2.html
【0005】
しかしながら、現在のクラウドコンピューティングを用いた映像処理機能の実現においては、以下のような実現上の課題がある。
（１）８Ｋ映像で必要となるover10Gbpsの高速処理を実現するのが難しい。
（２）複数の映像処理機能を連携する仕組みが用意されていない。
（３）ＣＰＵやネットワークのリソースを監視する仕組みがない。
（４）リソース低減時にリソースを再割り当てする仕組みがない。
（１）８Ｋ映像で必要となるover10Gbpsの高速処理を実現するのが難しい。
（２）複数の映像処理機能を連携する仕組みが用意されていない。
（３）ＣＰＵやネットワークのリソースを監視する仕組みがない。
（４）リソース低減時にリソースを再割り当てする仕組みがない。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は上記の如き問題を解消すべく開発されたもので、その目的とするところは、距離的制約やインタフェースの複雑さを排除し、ネットワーク上のクラウドやエッジのコンピューティング能力を使用し、必要な時だけシステムを仮想的に構成し、映像処理ワークフローを実現できる映像処理装置を提供することにある。
【課題を解決するための手段】
【0007】
本発明は、映像処理をネットワークに接続されたＰＣサーバや仮想マシンを使って実現する映像処理装置において、図７のようなＤＰＤＫ（Data Plane Development Kit）で提供する機能を用いて、ＯＳの配下から特定のＣＰＵコアやメモリ、ネットワークインタフェースカードのリソースを取り上げて、ユーザプログラムで専有できる状態で動作させることで、割り込み等の影響を避けた高速動作を可能とする。また、映像処理装置は、映像処理機能割当部、ファンクション部を備え、映像処理機能割当部は映像データの入出力に用いるネットワークインタフェースカードのリソース割り当て、複数のプログラム処理を実行するファンクションためのＣＰＵのコアのリソース割り当て、入出力に用いるアドレス情報の割り当てを行い、ファンクション部は複数のＣＰＵコアとＡＰＩインタフェースを備え、各ＣＰＵコアは，割り当てたファンクションのみの動作を繰り返し実行させる事で、ファンクション部を一斉に起動した後は、入力パケットデータに基づく途切れのない映像処理を実行できる。ＡＰＩインタフェースは外部からの映像処理に関わる機能制御を行う。
【0008】
前記映像処理装置では、ネットワークインタフェースカードのリソース割り当てやＣＰＵのコアリソース割り当て、アドレス割り当ての情報を一括して設定可能なリソース統合情報で管理主体を付加する事で、アプリケーションに応じた容易な設定を行う事もできる。
【0009】
前記映像処理装置では、内部リソース監視部を付加することで、ネットワークインタフェースの回線状況や割り当てたコアのＣＰＵやメモリのリソース状況を絶えず監視表示することもできる。
【0010】
前記映像処理装置では，リソース状況のモニタリングの結果，リソース不足が判明した場合には、該当のＣＰＵコア数などの割り当て数を変更し、リソース統合情報を書き替え、前記映像処理機能割当部が前記各ファンクション部を再起動する事で、安定的な動作を達成することができる。
【0011】
本発明では、複数の映像処理機能を必要な個数および順番に連結して（システム化して）、一連の映像ワークフローを実現する映像処理装置とすることもできる。このために、前記映像処理装置に映像処理機能の構成情報を管理する映像処理機能構成管理部を加え、前記映像処理装置に相当するプログラム可能な映像処理機能部が仮想マシンや物理サーバを用いて複数動作する場合において、外部ネットワークから入力された映像パケットに対して、入力映像のパケットプロトコル処理および映像処理機能部で処理する順番を指定する機能を有する映像処理入力部と、複数の映像処理機能部と、外部ネットワークに出力するための映像パケットに変換するプロトコル処理を行うための映像出力部が相互結合されたコネクションネットワークで接続され、映像処理機能構成管理部が複数の映像処理機能部と映像処理入力部と映像出力処理部を起動することで、外部ネットワークからの映像入力パケットに基づく途切れのない複数の映像処理の連結動作を行い、処理後の映像パケットを出力する構成とする。
【0012】
本発明の前記映像処理装置においては、回線状況および前記映像処理機能部のリソース状況をリアルタイムに監視する映像処理機能リソース監視部によりシステムの正常動作の監視およびリソース状況の表示が達成される。
【0013】
本発明の前記映像処理装置においては、リソース不足が判明した場合に、その旨を前記映像処理機能構成管理部に通知する事で、前記映像処理機能部の実行に割り当てた仮想マシンや物理サーバを性能が高いものに変更して、安定動作させることができる。
【発明の効果】
【0014】
本発明の映像処理装置によれば、従来の映像処理システムの課題であった、映像入出力のインタフェースの距離制約により複数の映像処理装置を１箇所に集める必要があったことや、インタフェースの仕様により接続不可が発生する課題の解決を行うために、インタフェースが統一されて距離制約をなくしたＩＰネットワークを用いた上で、クラウドやエッジのコンピューティング能力を導入して、必要な時に自在にシステムが組める利便性を有するシステムを構築することができる。
【0015】
８Ｋなどの広帯域映像処理に向けた実現上の課題を克服し、次のことも可能となる。
（１）８Ｋ映像で必要となるover10Gbpsの高速処理の実現。
（２）複数の映像処理機能を連携する仕組み。
（３）ＣＰＵやネットワークのリソースを監視する仕組み。
（４）リソース低減時にリソースを再割り当てする仕組み。
（１）８Ｋ映像で必要となるover10Gbpsの高速処理の実現。
（２）複数の映像処理機能を連携する仕組み。
（３）ＣＰＵやネットワークのリソースを監視する仕組み。
（４）リソース低減時にリソースを再割り当てする仕組み。
【図面の簡単な説明】
【0016】
【図1】本発明の映像処理装置の実施例の説明図。
【図2】本発明の映像処理装置の他の実施例の説明図。
【図3】本発明の映像処理装置の詳細構成図。
【図4】本発明の映像処理装置のリソース構成情報図。
【図5】本発明の映像処理装置の他のシステム図。
【図6】本発明の映像処理装置の他のシステム図。
【図7】ＤＰＤＫ（Data Plane Development Kit）を用いた映像処理説明図。
【図8】本発明の映像処理装置の他のシステム図。
【図9】本発明の映像処理装置におけるリソース設定例であって、映像処理入力部（主系列）の設定説明図。
【図10】本発明の映像処理装置におけるリソース設定例であって、映像処理入力部（副系統１）の設定説明図。
【図11】本発明の映像処理装置におけるリソース設定例であって、映像処理入力部（副系統２）の設定説明図。
【図12】本発明の映像処理装置におけるリソース設定例であって、映像処理機能・映像切り替え（１段目）の設定説明図。
【図13】本発明の映像処理装置におけるリソース設定例であって、映像処理機能・映像切り替え（２段目）の設定説明図。
【図14】従来の映像処理装置のシステム図。
【発明を実施するための形態】
【0017】
本発明に係る映像処理装置は、次のような各部（機能）を備えたものであり、これら各部で以下の機能を分担することで、リアルタイム映像編集に関する処理を実現することができる。
【0018】
（１）映像処理機能割当部：ＤＰＤＫの利用によって構成される映像処理装置が使用する映像データの入出力に用いるネットワークインタフェースカードのリソース割り当て、複数のプログラム処理を実行するファンクションためのＣＰＵのコアのリソース割り当て、入出力に用いるアドレス情報の割り当てを行う。
（２）ファンクション部：各ＣＰＵコアは、割り当てたファンクションのみの動作を繰り返し実行する動作により、ファンクション部を一斉に起動した後は、入力パケットデータに基づく途切れのない映像処理を実行。
（３）ＡＰＩインタフェース：外部からの映像処理に関わる機能制御を行うファンクションに備わっている機能。
（４）リソース統合情報：ネットワークインタフェースカードのリソース割り当てやＣＰＵのコアリソース割り当て、アドレス割り当ての情報を一括して設定可能なリソース統合情報で管理主体を付加する事で、アプリケーションに応じた容易な設定が可能である。
（５）内部リソース監視部：ネットワークインタフェースの回線状況や割り当てたコアのＣＰＵやメモリのリソースを監視する機能を付加することで、絶えずリソース状況を監視表示が可能となる。
（６）映像処理装置のリソース再割り当て機能：リソース状況のモニタリングの結果、リソース不足が判明した場合には、該当のＣＰＵコア数などの割り当て数を変更し、リソース統合情報を書き替え、映像処理機能割当部が各ファンクション部を再起動する事で、安定的な動作が達成される。
（７）映像処理機能構成管理部：複数の映像処理機能を必要な個数および順番に連結して、一連の映像ワークフローを実現する映像処理システムの構成においては、映像処理機能の構成情報を管理する。
（８）映像処理機能部：映像処理装置に相当するプログラム可能な映像処理機能部が仮想マシンや物理サーバを用いて複数動作するものである。
（９）映像処理入力部：外部ネットワークから入力された映像パケットに対して、入力映像のパケットプロトコル処理および映像処理機能部で処理する順番を指定する機能。
（10）映像処理出力部：外部ネットワークに出力するための映像パケットに変換するプロトコル処理を行うための機能。
（11）コネクションネットワーク：映像処理入力部と、複数の映像処理機能部と、映像処理出力部が相互結合された構成であり、映像処理機能構成管理部が複数の映像処理機能部と映像処理入力部と映像出力処理部を起動することで、外部ネットワークからの映像入力パケットに基づく途切れのない複数の映像処理の連結動作を行い、処理後の映像パケットを出力することが可能となる。
（12）映像処理機機能リソース監視部：映像処理システムにおいては、回線状況および映像処理機能部のリソース状況をリアルタイムに監視することによりシステムの正常動作の監視およびリソース状況の表示が可能となる。
（13）映像処理システムのリソース再割り当て機能：映像処理システムにおいては、リソース不足が判明した場合に、映像処理機能構成管理部に通知することで、映像処理機能部の実行に割り当てた仮想マシンや物理サーバを性能が高いものに変更して、安定動作が可能となる。
（２）ファンクション部：各ＣＰＵコアは、割り当てたファンクションのみの動作を繰り返し実行する動作により、ファンクション部を一斉に起動した後は、入力パケットデータに基づく途切れのない映像処理を実行。
（３）ＡＰＩインタフェース：外部からの映像処理に関わる機能制御を行うファンクションに備わっている機能。
（４）リソース統合情報：ネットワークインタフェースカードのリソース割り当てやＣＰＵのコアリソース割り当て、アドレス割り当ての情報を一括して設定可能なリソース統合情報で管理主体を付加する事で、アプリケーションに応じた容易な設定が可能である。
（５）内部リソース監視部：ネットワークインタフェースの回線状況や割り当てたコアのＣＰＵやメモリのリソースを監視する機能を付加することで、絶えずリソース状況を監視表示が可能となる。
（６）映像処理装置のリソース再割り当て機能：リソース状況のモニタリングの結果、リソース不足が判明した場合には、該当のＣＰＵコア数などの割り当て数を変更し、リソース統合情報を書き替え、映像処理機能割当部が各ファンクション部を再起動する事で、安定的な動作が達成される。
（７）映像処理機能構成管理部：複数の映像処理機能を必要な個数および順番に連結して、一連の映像ワークフローを実現する映像処理システムの構成においては、映像処理機能の構成情報を管理する。
（８）映像処理機能部：映像処理装置に相当するプログラム可能な映像処理機能部が仮想マシンや物理サーバを用いて複数動作するものである。
（９）映像処理入力部：外部ネットワークから入力された映像パケットに対して、入力映像のパケットプロトコル処理および映像処理機能部で処理する順番を指定する機能。
（10）映像処理出力部：外部ネットワークに出力するための映像パケットに変換するプロトコル処理を行うための機能。
（11）コネクションネットワーク：映像処理入力部と、複数の映像処理機能部と、映像処理出力部が相互結合された構成であり、映像処理機能構成管理部が複数の映像処理機能部と映像処理入力部と映像出力処理部を起動することで、外部ネットワークからの映像入力パケットに基づく途切れのない複数の映像処理の連結動作を行い、処理後の映像パケットを出力することが可能となる。
（12）映像処理機機能リソース監視部：映像処理システムにおいては、回線状況および映像処理機能部のリソース状況をリアルタイムに監視することによりシステムの正常動作の監視およびリソース状況の表示が可能となる。
（13）映像処理システムのリソース再割り当て機能：映像処理システムにおいては、リソース不足が判明した場合に、映像処理機能構成管理部に通知することで、映像処理機能部の実行に割り当てた仮想マシンや物理サーバを性能が高いものに変更して、安定動作が可能となる。
【0019】
本発明に係る映像処理装置の実施例を図面に基づいて説明する。図１は、本発明の映像処理装置の一実施例であり、複数の映像を切り替える機能を持つ映像スイッチャーの例である。図１において、符号１と２は映像入力装置、３と４は映像信号をＩＰパケットに変換して送信する送信伝送装置、５は本発明に関わる映像処理装置、６は本装置に係る操作を行う操作端末、７はＩＰパケットを受信して映像信号に変換する受信伝送装置、８は表示装置を示している。
【0020】
映像入力装置１、２は，市中のカメラやレコーダ等の装置であり、接続インタフェースは、業務用に使用するデジタル信号のインタフェースのＳＤＩ（Serial Digital Interface）シリーズ（HD-SDI、3G-SDI、12G-SDI、U-SDI）が使われる。本実施例は、様々な解像度の映像の中で８Ｋ映像を扱う場合を一例として示す。
【0021】
８Ｋの非圧縮映像信号には、様々な種類がある。８Ｋ－ＤＧ（８Ｋデュアルグリーン）２４Ｇｂｐｓ、フル解像度８Ｋ ４８Ｇｂｐｓ、フルスペック８Ｋ １４４Ｇｂｐｓなどである。それぞれに使用するインタフェースは、８Ｋ－ＤＧでは、3G-SDI（ビデオのデジタル信号を伝送するＳＤＩにおいて、3G-SDI（3Gbps（2.97Gbps））のスピードがあり、１本の同軸ケーブルで１０８０ｐのＨＤ映像を伝送可能なもの）を８本使用して２４Ｇｂｐｓの速度を伝送できる。また、フル解像度 ８Ｋでは、3G-SDIを１６本使用したり、12G-SDIを４本で伝送したりするものが多い。また、フルスペック８Ｋ １４４Ｇｂｐｓでは、光ファイバベースのＵ－ＳＤＩを使う事が多い。
【0022】
ここでは、映像入力装置１、２から８Ｋ－ＤＧ ２４Ｇｂｐｓを３Ｇ－ＳＤＩ ８本で伝送する例をあげる。送信伝送装置３、４は、８Ｋ－ＤＧ ２４Ｇｂｐｓで入力された信号をそのままＩＰパケット化して回線に出力する。回線は広く使われている１０Ｇｂｐｓのイーサネット（10GBASE）を数本や４０Ｇｂｐｓのイーサネット（40GBASE）を使って、伝送し、映像処理装置５に入力される。映像処理装置５では、入力装置１から送信伝送装置３を介して伝送される「主系統」と入力装置２から送信伝送装置４を通して伝送される「副系統」の映像をリアルタイムで切り替える機能を有する。操作端末６から、どちらの映像を切り替えて選択出力するかの指示を受け取る。選択された映像は、ＩＰパケットの形で出力される。こちらも10GBASE数本や40GBASEなどのイーサネットを使って伝送する。受信伝送装置７では、選択済の映像のＩＰパケットを受け取り、映像信号に変換して、表示装置８に出力する。
【0023】
図２は映像処理装置５の構成図である。映像処理装置５は、ＰＣサーバや仮想マシンで構成される。映像処理機能割当部１１からは、映像処理装置５を動作させるためのＣＰＵコア、メモリ割り当ておよび動作するプログラムや使用する入出力インタフェースの割り当てが行われる。入力回線１２や出力回線１８は、10GBASE数本や40GBASEなどのイーサネットで構成される。１３はネットワークインタフェースカード（ＮＩＣ）であり、入力回線１２からのパケット信号が入力される。１８は出力回線であり、ネットワークインタフェースカード（ＮＩＣ）１７からのパケット信号が出力される。１４、１５、１６はファンクション部で、ＤＰＤＫによりＰＣサーバのＯＳや仮想マシンのＯＳからＣＰＵコアやメモリを映像処理専用で動作できるようになっている。同様に、ＮＩＣ（１３、１７）も映像処理専用で動作させるようになっている。
【0024】
図２では、入力回線１２が１系統になっているが、実際には入力回線１２が複数、対応するネットワークインタフェースカードが複数枚の構成とすることもできる。またファンクション部１４、１５、１６も様々な構成とすることができる。
【0025】
図２のファンクション部１４は、ＮＩＣ１３から直接パケットを入力し、入力プロトコル処理を行い、次のファンクション部１５に渡す役目を担う。ファンクション部１４では任意の宛先ＩＰアドレスや特定のＶＬＡＮ（仮想ネットワーク）のパケットのみを受け取るフィルタ処理を行う事もできる。ファンクション部１５では、映像処理をメインで行い、処理結果をファンクション部１６に渡す。ファンクション部１６は、ＮＩＣ１７からパケットを出力するための送信プロトコル処理を行う。ファンクション部１６では送信先のアドレスやポート番号、ＶＬＡＮ（仮想ネットワーク）番号や送出に使用する送信元のフレームのMACアドレスを任意に設定する事もできる。ファンクション部１４、１５、１６に関しては、入力回線１２から入力し、出力回線１８から出力するフォーマットおよび処理の負荷に応じて数を増やして並列化することもできる。アプリケーションプログラミングインタフェース（ＡＰＩ）１９は、各ファンクション１４、１５、１６に装置外部からの操作指示や外部にステータスを出力する用途に用いる。ＡＰＩは通常のＷｅｂサービスで使用されるＲＥＳＴ（RESTful）ＡＰＩが使用可能である。今回の利用例では、「主系統」と「副系統」の映像を選択する指示に利用する。
【0026】
図３は、本発明の図１の映像処理装置５の詳細図である。この構成では、「主系統」および「副系統」にそれぞれ８Ｋ－ＤＧの映像を使用することを想定する。また、入力映像装置１、３からは、３Ｇ－ＳＤＩ ８本を入力し、それぞれの３Ｇ－ＳＤＩを図１の送信伝送装置３および送信伝送装置４でＩＰパケット化し、図１の映像処理装置５に伝送する系を考える。使用するＩＰ映像伝送に利用するストリームは表１、表２のような８本にする。宛先アドレスは、映像伝送でよく利用するマルチキャストアドレスである。宛先アドレスと宛先ポート番号の組で、ストリームをユニークに区別可能である。
【0027】
【表1】
【0028】
【表2】
【0029】
８Ｋ－ＤＧの映像伝送帯域は、２４Ｇｂｐｓであるため、主系統を入力するためのＮＩＣ１３－１（図３）では、40GBASEまたは10GBASEを４つという構成にする。ＮＩＣ１３－１では主系統（１）－（８）のパケットを入力し、それを４つのファンクション部１４－１、２、３、４に、それぞれＣＰＵ、１コアを割り当てて処理を行う。
【0030】
ファンクション部１４－１では主系統（１）と主系統（２）の処理を行う。ファンクション部１４－２では主系統（３）と主系統（４）というように１コアで２つのストリームを分担する。ファンクション部１４－１、２、３、４では、自アドレスとして192.168.130.101を割り当てて、マルチキャストを受信するために、239.0.130.11,12,13,14にJoin要求をかけて、回線上のマルチキャスト送信元からのパケットを引き込み、宛先アドレスとポート番号からフロー単位でストリームを分離するプロトコル処理を行って、ストリーム単位で、ファンクション部１５－１、２、３、４にデータを渡す。プロトコル処理としては、ＶＬＡＮ（仮想ネットワーク）番号によるフィルタリングや誤り訂正や暗号化されたデータの複合化なども行う事ができる。
【0031】
同様に、副系統を入力するためのＮＩＣ１３－２（図３）でも40GBASEを使い、ファンクション部１４－５、６、７、８にそれぞれＣＰＵ１コアを割り当てて、副系統の２つのストリームを分担する。
【0032】
ファンクション部１４－５、６、７、８では、自アドレスとして192.168.130.101を割り当てて、マルチキャストを受信するために、239.0.130.15,16,17,18にJoin要求をかけて、回線上のマルチキャスト送信元からのパケットを引き込み、宛先アドレスとポート番号からストリームを分離するプロトコル処理を行って、副系統のペイロード部分をフレームバッファ１０１－１、２、３、４に格納した上で、ストリーム単位で、ファンクション部１５－１、２、３、４にデータを渡す。
【0033】
本実施例での映像切り替え処理は、高速切り替え処理を実現するために、主系統の映像が選択された場合には、主系統のストリームで用いる宛先アドレス、宛先ポート番号、送信元アドレス、送信元ポート番号、ペイロードをそのままパケット出力するか、任意に設定された宛先アドレス、宛先ポート番号、送信元アドレス、送信元ポート番号、ＶＬＡＮ（仮想ネットワーク）番号や送出に使用する送信元のフレームのMACアドレスを個別に指定して使用することもできる。副系統の映像が選択された場合には、副系統のストリームのペイロード部分を抽出した上で、主系統のストリームで使用するのと同一の宛先アドレス、宛先ポート番号、送信元アドレス、送信元ポート番号を使って、ペイロード分だけを差し替えてパケット出力を行う。
【0034】
前記ファンクション部１５－１、２、３、４は、２ストリーム毎に１ＣＰＵコアを割り当てて処理を行う。ＲＥＳＴ ＡＰＩ１９（図２）から主系統映像と副系統映像のどちらを選択するかの指示をもらい、主系統の場合には、そのまま、データを出力処理を行うファンクション部１６－１、２、３、４（図３）に渡す。副系統の場合には、バッファ１０１－１、２、３、４（図３）に格納されたデータから、パケットのペイロードに切り出す処理を行い、主系統のストリームで扱う宛先アドレス、宛先ポート番号、送信元アドレス、送信元ポート番号からなるヘッダを付加して、パケット出力処理を行うファンクション部１６－１、２、３、４（図３）に渡す。ファンクション部１６－１、２、３、４では、入力された主系統のストリームの宛先アドレス、宛先ポート番号、送信元アドレス、送信元ポート番号をそのまま使って出力する代わりに、任意に設定された宛先アドレス、宛先ポート番号、送信元アドレス、送信元ポート番号、ＶＬＡＮ（仮想ネットワーク）番号や送出に使用する送信元のフレームのMACアドレスを個別に指定して使用することもできる。
【0035】
出力処理を行うファンクション部１６－１、２、３、４では、出力用のＮＩＣ１７（図３）の出力状態を監視して、出力処理を行う。主に、送信タイミングが一定間隔になるような出力制御を行う他、誤り訂正符号を付加したり、暗号化したりすることもできる。ＮＩＣ１７の先に接続されるのは、２４Ｇｂｐｓの帯域が送出できる40GBASEの出力回線１８である。
【0036】
上記のＣＰＵコア割り当て、ＮＩＣの割り当て、ネットワークアドレスのリソース設定をテキストベースで管理し、これを基に映像処理割当部１１（図２）で構文解析をして割り当てることができる。設定例を図４に示す。
【0037】
図４では、interface部において、ＤＰＤＫの入力処理に用いるＮＩＣの指定および、該当のＮＩＣにおいてマルチキャストのJoinに使用するパケット情報などを設定する。また、flow部ではそれぞれのストリームのフロー単位に名前をつける。フローは、入力ＮＩＣ、宛先ＩＰアドレス、宛先ポート番号で指定している。stream_swaps部では、主系統のフローと該当する副系統のフローを対応づけた上で、ＤＰＤＫでＣＰＵコアを割り当てるソケット指定および、出力に用いるDPDKのNICの指定を行う。本例では、出力VLAN番号を1131に、出力パケット(フレーム)のソースMACアドレスを使用するＮＩＣのMACアドレスに置き換える指定、出力パケットの宛先アドレスを239.33.33.11-14に書き替え指定、出力パケットのソースアドレスを192.168.131.101に書き替える指定をした例である。ＤＰＤＫで使用するＣＰＵコアを詳細に設定する事もできるため、本ファイルを書き替えるだけで、詳細な構成変更が可能である。
【0038】
図２における内部リソース監視部２１に関しては、ネットワークインタフェースカード１３、１７から得られるパケット入出力情報やパケット欠落情報、ファンクション部にＤＰＤＫでサポートされるＣＰＵクロック数のカウント機能に基づく、各ファンクション部１４、１５、１６での処理時間を集約し、ＡＰＩを介して表示する事を可能とする。
【0039】
本発明では、リソース毎に設定された閾値を超え、リソース不足と判断された場合において、リソース統合情報（ＣＰＵ割当、ＮＩＣ割当、アドレス設定）２０に定義されたリソース情報を書き直して、映像処理機能割当部１１において、再度割り当てる方法である。様々なリース不足に対処する割り当て情報を予め複数用意しておき、切り替えることで実現できる。
【0040】
図５は本発明の映像処理装置における各種機器を結線したシステム（映像処理システム）の一例である。この映像処理システム９は、その内部に、前述した映像スイッチング機能を有する映像処理機能１１２－１、１１２－２を２つ組み合わせて、３入力の映像を切り替える機能を持つ映像スイッチャーを構成した例である。図５では副系統が１つ追加されており、副系統用の映像入力装置２－１と２－２、副系統用の送信伝送装置４－１と４－２、本システムに関わる操作を行う操作端末６、受信伝送装置７、映像表示装置８を備えている。
【0041】
図５の映像処理システムも８Ｋ－ＤＧフォーマットの映像を扱う。映像入力装置２－１と２－２から８Ｋ－ＤＧ ２４Ｇｂｐｓを３Ｇ－ＳＤＩ ８本で伝送する例をあげる。送信伝送装置３、４－１、４－２は、８Ｋ－ＤＧ ２４Ｇｂｐｓで入力された信号をそのままＩＰパケット化して入力回線に出力する。入力回線は４０Ｇｂｐｓのイーサネット（40GBASE）を使って伝送し、映像処理システム９に入力される。映像装置９では、入力装置１から送信伝送装置３を介して伝送される「主系統」と、映像入力装置２－１から送信伝送装置４－１を通して伝送される「副系統１」の映像および映像入力装置２－２から送信伝送装置４－２を通して伝送される「副系統２」の映像の３種類から１つを選択してリアルタイムで切り替える機能を有する。操作端末６から、どの映像を切り替えて選択出力するかの指示を受け取る。選択された映像は、ＩＰパケットの形で出力され40GBASEなどのイーサネットを使って伝送する。受信伝送装置７では、選択済の映像のＩＰパケットを受け取り、映像信号に変換して、表示装置８に出力する。
【0042】
図６は本発明の映像処理システム９の他の実施例の構成図である。図６の映像処理システム９は、ＰＣサーバや仮想マシンが複数台構成され、相互接続ネットワークで構成された分散システムである。１箇所にまとまったシステムではなく、各機能が地理的に依存せずに分散することが可能な構成である。図６の映像処理機能構成管理部１１１からは、各機能部を動作させるためのＰＣサーバやＶＭ（仮想マシン）、動作する映像処理機能、アドレスなどの割り当てが行われる。それを元に各映像処理機機能では映像処理装置で記したようなＣＰＵコアの割り当て、メモリ割り当て、ＮＩＣ割り当てなどのリソース割り当てが行われる。入力回線１２や出力回線１８は、10GBASE数本や40GBASEなどのイーサネットで構成される。ここでは、各処理部にはＮＩＣが搭載されている事を前提にして説明する。１１３は映像処理入力部であり、入力回線１２からパケット入力を行い、入力プロトコル処理を行う他、入力パケットに対して、映像処理機能１１２－１、１１２－２に対して、どのような順番で転送・処理を行うかの特別なヘッダを各パケットに付加する。
【0043】
前記のように、パケット単位で中継先を指定して伝送を行う実現形態はソースルーティング手法として知られている。ここでは、ソースルーティングおよび処理を指定可能な、セグメントルーティングの中で、既存のIPv6ネットワークでそのまま利用可能なＳＲｖ６という経路手法を使って実現する。
【0044】
図６のコネクションネットワーク１１５では、ＳＲｖ６のヘッダを元に経路制御が行われ、結果的に映像処理入力部１１３、映像処理機能１１２－１、１１２－２、映像処理出力部１１４の接続がパケット毎に制御可能である。ここには、市販のＳＲｖ６対応のＬ３スイッチやルータが使用可能である。
【0045】
図６の映像処理出力部１１４では、映像処理入力部１１３で付加したＳＲｖ６用のヘッダを削除して、通常のパケットに戻して、出力回線１８から外部ネットワークに送出する。
【0046】
映像処理機能１１２－１、１１２－２の内部は、入出力のＮＩＣおよび複数のファンクション部で構成されて、ＤＰＤＫによりＣＰＵコアやメモリを映像処理専用で動作させている。前記映像処理装置と異なるところは、ＳＲｖ６のプロトコルを解釈し、適切な経路制御が可能なところである。
【0047】
図６でも、映像処理入力部１１３や映像処理出力部１１４が１系統になっているが、実際には回線が複数、対応する映像処理部が複数の構成とすることもできる。
【0048】
［図５の動作説明］
図５の動作を実際のアドレスを使って説明する。図５の「主系統」および「副系統１」、「副系統２」にそれぞれ８Ｋ―ＤＧの映像を使用することを想定する。また、入力映像装置１、２－１、２－２からは、３Ｇ－ＳＤＩ ８本を入力し、それぞれの３Ｇ－ＳＤＩそのままＩＰパケット化し、伝送する系を考える。使用するＩＰ映像伝送に利用するストリームは表３、表４、表５のような８本にする。宛先アドレスは、映像伝送で良く利用するＩＰｖ４マルチキャストアドレスである。宛先アドレスと宛先ポート番号の組で、ストリームをユニークに区別可能である。
図５の動作を実際のアドレスを使って説明する。図５の「主系統」および「副系統１」、「副系統２」にそれぞれ８Ｋ―ＤＧの映像を使用することを想定する。また、入力映像装置１、２－１、２－２からは、３Ｇ－ＳＤＩ ８本を入力し、それぞれの３Ｇ－ＳＤＩそのままＩＰパケット化し、伝送する系を考える。使用するＩＰ映像伝送に利用するストリームは表３、表４、表５のような８本にする。宛先アドレスは、映像伝送で良く利用するＩＰｖ４マルチキャストアドレスである。宛先アドレスと宛先ポート番号の組で、ストリームをユニークに区別可能である。
【0049】
【表3】
【0050】
【表4】
【0051】
【表5】
【0052】
８Ｋ－ＤＧの映像伝送帯域は、２４Ｇｂｐｓであるため、主系統を入力するための映像入力処理部１１３－１（図５）では、40GBASE対応構成にする。この映像入力処理部１１３－１では、239.0.130.11,12,13,14にJoin要求をかけて、回線上のマルチキャスト送信元からのパケットを引き込み、宛先アドレスとポート番号からストリームを分離するプロトコル処理をおこない、ＩＰｖ６のヘッダをつけるカプセル化し、ＳＲｖ６のセグメントリスト（Ａ－＞Ｄ－＞Ｅ）を挿入するSRv6 Encap動作を行う。図５の映像処理システム９で用いるＩＰｖ６セグメントには、ＳＩＤ（セグメントＩＤ）が付与され、セグメントをどのように経由していくかを示したものがセグメントリストになる。Ａ－＞Ｄ－＞Ｅとは、各パケットがＡセグメント、Ｄセグメント、Ｅセグメントを経由して送られる事を示す。このため、まず主系統のパケットは、映像処理機能・映像切り替え１１２－１の主系統入力用のＮＩＣに入力される。
【0053】
副系統１に関しては、映像処理入力部１１３－２で、239.0.130.21,22,23,24にJoin要求をかけて、回線上のマルチキャスト送信元からのパケットを引き込み、宛先アドレスとポート番号からストリームを分離するプロトコル処理をおこない、ＩＰｖ６のヘッダをつけるカプセル化し、ＳＲｖ６のセグメントリスト（B）を挿入するSRv6 Encap動作を行う。これにより、副系統のパケットは、映像処理機能・映像切り替え１１２－１の副系統入力用のＮＩＣに入力される。
【0054】
副系統２に関しては、映像処理入力部１１３－３で、239.0.130.31,32,33,34にJoin要求をかけて、回線上のマルチキャスト送信元からのパケットを引き込み、宛先アドレスとポート番号からストリームを分離するプロトコル処理をおこない、ＩＰｖ６のヘッダをつけるカプセル化し、ＳＲｖ６のセグメントリスト（C）を挿入するSRv6 Encap動作を行う。これにより、副系統のパケットは、映像処理機能・映像切り替え１１２－２の副系統入力用のＮＩＣに入力される。
【0055】
映像処理入力部１１３－１、１１３－２、１１３－３は、誤り訂正や暗号化されたデータの複合化なども行う事ができる。
【0056】
本実施例での映像切り替え処理は、高速切り替え処理を実現するために、主系統の映像が選択された場合には、主系統のストリームで用いる宛先アドレス、宛先ポート番号、送信元アドレス、送信元ポート番号、ペイロードをそのままパケット出力する。副系統の映像が選択された場合には、副系統のストリームのペイロード部分を抽出した上で、主系統のストリームで用いる宛先アドレス、宛先ポート番号、送信元アドレス、送信元ポート番号を使って、ペイロード分だけを差し替えてパケット出力を行う。
【0057】
主系統、副系統１、副系統２の選択指示は、図５の操作端末６から行う。
【0058】
主系統の場合には、映像処理機能・映像切り替え１１２－１において、映像パケットをそのまま次のセグメント先のＤセグメントへの出力処理を行い、映像処理機能１１２－２においては、次のセグメント先のＥセグメントへの出力処理を行い、１１４の映像処理出力部において、ＳＲｖ６の終端処理（SRv6 End(PSP)）を行って、ＩＰｖ４ヘッダに戻して映像出力を行う。
【0059】
副系統１の場合には、映像処理機能１１２－１副系統を利用するように設定を行う。これにより、内部のバッファに格納されたデータから、パケットのペイロードを切り出す処理を行い、主系統のストリームで扱うＳＲｖ６ヘッダ、カプセル内部のＩＰｖ４宛先アドレス、ＩＰｖ４宛先ポート番号、ＩＰｖ４送信元アドレス、ＩＰｖ４送信元ポート番号からなるヘッダを付加して、パケット出力処理を行うため、主系統のセグメントリストに従って、Ｄセグメントに送出される。同時に映像処理機能・映像切り替え１１２－２が主系統を選ぶように設定されるため、映像処理機能・映像切り替え１１２－２において、そのままパケットをセグメントリストに従って、Ｅセグメントに送出される。映像処理出力部１１４において、ＳＲｖ６の終端処理（SRv6 End(PSP)）を行って、ＩＰｖ４ヘッダに戻して映像出力を行う。
【0060】
副系統２の場合には、映像処理機能・映像切り替え１１２－２において、内部のバッファに格納されたデータから、パケットのペイロードを切り出す処理を行い、主系統のストリームで扱うＳＲｖ６ヘッダ、カプセル内部のＩＰｖ４宛先アドレス、ＩＰｖ４宛先ポート番号、ＩＰｖ４送信元アドレス、ＩＰｖ４送信元ポート番号からなるヘッダを付加して、パケット出力処理を行うため、主系統のセグメントリストに従って、Ｅセグメントに送出される。映像処理出力部１１４において、ＳＲｖ６の終端処理（SRv6 End(PSP)）を行って、ＩＰｖ４ヘッダに戻して映像出力を行う。
【0061】
上記処理のリソース設定をテキストベースで管理し、これを基に映像処理機能構成管理部１１１で構文解析をして割り当てることができる。設定例を図９～図１３に示す。同図の例においては、
セグメントＡ fd77:fb3d:88f5:aa::
セグメントＢ fd77:fb3d:88f5:ab::
セグメントＣ fd77:fb3d:88f5:bb::
セグメントＤ fd77:fb3b:88f5:ba::
セグメントＥ fd77:fb3b:88f5:ff::
に設定した場合の設定例を示す。
セグメントＡ fd77:fb3d:88f5:aa::
セグメントＢ fd77:fb3d:88f5:ab::
セグメントＣ fd77:fb3d:88f5:bb::
セグメントＤ fd77:fb3b:88f5:ba::
セグメントＥ fd77:fb3b:88f5:ff::
に設定した場合の設定例を示す。
【0062】
以下に図５を参照して、図９～図１３の説明をする。
図５の映像入力部（主系統）１１３－１においては、interfaces指定において、入出力に使用するNICの指定を行うと共に、IPv6のアドレス指定やIPv4マルチキャストを引き込むためのJoin情報を記載する。flow指定において、扱うフローの定義を行い、v6encapsでカプセル化した際に必要なIPv6アドレスを指定する。srv6_h_insertにおいて、SRv6セグメントリストの挿入を行い、該当のパケットに途中経過するセグメント「Ａ」、「Ｄ」、「Ｅ」を設定する。映像入力部（副系統１）１１３－２においても、同様な処理を行い、srv6_h_insertにおいては、経由するセグメントが１つしかないため、「Ｂ」だけを指定している。同様に映像入力部（副系統２）１１３－３においても、同様な処理を行いsrv6_h_insertにおいては、経由する唯一のセグメント「Ｃ」を指定する。図５の映像処理機能１１２－１においては、映像切り替え処理を行うために、入力に使用するセグメント「Ａ」と「Ｂ」が使われる。それぞれ、srv6_endによって、次に示すセグメントへのポインタ処理が行われるが、「Ａ」に入ったパケットに対しては、次の「Ｄ」が指定される。「Ｂ」に入ったパケットに対しては、次がないため終端される。映像処理のペイロード差し替えは、前述した仕組みと同じで主系統のアドレス情報を使って、指定された出力用ＮＩＣからパケットが出力される。最後の設定情報の例では、映像処理機能１１２－２と映像処理出力部１１４の処理を同じシステムで行っている。映像切り替え処理を行うために、入力に使用するセグメント「Ｄ」と「Ｃ」が使われる。それぞれ、srv6_endによって、次に示すセグメントへのポインタ処理が行われるが、「Ｄ」に入ったパケットに対しては、次の「Ｅ」が指定される。「Ｃ」に入ったパケットに対しては、次がないため終端される。映像処理のペイロード差し替えは、前述した仕組みと同じで主系統のアドレス情報を使って、出力処理を進め、次にセグメント「Ｅ」の処理として、end_pspでSRv6 End(PSP)処理によりセグメントヘッダが取り除かれる。その後、v6decap処理によって、カプセル化されていたIPv6のヘッダを外すアンカプセル化が行われて、指定された出力用ＮＩＣからIPv4パケットとして出力される。この例では、出力時にIPv4の宛先アドレスとソースアドレスを書き替えている。
図５の映像入力部（主系統）１１３－１においては、interfaces指定において、入出力に使用するNICの指定を行うと共に、IPv6のアドレス指定やIPv4マルチキャストを引き込むためのJoin情報を記載する。flow指定において、扱うフローの定義を行い、v6encapsでカプセル化した際に必要なIPv6アドレスを指定する。srv6_h_insertにおいて、SRv6セグメントリストの挿入を行い、該当のパケットに途中経過するセグメント「Ａ」、「Ｄ」、「Ｅ」を設定する。映像入力部（副系統１）１１３－２においても、同様な処理を行い、srv6_h_insertにおいては、経由するセグメントが１つしかないため、「Ｂ」だけを指定している。同様に映像入力部（副系統２）１１３－３においても、同様な処理を行いsrv6_h_insertにおいては、経由する唯一のセグメント「Ｃ」を指定する。図５の映像処理機能１１２－１においては、映像切り替え処理を行うために、入力に使用するセグメント「Ａ」と「Ｂ」が使われる。それぞれ、srv6_endによって、次に示すセグメントへのポインタ処理が行われるが、「Ａ」に入ったパケットに対しては、次の「Ｄ」が指定される。「Ｂ」に入ったパケットに対しては、次がないため終端される。映像処理のペイロード差し替えは、前述した仕組みと同じで主系統のアドレス情報を使って、指定された出力用ＮＩＣからパケットが出力される。最後の設定情報の例では、映像処理機能１１２－２と映像処理出力部１１４の処理を同じシステムで行っている。映像切り替え処理を行うために、入力に使用するセグメント「Ｄ」と「Ｃ」が使われる。それぞれ、srv6_endによって、次に示すセグメントへのポインタ処理が行われるが、「Ｄ」に入ったパケットに対しては、次の「Ｅ」が指定される。「Ｃ」に入ったパケットに対しては、次がないため終端される。映像処理のペイロード差し替えは、前述した仕組みと同じで主系統のアドレス情報を使って、出力処理を進め、次にセグメント「Ｅ」の処理として、end_pspでSRv6 End(PSP)処理によりセグメントヘッダが取り除かれる。その後、v6decap処理によって、カプセル化されていたIPv6のヘッダを外すアンカプセル化が行われて、指定された出力用ＮＩＣからIPv4パケットとして出力される。この例では、出力時にIPv4の宛先アドレスとソースアドレスを書き替えている。
【0063】
［図６の映像処理システムの動作説明］
図６の映像処理システム９においては、映像処理機能リソース監視部１１６が、映像処理入力部１１３や映像処理機能１１２－１、１１２－２、映像処理出力部１１４の回線状況および映像処理機能１１２－１、１１２－２のリソース状況を、映像処理機能リソース監視部１１６でリアルタイムに監視することで、映像処理システム９の正常動作の監視およびリソース状況の表示を行うことができる。回線状況のモニタには、各部のＮＩＣのパケット入出力情報やパケット欠落情報および、コネクションネットワークの入出力情報などを利用できる。映像処理機能部１１２－１、１１２－２のＣＰＵ等のリソース情報は、映像処理機能部１１２－１、１１２－２でサポートするＣＰＵクロック数のカウント機能に基づく、各ファンクション部での処理時間を集約できる。これらを、ＡＰＩを介して表示する事を可能とする。
図６の映像処理システム９においては、映像処理機能リソース監視部１１６が、映像処理入力部１１３や映像処理機能１１２－１、１１２－２、映像処理出力部１１４の回線状況および映像処理機能１１２－１、１１２－２のリソース状況を、映像処理機能リソース監視部１１６でリアルタイムに監視することで、映像処理システム９の正常動作の監視およびリソース状況の表示を行うことができる。回線状況のモニタには、各部のＮＩＣのパケット入出力情報やパケット欠落情報および、コネクションネットワークの入出力情報などを利用できる。映像処理機能部１１２－１、１１２－２のＣＰＵ等のリソース情報は、映像処理機能部１１２－１、１１２－２でサポートするＣＰＵクロック数のカウント機能に基づく、各ファンクション部での処理時間を集約できる。これらを、ＡＰＩを介して表示する事を可能とする。
【0064】
前記のように、リソース毎にリアルタイムに監視されたリソースが、設定された閾値を超え、リソース不足と判断され、リソース不足が映像処理機能構成管理部１１１に通知されると、映像処理機能構成管理部１１１は定義されたリソース情報を書き直して、再度サーバＰＣや仮想マシンを割り当てることができる。映像処理機能構成管理部１１１には様々なリース不足に対処する割り当て情報が予め複数用意されており、夫々のリース不足に応じて割り当て情報を切り替えることができる。
【産業上の利用可能性】
【0065】
本発明の映像処理装置は前記実施例に示した分野以外での利用も可能である、また、発明の課題を解決可能な範囲で、各種機器の構成、機能、システム化を変更することも可能である。
【符号の説明】
【0066】
１、２ 映像入力装置
２－１ 副系統用の映像入力装置
２－２ 副系統用の映像入力装置
３ 送信伝送装置
４－１ 送信伝送装置
４－２ 送信伝送装置
５ 映像処理装置
６ 操作端末
７ 受信伝送装置
８ 表示装置
９ 映像処理システム
１０１－１、２、３、４ フレームバッファ
１０１－１、２、３、４ バッファ
１１ 映像処理機能割当部
１２ 入力回線
１２ 外部ＮＷ回線
１３ ネットワークインタフェースカード（ＮＩＣ）
１３－１ ＮＩＣ
１４ ファンクション部
１４－１、２、３、４ ファンクション部
１４－５、６、７、８ ファンクション部
１５ ファンクション部
１５―１、２、３、４ ファンクション部
１６ ファンクション部
１６－１、２、３、４ ファンクション部
１７ ネットワークインタフェースカード（ＮＩＣ）
１８ 出力回線
１９ アプリケーションプログラミングインタフェース部（ＡＰＩ部）
２１ 内部リソース監視部
１１１ 映像処理機能構成管理部
１１２－１ 映像処理機能
１１２－２ 映像処理機能
１１２－１ 映像処理機能・映像切り替え
１１３ 映像処理入力部
１１３－１ 映像入力処理部
１１３－２ 映像処理入力部
１１４ 映像処理出力部
１１３－１ 映像処理入力部
１１３－２ 映像処理入力部
１１３－３ 映像処理入力部
１１６ 映像処理機能リソース監視部
Ａ 従来の送信伝送装置
Ｂ 従来の受信伝送装置
Ｃ 色調整機能
Ｄ フォーマット変換機能
Ｅ 映像切り替え機能
Ｆ フォーマット変換・圧縮機能
２－１ 副系統用の映像入力装置
２－２ 副系統用の映像入力装置
３ 送信伝送装置
４－１ 送信伝送装置
４－２ 送信伝送装置
５ 映像処理装置
６ 操作端末
７ 受信伝送装置
８ 表示装置
９ 映像処理システム
１０１－１、２、３、４ フレームバッファ
１０１－１、２、３、４ バッファ
１１ 映像処理機能割当部
１２ 入力回線
１２ 外部ＮＷ回線
１３ ネットワークインタフェースカード（ＮＩＣ）
１３－１ ＮＩＣ
１４ ファンクション部
１４－１、２、３、４ ファンクション部
１４－５、６、７、８ ファンクション部
１５ ファンクション部
１５―１、２、３、４ ファンクション部
１６ ファンクション部
１６－１、２、３、４ ファンクション部
１７ ネットワークインタフェースカード（ＮＩＣ）
１８ 出力回線
１９ アプリケーションプログラミングインタフェース部（ＡＰＩ部）
２１ 内部リソース監視部
１１１ 映像処理機能構成管理部
１１２－１ 映像処理機能
１１２－２ 映像処理機能
１１２－１ 映像処理機能・映像切り替え
１１３ 映像処理入力部
１１３－１ 映像入力処理部
１１３－２ 映像処理入力部
１１４ 映像処理出力部
１１３－１ 映像処理入力部
１１３－２ 映像処理入力部
１１３－３ 映像処理入力部
１１６ 映像処理機能リソース監視部
Ａ 従来の送信伝送装置
Ｂ 従来の受信伝送装置
Ｃ 色調整機能
Ｄ フォーマット変換機能
Ｅ 映像切り替え機能
Ｆ フォーマット変換・圧縮機能
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
