知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023181086
(43)【公開日】2023-12-21
(54)【発明の名称】映像処理システム、映像処理方法、映像処理プログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20231214BHJP
H04N 21/235 20110101ALI20231214BHJP
H04N 21/24 20110101ALI20231214BHJP
【ＦＩ】
H04N23/60 300
H04N21/235
H04N21/24
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023071013
(22)【出願日】2023-04-24
(31)【優先権主張番号】P 2022093934
(32)【優先日】2022-06-09
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】100106149
【弁理士】
【氏名又は名称】矢作 和行
(74)【代理人】
【識別番号】100121991
【弁理士】
【氏名又は名称】野々部 泰平
(74)【代理人】
【識別番号】100145595
【弁理士】
【氏名又は名称】久保 貴則
(72)【発明者】
【氏名】竹内 隆
(72)【発明者】
【氏名】加藤 碧
【テーマコード（参考）】
5C122
5C164
【Ｆターム（参考）】
5C122DA03
5C122DA14
5C122EA06
5C122GC07
5C122GC37
5C122GC52
5C122GC75
5C122HA02
5C122HA13
5C122HA35
5C122HB01
5C122HB02
5C122HB10
5C164FA07
5C164MC06S
5C164SB08P
5C164SB41P
5C164YA21
5C164YA22
(57)【要約】
【課題】汎用性と信頼性とを両立する映像処理システムの提供。
【解決手段】ネットワークＮＷを通じてインフラカメラ１０から取得される映像フレームＦｍを処理する映像処理システム２０のプロセッサ２０１は、映像フレームＦｍを時系列順に取得することと、正規間隔Ｔｉで取得される映像フレームＦｍよりも遅延した遅延フレームＦｄとして、取得間隔Ｔｒが遅延許容範囲Ｒａ外に増大した映像フレームＦｍを、特定することと、遅延フレームＦｄに遅延情報Ｉｄを付加することと、遅延情報Ｉｄの付加された遅延フレームＦｄを内包する、映像フレームＦｍの時系列な映像データＤｍを出力することと、を実行するように構成される。
【選択図】図３
【解決手段】ネットワークＮＷを通じてインフラカメラ１０から取得される映像フレームＦｍを処理する映像処理システム２０のプロセッサ２０１は、映像フレームＦｍを時系列順に取得することと、正規間隔Ｔｉで取得される映像フレームＦｍよりも遅延した遅延フレームＦｄとして、取得間隔Ｔｒが遅延許容範囲Ｒａ外に増大した映像フレームＦｍを、特定することと、遅延フレームＦｄに遅延情報Ｉｄを付加することと、遅延情報Ｉｄの付加された遅延フレームＦｄを内包する、映像フレームＦｍの時系列な映像データＤｍを出力することと、を実行するように構成される。
【選択図】図３
【特許請求の範囲】
【請求項1】
プロセッサ（２０１）を有し、ネットワーク（ＮＷ，ＮＷＡ）を通じてカメラ（１０，１０Ａ）から取得される映像フレーム（Ｆｍ）を処理する映像処理システム（２０，２０Ａ）であって、
前記プロセッサは、
前記映像フレームを時系列順に取得することと、
正規間隔（Ｔｉ）で取得される前記映像フレームよりも遅延した遅延フレーム（Ｆｄ）として、取得間隔（Ｔｒ）が遅延許容範囲（Ｒａ）外に増大した前記映像フレームを、特定することと、
前記遅延フレームに遅延情報（Ｉｄ）を付加することと、
前記遅延情報の付加された前記遅延フレームを内包する、前記映像フレームの時系列な映像データ（Ｄｍ）を出力することと、
を実行するように構成される映像処理システム。
前記プロセッサは、
前記映像フレームを時系列順に取得することと、
正規間隔（Ｔｉ）で取得される前記映像フレームよりも遅延した遅延フレーム（Ｆｄ）として、取得間隔（Ｔｒ）が遅延許容範囲（Ｒａ）外に増大した前記映像フレームを、特定することと、
前記遅延フレームに遅延情報（Ｉｄ）を付加することと、
前記遅延情報の付加された前記遅延フレームを内包する、前記映像フレームの時系列な映像データ（Ｄｍ）を出力することと、
を実行するように構成される映像処理システム。
【請求項2】
前記遅延フレームを特定することは、
定常に設定される前記正規間隔と、前記遅延許容範囲外の前記取得間隔である遅延取得間隔（Ｔｄ）との比率に応じたフレーム数の前記映像フレームを前記遅延フレームとして特定することを、含む請求項１に記載の映像処理システム。
定常に設定される前記正規間隔と、前記遅延許容範囲外の前記取得間隔である遅延取得間隔（Ｔｄ）との比率に応じたフレーム数の前記映像フレームを前記遅延フレームとして特定することを、含む請求項１に記載の映像処理システム。
【請求項3】
前記遅延フレームを特定することは、
前記フレーム数の前記遅延フレームを特定後に前記取得間隔が前記遅延許容範囲内のうち復帰判定範囲（Ｒｒ）内に減少している前記映像フレームを準遅延フレーム（Ｆｓ）として特定し、
前記遅延情報を付加することは、
前記遅延情報とは区別される準遅延情報（Ｉｓ）を、前記準遅延フレームに付加することを、含み、
前記映像データを出力することは、
前記準遅延情報の付加された前記準遅延フレームを内包する、前記映像データを出力することを含む、請求項２に記載の映像処理システム。
前記フレーム数の前記遅延フレームを特定後に前記取得間隔が前記遅延許容範囲内のうち復帰判定範囲（Ｒｒ）内に減少している前記映像フレームを準遅延フレーム（Ｆｓ）として特定し、
前記遅延情報を付加することは、
前記遅延情報とは区別される準遅延情報（Ｉｓ）を、前記準遅延フレームに付加することを、含み、
前記映像データを出力することは、
前記準遅延情報の付加された前記準遅延フレームを内包する、前記映像データを出力することを含む、請求項２に記載の映像処理システム。
【請求項4】
前記遅延フレームを特定することは、
前記取得間隔が前記遅延許容範囲内で前記復帰判定範囲内から前記復帰判定範囲外に増大するのに応じて、前記準遅延フレームの特定を中止することを、含む請求項３に記載の映像処理システム。
前記取得間隔が前記遅延許容範囲内で前記復帰判定範囲内から前記復帰判定範囲外に増大するのに応じて、前記準遅延フレームの特定を中止することを、含む請求項３に記載の映像処理システム。
【請求項5】
前記復帰判定範囲は、前記正規間隔未満の範囲である請求項３に記載の映像処理システム。
【請求項6】
前記遅延情報を付加することは、
前記正規間隔と前記フレーム数とに相関する正規取得時刻（Ｔｏ）を、前記遅延情報と共に前記遅延フレームに付加することを、含む請求項２に記載の映像処理システム。
前記正規間隔と前記フレーム数とに相関する正規取得時刻（Ｔｏ）を、前記遅延情報と共に前記遅延フレームに付加することを、含む請求項２に記載の映像処理システム。
【請求項7】
前記遅延情報を付加することは、
前記映像フレームの前記カメラによる送信に対して自システムによる取得までに定常に生じる定常遅延時間（Ｔｒｄ）分、前記正規取得時刻から遡った時刻を前記遅延フレームの送信時刻として、前記遅延情報及び前記正規取得時刻と共に前記遅延フレームに付加することを、含む請求項６に記載の映像処理システム。
前記映像フレームの前記カメラによる送信に対して自システムによる取得までに定常に生じる定常遅延時間（Ｔｒｄ）分、前記正規取得時刻から遡った時刻を前記遅延フレームの送信時刻として、前記遅延情報及び前記正規取得時刻と共に前記遅延フレームに付加することを、含む請求項６に記載の映像処理システム。
【請求項8】
前記遅延情報を付加することは、
前記映像フレームの前記カメラによる送信に対して自システムによる取得までに定常に生じる定常遅延時間（Ｔｒｄ）分、前記正規間隔と前記フレーム数とに相関する正規取得時刻（Ｔｏ）から遡った時刻を前記遅延フレームの送信時刻として、前記遅延情報と共に前記遅延フレームに付加することを、含む請求項２に記載の映像処理システム。
前記映像フレームの前記カメラによる送信に対して自システムによる取得までに定常に生じる定常遅延時間（Ｔｒｄ）分、前記正規間隔と前記フレーム数とに相関する正規取得時刻（Ｔｏ）から遡った時刻を前記遅延フレームの送信時刻として、前記遅延情報と共に前記遅延フレームに付加することを、含む請求項２に記載の映像処理システム。
【請求項9】
前記映像フレームを出力することは、
前記映像データを、出力先のユーザーへ配信又は送信することを、含む請求項１又は２に記載の映像処理システム。
前記映像データを、出力先のユーザーへ配信又は送信することを、含む請求項１又は２に記載の映像処理システム。
【請求項10】
前記ネットワークとしてのインフラネットワーク（ＮＷ）を通じて前記カメラとしてのインフラカメラ（１０）から取得される前記映像フレームを処理する請求項１又は２に記載の映像処理システム。
【請求項11】
前記ネットワークとしての車載ネットワーク（ＮＷＡ）を通じて前記カメラとしての車載カメラ（１０Ａ）から取得される前記映像フレームを処理する請求項１又は２に記載の映像処理システム。
【請求項12】
ネットワーク（ＮＷ，ＮＷＡ）を通じてカメラ（１０，１０Ａ）から取得される映像フレーム（Ｆｍ）における遅延を検出するために、プロセッサ（２０１）に実行される映像処理方法であって、
前記映像フレームを時系列順に取得することと、
正規間隔（Ｔｉ）で取得される前記映像フレームよりも遅延した遅延フレーム（Ｆｄ）として、取得間隔（Ｔｒ）が遅延許容範囲（Ｒａ）外に増大した前記映像フレームを、特定することと、
前記遅延フレームに遅延情報（Ｉｄ）を付加することと、
前記遅延情報の付加された前記遅延フレームを内包する、前記映像フレームの時系列な映像データ（Ｄｍ）を出力することと、
を含む映像処理方法。
前記映像フレームを時系列順に取得することと、
正規間隔（Ｔｉ）で取得される前記映像フレームよりも遅延した遅延フレーム（Ｆｄ）として、取得間隔（Ｔｒ）が遅延許容範囲（Ｒａ）外に増大した前記映像フレームを、特定することと、
前記遅延フレームに遅延情報（Ｉｄ）を付加することと、
前記遅延情報の付加された前記遅延フレームを内包する、前記映像フレームの時系列な映像データ（Ｄｍ）を出力することと、
を含む映像処理方法。
【請求項13】
記憶媒体（２０２）に記憶され、ネットワーク（ＮＷ，ＮＷＡ）を通じてカメラ（１０，１０Ａ）から取得される映像フレーム（Ｆｍ）における遅延を検出するためにプロセッサ（２０１）に実行させる命令を含む映像処理プログラムであって、
前記命令は、
前記映像フレームを時系列順に取得させることと、
正規間隔（Ｔｉ）で取得される前記映像フレームよりも遅延した遅延フレーム（Ｆｄ）として、取得間隔（Ｔｒ）が遅延許容範囲（Ｒａ）外に増大した前記映像フレームを、特定させることと、
前記遅延フレームに遅延情報（Ｉｄ）を付加させることと、
前記遅延情報の付加された前記遅延フレームを内包する、前記映像フレームの時系列な映像データ（Ｄｍ）を出力させることと、
を含む映像処理プログラム。
前記命令は、
前記映像フレームを時系列順に取得させることと、
正規間隔（Ｔｉ）で取得される前記映像フレームよりも遅延した遅延フレーム（Ｆｄ）として、取得間隔（Ｔｒ）が遅延許容範囲（Ｒａ）外に増大した前記映像フレームを、特定させることと、
前記遅延フレームに遅延情報（Ｉｄ）を付加させることと、
前記遅延情報の付加された前記遅延フレームを内包する、前記映像フレームの時系列な映像データ（Ｄｍ）を出力させることと、
を含む映像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ネットワークを通じてカメラから取得される映像フレームを処理する映像処理技術に、関する。
【背景技術】
【0002】
特許文献１には、カメラにより撮像時刻と共に取得された撮像データを、処理する映像処理システムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第６４４３１４５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
一般にカメラからネットワークを通じて撮像データを取得する場合、例えばネットワークにおける外乱等により、撮像データのカメラによる送信から映像処理システムでの取得までの間に遅延が生じるおそれがある。この点について、カメラが撮像データと共に撮像時刻を提供する特許文献１の如きタイムスタンプ機能を有していない仕様の場合、撮像データの遅延状況を認識することができず、システムの信頼性が低下するおそれがあった。逆に、特許文献１の映像処理システムは、信頼性を確保するためにタイムスタンプ機能を有する仕様のカメラを用いることを前提としており、汎用性に欠けるおそれがあった。
【0005】
本開示の課題は、汎用性と信頼性とを両立する映像処理システムを、提供することにある。本開示の別の課題は、汎用性と信頼性とを両立する映像処理方法を、提供することにある。本開示の別の課題は、汎用性と信頼性とを両立する映像処理プログラムを、提供することにある。
【課題を解決するための手段】
【0006】
以下、課題を解決するための本開示の技術的手段について、説明する。尚、特許請求の範囲及び本欄に記載された括弧内の符号は、後に詳述する実施形態に記載された具体的手段との対応関係を示すものであり、本開示の技術的範囲を限定するものではない。
【0007】
本開示の第一態様は、
プロセッサ（２０１）を有し、ネットワーク（ＮＷ，ＮＷＡ）を通じてカメラ（１０，１０Ａ）から取得される映像フレーム（Ｆｍ）を処理する映像処理システム（２０，２０Ａ）であって、
プロセッサは、
映像フレームを時系列順に取得することと、
正規間隔（Ｔｉ）で取得される映像フレームよりも遅延した遅延フレーム（Ｆｄ）として、取得間隔（Ｔｒ）が遅延許容範囲（Ｒａ）外に増大した映像フレームを、特定することと、
遅延フレームに遅延情報（Ｉｄ）を付加することと、
遅延情報の付加された遅延フレームを内包する、映像フレームの時系列な映像データ（Ｄｍ）を出力することと、
を実行するように構成される。
プロセッサ（２０１）を有し、ネットワーク（ＮＷ，ＮＷＡ）を通じてカメラ（１０，１０Ａ）から取得される映像フレーム（Ｆｍ）を処理する映像処理システム（２０，２０Ａ）であって、
プロセッサは、
映像フレームを時系列順に取得することと、
正規間隔（Ｔｉ）で取得される映像フレームよりも遅延した遅延フレーム（Ｆｄ）として、取得間隔（Ｔｒ）が遅延許容範囲（Ｒａ）外に増大した映像フレームを、特定することと、
遅延フレームに遅延情報（Ｉｄ）を付加することと、
遅延情報の付加された遅延フレームを内包する、映像フレームの時系列な映像データ（Ｄｍ）を出力することと、
を実行するように構成される。
【0008】
本開示の第二態様は、
ネットワーク（ＮＷ，ＮＷＡ）を通じてカメラ（１０，１０Ａ）から取得される映像フレーム（Ｆｍ）における遅延を検出するために、プロセッサ（２０１）に実行される映像処理方法であって、
映像フレームを時系列順に取得することと、
正規間隔（Ｔｉ）で取得される映像フレームよりも遅延した遅延フレーム（Ｆｄ）として、取得間隔（Ｔｒ）が遅延許容範囲（Ｒａ）外に増大した映像フレームを、特定することと、
遅延フレームに遅延情報（Ｉｄ）を付加することと、
遅延情報の付加された遅延フレームを内包する、映像フレームの時系列な映像データ（Ｄｍ）を出力することと、
を含む。
ネットワーク（ＮＷ，ＮＷＡ）を通じてカメラ（１０，１０Ａ）から取得される映像フレーム（Ｆｍ）における遅延を検出するために、プロセッサ（２０１）に実行される映像処理方法であって、
映像フレームを時系列順に取得することと、
正規間隔（Ｔｉ）で取得される映像フレームよりも遅延した遅延フレーム（Ｆｄ）として、取得間隔（Ｔｒ）が遅延許容範囲（Ｒａ）外に増大した映像フレームを、特定することと、
遅延フレームに遅延情報（Ｉｄ）を付加することと、
遅延情報の付加された遅延フレームを内包する、映像フレームの時系列な映像データ（Ｄｍ）を出力することと、
を含む。
【0009】
本開示の第三態様は、
記憶媒体（２０２）に記憶され、ネットワーク（ＮＷ，ＮＷＡ）を通じてカメラ（１０，１０Ａ）から取得される映像フレーム（Ｆｍ）における遅延を検出するためにプロセッサ（２０１）に実行させる命令を含む映像処理プログラムであって、
命令は、
映像フレームを時系列順に取得させることと、
正規間隔（Ｔｉ）で取得される映像フレームよりも遅延した遅延フレーム（Ｆｄ）として、取得間隔（Ｔｒ）が遅延許容範囲（Ｒａ）外に増大した映像フレームを、特定させることと、
遅延フレームに遅延情報（Ｉｄ）を付加させることと、
遅延情報の付加された遅延フレームを内包する、映像フレームの時系列な映像データ（Ｄｍ）を出力させることと、
を含む。
記憶媒体（２０２）に記憶され、ネットワーク（ＮＷ，ＮＷＡ）を通じてカメラ（１０，１０Ａ）から取得される映像フレーム（Ｆｍ）における遅延を検出するためにプロセッサ（２０１）に実行させる命令を含む映像処理プログラムであって、
命令は、
映像フレームを時系列順に取得させることと、
正規間隔（Ｔｉ）で取得される映像フレームよりも遅延した遅延フレーム（Ｆｄ）として、取得間隔（Ｔｒ）が遅延許容範囲（Ｒａ）外に増大した映像フレームを、特定させることと、
遅延フレームに遅延情報（Ｉｄ）を付加させることと、
遅延情報の付加された遅延フレームを内包する、映像フレームの時系列な映像データ（Ｄｍ）を出力させることと、
を含む。
【0010】
これら第一～第三態様によると、取得間隔が遅延許容範囲外に増大した映像フレームは、正規間隔で取得される映像フレームよりも遅延した遅延フレームとして、遅延情報を付加される。これによれば、遅延情報の付加された遅延フレームを内包する、映像フレームの時系列な映像データが出力されることで、カメラの仕様に関わらず、遅延フレームに付加された遅延情報に基づき、映像フレームの遅延状況を認識することができる。故に、汎用性と信頼性とを両立させることが可能となる。
【図面の簡単な説明】
【0011】
【図1】第一実施形態による映像配信システムの全体構成を示す模式図である。
【図2】第一実施形態による映像処理システムの構成を示すブロック図である。
【図3】第一実施形態による映像処理方法を示すフローチャートである。
【図4】正常状態について説明するための模式図である。
【図5】遅延フレーム及び準遅延フレームについて説明するための模式図である。
【図6】第二実施形態による映像処理方法を示すフローチャートである。
【図7】第三実施形態による映像配信システムの全体構成を示す模式図である。
【図8】第三実施形態による映像配信システムの別な全体構成を示す模式図である。
【図9】第三実施形態による映像配信システムのさらに別な全体構成を示す模式図である。
【発明を実施するための形態】
【0012】
以下、本開示の実施形態を図面に基づき複数説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことで、重複する説明を省略する場合がある。また、各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。さらに、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。
【0013】
（第一実施形態）
以下、本開示の第一実施形態を図面に基づき説明する。
以下、本開示の第一実施形態を図面に基づき説明する。
【0014】
図１に示すように第一実施形態による映像配信ネットワークシステム１は、インフラカメラ１０により撮像された映像フレームＦｍを処理して情報を付加した映像データＤｍを、配信先システム３０へと配信する。そのために映像配信ネットワークシステム１は、インフラカメラ１０と共に、映像処理システム２０、配信先システム３０、及び通信ネットワークＮＷを含んで構成されている。ここで通信ネットワークＮＷとは、無線通信と有線通信とを融合させた、インフラネットワークである。
【0015】
道路周辺の定点に設置された、固定式又は可動式カメラであるインフラカメラ１０は、対象とする道路上の、例えば道路ユーザー、及び障害物等を撮像する。インフラカメラ１０は、撮像した時系列の画像である映像フレームＦｍを、通信ネットワークＮＷを通じて映像処理システム２０へと送信する。このときインフラカメラ１０は、定常的な送信周期毎に時系列に、映像フレームＦｍの送信を実行する。こうしたインフラカメラ１０としては、複数台のカメラが想定されるが、以下の説明では、一台のインフラカメラ１０による処理が代表的にとりあげられる。
【0016】
映像処理システム２０は、例えばクラウドサーバ、又はエッジサーバ等、少なくとも一つのネットワークサーバによって構築される。映像処理システム２０は、インフラカメラ１０との間の通信ネットワークＮＷを通じてインフラカメラ１０から映像フレームＦｍを受信し、復号によって取得される映像フレームＦｍを、処理する。映像処理システム２０は、映像フレームＦｍを処理することで得られる映像データＤｍを、通信ネットワークＮＷを通じて配信先システム３０へ出力する。このような映像処理システム２０は、例えば通信混雑等によって通信ネットワークＮＷに生じる遅延として、インフラカメラ１０による映像フレームＦｍの送信から自システム２０による取得までの間の遅延を、検出する。そこで映像処理システム２０は、遅延検出結果を表す情報を、映像データＤｍに付加して配信先システム３０へと提供する。
【0017】
ここで配信先システム３０は、映像処理システム２０から出力される映像フレームＦｍの時系列な映像データＤｍを必要とする、当該出力先の受信ユーザーによって管理される。配信先システム３０は、映像処理システム２０からの出力によって配信される映像データＤｍを、受信ユーザー別の受信目的に応じて利用する。配信先システム３０は、例えば自動運転車等の道路ユーザーである車両の制御に映像データＤｍを利用する、当該車両のＥＣＵ（Electronic Control Unit）によって構築されてもよい。配信先システム３０は、例えば交通関連等のサービスに映像データＤｍを利用する、ユーザーとしてのサービサのネットワークサーバによって構築されてもよい。
【0018】
こうした配信先システム３０へと情報提供する、映像処理システム２０を構成の専用コンピュータは、メモリ２０２及びプロセッサ２０１を、少なくとも一つずつ有している。メモリ２０２は、コンピュータにより読み取り可能なプログラム及びデータ等を非一時的に記憶する、例えば半導体メモリ、磁気媒体、及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体（non-transitory tangible storage medium）である。プロセッサ２０１は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、及びＲＩＳＣ（Reduced Instruction Set Computer）－ＣＰＵ等のうち、少なくとも一種類をコアとして含む。
【0019】
プロセッサ２０１は、メモリ２０２に記憶された映像処理プログラムに含まれる複数の命令を、実行する。これにより映像処理システム２０は、映像フレームＦｍを処理するための機能ブロックを、複数構築する。このように映像処理システム２０では、映像フレームにおける遅延を検出するためにメモリ２０２に記憶された映像処理プログラムが複数命令をプロセッサ２０１に実行させることで、機能ブロックが複数構築される。図２に示すように、映像処理システム２０により構築される複数の機能ブロックには、映像フレーム取得ブロック２００、遅延判定ブロック２１０、及び映像データ出力ブロック２２０が含まれる。
【0020】
これら映像フレーム取得ブロック２００、遅延判定ブロック２１０、及び映像データ出力ブロック２２０の共同により、映像フレームＦｍにおける遅延を検出する映像処理方法のフロー（以下、映像処理フロー）を、図３に従って以下に説明する。本フローは、映像処理システムの起動時に開始され、停止時に終了される。尚、本フローにおいて「Ｓ」とは、映像処理プログラムに含まれた複数命令により実行される、複数ステップをそれぞれ意味する。
【0021】
映像処理フローのＳ１００において遅延判定ブロック２１０は、遅延フレーム残数Ｎｄを初期化する（Ｎｄ＝０）。遅延フレーム残数Ｎｄは、後述のＳ１０３にて算出された数の遅延フレームＦｄのうち、Ｓ１０４での遅延情報付加を受けていない遅延フレームＦｄの数である。
【0022】
Ｓ１０１において映像フレーム取得ブロック２００は、インフラカメラ１０から時系列順に送信される映像フレームＦｍを、図４に示すように受信する。ここで映像フレーム取得ブロック２００は、インフラカメラ１０にて定常に設定される送信周期を正規間隔Ｔｉとして、映像フレームＦｍを定期的に取得する。
【0023】
図３に示すＳ１０２において遅延判定ブロック２１０は、正規間隔Ｔｉで取得される映像フレームＦｍよりも遅延した遅延フレームＦｄを特定するために、図５に示すように映像フレームＦｍを取得する間隔（以下、取得間隔という）Ｔｒが遅延許容範囲Ｒａ外に増大しているか、及び、遅延フレーム残数Ｎｄが１以上であるか、を判定する。ここで、遅延許容範囲Ｒａは正規間隔Ｔｉを超過する範囲であればよい。特に本実施形態では、遅延許容範囲Ｒａは正規間隔Ｔｉの２倍の時間（２Ｔｉ）として設定されている。尚、映像処理システム２０の起動後における初回の映像処理フローでは、取得間隔Ｔｒの基準となる前回取得の映像フレームＦｍが存在しない。そのため、初回のサイクルにおけるＳ１０２では、取得間隔Ｔｒが遅延許容範囲Ｒａ外に増大していないと判定する。
【0024】
図３に示すＳ１０２により、映像フレームＦｍの取得間隔Ｔｒが遅延許容範囲Ｒａ外に増大している（図５参照）、かつ／又は遅延フレーム残数Ｎｄが１以上、と判定された場合のＳ１０３において遅延判定ブロック２１０は、正規間隔Ｔｉと、遅延許容範囲Ｒａ外の取得間隔Ｔｒである遅延取得間隔Ｔｄとの比率Ｔｄ／Ｔｉに応じたフレーム数Ｎの映像フレームＦｍを、遅延フレームＦｄとして特定する。具体的に遅延判定ブロック２１０は、比率Ｔｄ／Ｔｉに応じた、遅延フレームＦｄのフレーム数Ｎを、以下の数１に従って算出する。
【0025】
【数1】
【0026】
図３に示すように、Ｓ１０３に続くＳ１０４において遅延判定ブロック２１０は、通信の遅延状態を示す、例えばフラグ等の遅延情報Ｉｄを、遅延フレームＦｄに付加する。
【0027】
Ｓ１０４に続くＳ１０５において遅延判定ブロック２１０は、遅延フレーム残数Ｎｄを、Ｎ―１に設定する（Ｎｄ＝Ｎ－１）。Ｓ１０５の実行後、映像処理フローはＳ１０９へ進む。
【0028】
上述のＳ１０２により、映像フレームＦｍの取得間隔Ｔｒが遅延許容範囲Ｒａ外に増大していない、かつ、遅延フレーム残数Ｎｄが１以上ではない、と判定された場合に映像処理フローはＳ１０６へ進む。Ｓ１０６において遅延判定ブロック２１０は、映像フレームＦｍの取得間隔Ｔｒが復帰判定範囲Ｒｒ内から復帰判定範囲Ｒｒ外に増大したか否かを、判定する。ここで復帰判定範囲Ｒｒは、正規間隔Ｔｉ未満の範囲であればよい。特に本実施形態では、復帰判定範囲Ｒｒは正規間隔Ｔｉの１／２の時間（Ｔｉ／２）として設定されている。
【0029】
Ｓ１０６により、取得間隔Ｔｒが復帰判定範囲Ｒｒ外に増大したと判定された場合、映像処理フローはＳ１０７へ進む。この場合、映像フレームＦｍは、取得間隔Ｔｒが遅延許容範囲Ｒａ内かつ復帰判定範囲Ｒｒ外となっている正常フレームである。Ｓ１０７において遅延判定ブロック２１０は、遅延が生じていない正常状態を示す、例えばフラグ等の正常情報Ｉｎを正常な映像フレームＦｍに付加する。これにより遅延判定ブロック２１０は、映像フレームＦｍの取得間隔Ｔｒが遅延許容範囲Ｒａ内において復帰判定範囲Ｒｒ内から復帰判定範囲Ｒｒ外に増大するのに応じて、後述の準遅延フレームＦｓ特定を中止することとなる。Ｓ１０７の実行後、映像処理フローはＳ１０９へ進む。
【0030】
一方、Ｓ１０６において取得間隔Ｔｒが復帰判定範囲Ｒｒ外に増大していないと判定される場合であっても、今回取得した映像フレームＦｍは、遅延フレームＦｄではない。しかし、この場合に今回取得の映像フレームＦｍは、図５に示すように正規の取得時刻よりも遅延して取得された、準遅延フレームＦｓであると考えられる。そこで遅延判定ブロック２１０は、比率Ｔｄ／Ｔｉに応じたフレーム数Ｎの遅延フレームＦｄを特定後に、取得間隔Ｔｒが遅延許容範囲Ｒａ内のうち復帰判定範囲Ｒｒ内に減少している映像フレームＦｍを、準遅延フレームＦｓとして特定する。Ｓ１０６により、取得間隔Ｔｒが復帰判定範囲Ｒｒ外に増大していないと判定された場合、映像処理フローはＳ１０８へ進む。Ｓ１０８において遅延判定ブロック２１０は、遅延情報Ｉｄとは区別して通信の準遅延状態を示す、例えばフラグ等の準遅延情報Ｉｓを準遅延フレームＦｓに付加する。Ｓ１０８の実行後、映像処理フローはＳ１０９へ進む。
【0031】
Ｓ１０９において映像データ出力ブロック２２０は、遅延情報Ｉｄ、正常情報Ｉｎ、又は準遅延情報Ｉｓが付加された映像フレームＦｍを内包するデータとして、映像フレームＦｍの時系列な映像データＤｍを、配信先システム３０へ向けて出力する。このとき出力される映像データＤｍは、情報Ｉｄ，Ｉｎ，Ｉｓのいずれかが付加された映像フレームＦｍ自体であってもよい。このとき出力される映像データＤｍは、情報Ｉｄ，Ｉｎ，Ｉｓのいずれかが付加されてから、例えば認識処理による認識情報等の他情報も映像データ出力ブロック２２０によって付加された映像フレームＦｍであってもよい。Ｓ１０９の実行後、映像処理フローはＳ１０１へと戻る。
【0032】
以上の映像処理フローのＳ１０１～Ｓ１０９が繰り返されることにより、インフラカメラ１０より時系列に受信される映像フレームＦｍを処理した映像データＤｍが、当該時系列順に出力されることとなる
【0033】
（作用効果）
以上説明した第一実施形態の作用効果を、以下に説明する。
以上説明した第一実施形態の作用効果を、以下に説明する。
【0034】
第一実施形態では、取得間隔Ｔｒが遅延許容範囲Ｒａ外に増大した映像フレームＦｍは、正規間隔Ｔｉで取得される映像フレームＦｍよりも遅延した遅延フレームＦｄとして、遅延情報Ｉｄを付加される。これによれば、遅延情報Ｉｄの付加された遅延フレームＦｄを内包する、映像フレームＦｍの時系列な映像データＤｍが出力されることで、インフラカメラ１０の仕様に関わらず、遅延フレームＦｄに付加された遅延情報Ｉｄに基づき、映像フレームＦｍの遅延状況を認識することができる。故に、汎用性と信頼性とを両立させることが可能となる。
【0035】
第一実施形態では、定常に設定される正規間隔Ｔｉと、遅延許容範囲Ｒａ外の取得間隔Ｔｒである遅延取得間隔Ｔｄとの比率に応じたフレーム数Ｎの映像フレームＦｍが、遅延フレームＦｄとして特定される。これによれば、遅延取得間隔Ｔｄ内に取得されたフレーム数Ｎの映像フレームＦｍを全て遅延フレームＦｄとして、遅延情報Ｉｄを付加することができる。故に、汎用性を確保しつつ、遅延フレームＦｄの数の見極めにより信頼性を向上させることが可能となる。
【0036】
第一実施形態では、正規間隔Ｔｉと遅延取得間隔Ｔｄとの比率に応じたフレーム数Ｎの遅延フレームＦｄを特定後に取得間隔Ｔｒが遅延許容範囲Ｒａ内のうち復帰判定範囲Ｒｒ内に減少している映像フレームＦｍが、準遅延フレームＦｓとして特定される。そして、遅延情報Ｉｄとは区別される準遅延情報Ｉｓが、準遅延フレームＦｓに付加される。これによれば、遅延フレームＦｄの影響によって副次的に遅延した準遅延フレームＦｓを特定して、準遅延情報Ｉｓを付加することができる。故に、汎用性を確保しつつ、副次的な遅延まで考慮して信頼性を向上させることが可能となる。
【0037】
第一実施形態では、取得間隔Ｔｒが遅延許容範囲Ｒａ内で復帰判定範囲Ｒｒ内から復帰判定範囲Ｒｒ外に増大するのに応じて、遅延フレームＦｄの特定が中止される。これによれば、映像フレームＦｍの遅延が解消されるまで遅延フレームＦｄの特定が継続されることになるので、当該遅延の影響を受けた遅延フレームＦｄに限定して正確に遅延情報Ｉｄを付加することができる。故に、汎用性を確保しつつ、信頼性を向上させることが可能となる。
【0038】
第一実施形態の復帰判定範囲Ｒｒは、正規間隔Ｔｉ未満の範囲である。これによれば、遅延フレームＦｄの影響によって副次的に遅延した準遅延フレームＦｓを正確に特定して、準遅延情報Ｉｓを付加することができる。故に、副次的な遅延まで考慮した高い信頼性を担保することが可能となる。
【0039】
第一実施形態の映像処理システムは、遅延情報Ｉｄが付加された遅延フレームＦｄを内包する、映像フレームＦｍの時系列な映像データＤｍを、出力先のユーザーへ配信する。これにより出力先のユーザーには、遅延フレームＦｄの遅延情報Ｉｄに基づく映像フレームＦｍの遅延状況を考慮して、映像データＤｍを利用させることができる。故に、出力先のユーザーに対して汎用性と信頼性とを両立させることが可能となる。
【0040】
（第二実施形態）
第二実施形態は、第一実施形態の変形例である。
第二実施形態は、第一実施形態の変形例である。
【0041】
第二実施形態による映像処理フローでは、図６に示すように、第一実施形態と同様のＳ１００～Ｓ１０５が実行される。第二実施形態による映像処理フローのＳ１０２において、映像フレームを取得する間隔Ｔｒが遅延許容範囲Ｒａ外に増大していない、かつ、遅延フレーム残数Ｎｄが１以上でないと判定された場合、映像処理フローはＳ１１０へ進む。Ｓ１１０において遅延判定ブロック２１０は、現在時刻を、映像フレームＦｍの正規取得時刻Ｔｏとして設定する。Ｓ１１０の実行後、映像処理フローはＳ１０６へ進む。尚、Ｓ１０６～Ｓ１０８は、第一実施形態と同様である。
【0042】
一方、Ｓ１０５に続くＳ１１１において遅延判定ブロック２１０は、正規間隔Ｔｉと、遅延フレームＦｄのフレーム数Ｎとに相関する時刻として、正規取得時刻Ｔｏを推定する。具体的に、遅延判定ブロック２１０は、遅延フレームＦｄが特定される直前に取得した映像フレームＦｍの取得時刻に対して、正規間隔Ｔｉに遅延フレームＦｄのフレーム数Ｎを掛けた値（Ｔｉ×Ｎ）を足すことで算出される時刻を、映像フレームＦｍの正規取得時刻Ｔｏとして推定する。
【0043】
Ｓ１１１の実行後、映像処理フローはＳ１１２へ進む。またＳ１０７の実行後も、映像処理フローはＳ１１２へ進む。さらにＳ１０８の実行後も、映像処理フローはＳ１１２へ進む。Ｓ１１２において遅延判定ブロック２１０は、正規取得時刻Ｔｏを映像フレームＦｍに付加する。
【0044】
Ｓ１１２に続くＳ１１３において遅延判定ブロック２１０は、インフラカメラ１０からの映像フレームＦｍの送信時刻を推定する。具体的に遅延判定ブロック２１０は、正規取得時刻Ｔｏから定常遅延時間Ｔｒｄ分遡った時刻を、映像フレームＦｍの送信時刻として推定する。ここで定常遅延時間Ｔｒｄとは、通信ネットワークＮＷにおける例えば外乱等の影響が存在しない正常な場合に、インフラカメラ１０による映像フレームＦｍの送信から、映像処理システム２０による当該映像フレームＦｍの取得までに定常的に生じる時間に、定義される。さらにＳ１１３において遅延判定ブロック２１０は、上記したように推定した送信時刻を、映像フレームＦｍに付加する。尚、Ｓ１１３に続くＳ１０９は、第一実施形態と同様である。
【0045】
以上の映像処理フローにより、映像処理システム２０は、正規取得時刻Ｔｏを、遅延情報Ｉｄ、準遅延情報Ｉｓ、又は正常情報と共に映像フレームＦｍに付加することとなる。さらに映像処理システム２０は、定常遅延時間Ｔｒｄ分、正規取得時刻Ｔｏから遡った時刻を遅延フレームＦｄの送信時刻として、遅延情報Ｉｄ、準遅延情報Ｉｓ、又は正常情報と共に映像フレームＦｍに付加することとなる。
【0046】
（作用効果）
以上説明した第二実施形態の作用効果を、以下に説明する。
以上説明した第二実施形態の作用効果を、以下に説明する。
【0047】
第二実施形態では、正規間隔Ｔｉと遅延フレームＦｄのフレーム数Ｎとに相関する正規取得時刻Ｔｏが、遅延情報Ｉｄと共に遅延フレームＦｄに付加される。これによれば、遅延情報Ｉｄだけでなく、映像処理システム２０による正規取得時刻Ｔｏにも基づき遅延フレームＦｄの遅延を、正確に認識することができる。故に、汎用性を確保しつつ、信頼性を向上させることが可能となる。
【0048】
第二実施形態の映像処理システム２０では、映像フレームＦｍのインフラカメラ１０による送信に対して自システム２０による取得までに定常に生じる定常遅延時間Ｔｒｄ分、正規取得時刻Ｔｏから遡った時刻が遅延フレームＦｄの送信時刻として、遅延情報Ｉｄ及び正規取得時刻Ｔｏと共に遅延フレームＦｄに付加される。これによれば、遅延情報Ｉｄだけでなく、映像処理システム２０による正規取得時刻Ｔｏとインフラカメラ１０からの送信時刻とにも基づき遅延フレームＦｄの遅延を、正確に認識することができる。故に、特に高い信頼性を担保することが可能となる。
【0049】
（第三実施形態）
第三実施形態は、第一実施形態の変形例である。
第三実施形態は、第一実施形態の変形例である。
【0050】
図７～９に示すように第三実施形態による映像送信ネットワークシステム１Ａは、車載カメラ１０Ａによって撮像された映像フレームＦｍを処理して情報を付加した映像データＤｍを、送信先システム３０Ａへと送信する。そのために映像送信ネットワークシステム１Ａは、車載カメラ１０Ａと共に、映像処理システム２０Ａ、送信先システム３０Ａ、並びに車載ネットワークＮＷＡ及び／又は通信ネットワークＮＷを含んで構成されている。ここで車載ネットワークＮＷＡは、ホスト車両４０Ａに構築された、例えばＬＡＮ（local area network）等であって、ホスト車両４０Ａにおける車載カメラ１０Ａ以外の、例えばセンサ及び／又はアクチュエータ等といった複数の電子機器と接続されている。
【0051】
映像送信ネットワークシステム１Ａのうち車載カメラ１０Ａ及び映像処理システム２０Ａは、ホスト車両４０Ａに搭載されて、車載ネットワークＮＷＡを介して相互接続されている。図７，９に示すように映像送信ネットワークシステム１Ａのうち送信先システム３０Ａは、ホスト車両４０Ａ（即ち、自車両）に搭載されて、車載ネットワークＮＷＡを介して映像処理システム２０Ａと接続されていてもよい。図８，９に示すように映像送信ネットワークシステム１Ａのうち送信先システム３０Ａは、ホスト車両４０Ａ外の他車両に搭載されて、又はホスト車両４０Ａ外のネットワークサーバによって構築されて、通信ネットワークＮＷを介して映像処理システム２０Ａと接続されていてもよい。
【0052】
図７～９に示すように、第一実施形態のインフラカメラ１０に対応する第三実施形態の車載カメラ１０Ａは、ホスト車両４０Ａに対して固定式、又は可動式のカメラである。車載カメラ１０Ａは、ホスト車両４０Ａ外における道路上の、例えば道路ユーザー、及び障害物等を撮像する。車載カメラ１０Ａは、撮像した時系列の画像である映像フレームＦｍを、車載ネットワークＮＷＡを通じて、映像処理システム２０Ａへと送信する。このとき車載カメラ１０Ａは、定常的な送信周期毎に時系列に、映像フレームＦｍの送信を実行する。こうした車載カメラ１０Ａとしては、ホスト車両４０Ａにおいて単一又は複数のカメラが想定されるが、以下の説明では、単一の車載カメラ１０Ａによる処理が代表的にとりあげられる。
【0053】
第一実施形態の映像処理システム２０に対応する第三実施形態の映像処理システム２０Ａは、例えば自動運転車等のホスト車両４０Ａにおいて車載カメラ１０Ａを制御することにより映像データＤｍを処理する、ＥＣＵによって構築される。映像処理システム２０Ａは、車載カメラ１０Ａとの間の車載ネットワークＮＷＡを通じて車載カメラ１０Ａから映像フレームＦｍを受信し、復号によって取得される映像フレームＦｍを、処理する。映像処理システム２０Ａは、映像フレームＦｍを処理することで得られる映像データＤｍを、車載ネットワークＮＷＡ及び／又は通信ネットワークＮＷを通じて送信先システム３０Ａへと出力する。このような映像処理システム２０Ａは、例えば通信混雑等によって車載ネットワークＮＷＡに生じる遅延として、車載カメラ１０Ａによる映像フレームＦｍの送信から映像処理システム２０Ａによる取得までの間の遅延を、検出する。そこで映像処理システム２０Ａは、遅延検出結果を表す情報を、映像データＤｍに付加して送信先システム３０Ａに提供する。
【0054】
第一実施形態の配信先システム３０に対応する第三実施形態の送信先システム３０Ａは、映像処理システム２０Ａから出力される映像フレームＦｍの時系列な映像データＤｍを必要とする、当該出力先の受信ユーザーによって管理される。送信先システム３０Ａは、映像処理システム２０Ａからの出力によって送信される映像データＤｍを、受信ユーザー別の受信目的に応じて利用する。送信先システム３０Ａは、例えば自動運転車等の道路ユーザである、ホスト車両４０Ａ又は他車両の制御に映像データＤｍを利用する、ＥＣＵによって構築されてもよい。送信先システム３０Ａは、例えば交通関連等のサービスに映像データＤｍを利用する、ユーザとしてのサービサのネットワークサーバによって構築されてもよい。
【0055】
こうした送信先システム３０Ａへと情報提供する、映像処理システム２０Ａを構成の専用コンピュータは、第一実施形態に準ずるメモリ２０２及びプロセッサ２０１を、少なくとも一つずつ有している。そこで、映像処理システム２０Ａによって構築される複数の機能ブロックには、図２の第一実施形態に準じて映像フレーム取得ブロック２００、遅延判定ブロック２１０、及び映像データ出力ブロック２２０が含まれることになる。但し、これらブロック２００，２１０，２２０の共同による第三実施形態の映像処理フローでは、第一実施形態で説明のフローにおいてインフラカメラ１０、映像処理システム２０、及び配信先システム３０を、それぞれ車載カメラ１０Ａ、映像処理システム２０Ａ、及び送信先システム３０Ａと読み替えた処理が、実行される。
【0056】
このような第三実施形態によると、第一実施形態に準ずる作用効果が発揮され得る。ここで第三実施形態によっても、遅延情報Ｉｄの付加された遅延フレームＦｄを内包する、映像フレームＦｍの時系列な映像データＤｍが出力されることで、車載カメラ１０Ａの仕様に関わらず映像フレームＦｍの遅延状況を認識することができるので、汎用性と信頼性とを両立させることが可能となる。
【0057】
（他の実施形態）
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
【0058】
変形例では、第二実施形態で説明の映像処理フローにおいてＳ１１１～Ｓ１１３が省略されて、映像フレームＦｍに正規取得時刻Ｔｏが付加されなくてもよい。変形例では、第三実施形態に第二実施形態が適用されてもよい。但し、第三実施形態に適用される第二実施形態の映像処理フローにおける定常遅延時間Ｔｒｄは、車載ネットワークＮＷＡにおける例えば外乱等の影響が存在しない正常な場合に、車載カメラ１０Ａによる映像フレームＦｍの送信から、映像処理システム２０Ａによる当該映像フレームＦｍの取得までに定常的に生じる時間に、定義されるとよい。
【0059】
（技術的思想の開示）
この明細書は、以下に列挙する複数の項に記載された複数の技術的思想を開示している。いくつかの項は、後続の項において先行する項を択一的に引用する多項従属形式（a multiple dependent form）により記載されている場合がある。さらに、いくつかの項は、他の多項従属形式の項を引用する多項従属形式（a multiple dependent form referring to another multiple dependent form）により記載されている場合がある。これらの多項従属形式で記載された項は、複数の技術的思想を定義している。尚、本思想の開示欄に記載された括弧内の符号は、先に詳述の実施形態に記載された具体的手段との対応関係を示すものであり、本開示の技術的範囲を限定するものではない。
この明細書は、以下に列挙する複数の項に記載された複数の技術的思想を開示している。いくつかの項は、後続の項において先行する項を択一的に引用する多項従属形式（a multiple dependent form）により記載されている場合がある。さらに、いくつかの項は、他の多項従属形式の項を引用する多項従属形式（a multiple dependent form referring to another multiple dependent form）により記載されている場合がある。これらの多項従属形式で記載された項は、複数の技術的思想を定義している。尚、本思想の開示欄に記載された括弧内の符号は、先に詳述の実施形態に記載された具体的手段との対応関係を示すものであり、本開示の技術的範囲を限定するものではない。
【0060】
（技術的思想１）
プロセッサを有し、ネットワークを通じてカメラから取得される映像フレームを処理する映像処理システムであって、
プロセッサは、
映像フレームを時系列順に取得することと、
正規間隔で取得される映像フレームよりも遅延した遅延フレームとして、取得間隔が遅延許容範囲外に増大した映像フレームを、特定することと、
遅延フレームに遅延情報を付加することと、
遅延情報の付加された遅延フレームを内包する、映像フレームの時系列な映像データを出力することと、
を実行するように構成される映像処理システム。
プロセッサを有し、ネットワークを通じてカメラから取得される映像フレームを処理する映像処理システムであって、
プロセッサは、
映像フレームを時系列順に取得することと、
正規間隔で取得される映像フレームよりも遅延した遅延フレームとして、取得間隔が遅延許容範囲外に増大した映像フレームを、特定することと、
遅延フレームに遅延情報を付加することと、
遅延情報の付加された遅延フレームを内包する、映像フレームの時系列な映像データを出力することと、
を実行するように構成される映像処理システム。
【0061】
（技術的思想２）
遅延フレームを特定することは、
定常に設定される正規間隔と、遅延許容範囲外の取得間隔である遅延取得間隔との比率に応じたフレーム数の映像フレームを遅延フレームとして特定することを、含む技術的思想１に記載の映像処理システム。
遅延フレームを特定することは、
定常に設定される正規間隔と、遅延許容範囲外の取得間隔である遅延取得間隔との比率に応じたフレーム数の映像フレームを遅延フレームとして特定することを、含む技術的思想１に記載の映像処理システム。
【0062】
（技術的思想３）
遅延フレームを特定することは、
比率に応じたフレーム数の遅延フレームを特定後に取得間隔が遅延許容範囲内のうち復帰判定範囲内に減少している映像フレームを準遅延フレームとして特定し、
遅延情報を付加することは、
遅延情報とは区別される準遅延情報を、準遅延フレームに付加することを、含み、
映像データを出力することは、
準遅延情報の付加された準遅延フレームを内包する、映像データを出力することを含む、技術的思想２に記載の映像処理システム。
遅延フレームを特定することは、
比率に応じたフレーム数の遅延フレームを特定後に取得間隔が遅延許容範囲内のうち復帰判定範囲内に減少している映像フレームを準遅延フレームとして特定し、
遅延情報を付加することは、
遅延情報とは区別される準遅延情報を、準遅延フレームに付加することを、含み、
映像データを出力することは、
準遅延情報の付加された準遅延フレームを内包する、映像データを出力することを含む、技術的思想２に記載の映像処理システム。
【0063】
（技術的思想４）
遅延フレームを特定することは、
取得間隔が遅延許容範囲内で復帰判定範囲内から復帰判定範囲外に増大するのに応じて、準遅延フレームの特定を中止することを、含む技術的思想３に記載の映像処理システム。
遅延フレームを特定することは、
取得間隔が遅延許容範囲内で復帰判定範囲内から復帰判定範囲外に増大するのに応じて、準遅延フレームの特定を中止することを、含む技術的思想３に記載の映像処理システム。
【0064】
（技術的思想５）
復帰判定範囲は、正規間隔未満の範囲である技術的思想３又は４に記載の映像処理システム。
復帰判定範囲は、正規間隔未満の範囲である技術的思想３又は４に記載の映像処理システム。
【0065】
（技術的思想６）
遅延情報を付加することは、
正規間隔とフレーム数とに相関する正規取得時刻を、遅延情報と共に遅延フレームに付加することを、含む技術的思想２ないし５のいずれか一項に記載の映像処理システム。
遅延情報を付加することは、
正規間隔とフレーム数とに相関する正規取得時刻を、遅延情報と共に遅延フレームに付加することを、含む技術的思想２ないし５のいずれか一項に記載の映像処理システム。
【0066】
（技術的思想７）
遅延情報を付加することは、
映像フレームのカメラによる送信に対して自システムによる取得までに定常に生じる定常遅延時間分、正規取得時刻から遡った時刻を遅延フレームの送信時刻として、遅延情報及び正規取得時刻と共に遅延フレームに付加することを、含む技術的思想６に記載の映像処理システム。
遅延情報を付加することは、
映像フレームのカメラによる送信に対して自システムによる取得までに定常に生じる定常遅延時間分、正規取得時刻から遡った時刻を遅延フレームの送信時刻として、遅延情報及び正規取得時刻と共に遅延フレームに付加することを、含む技術的思想６に記載の映像処理システム。
【0067】
（技術的思想８）
遅延情報を付加することは、
映像フレームのカメラによる送信に対して自システムによる取得までに定常に生じる定常遅延時間分、正規間隔とフレーム数とに相関する正規取得時刻から遡った時刻を遅延フレームの送信時刻として、遅延情報と共に遅延フレームに付加することを、含む技術的思想２ないし５のいずれか一項に記載の映像処理システム。
遅延情報を付加することは、
映像フレームのカメラによる送信に対して自システムによる取得までに定常に生じる定常遅延時間分、正規間隔とフレーム数とに相関する正規取得時刻から遡った時刻を遅延フレームの送信時刻として、遅延情報と共に遅延フレームに付加することを、含む技術的思想２ないし５のいずれか一項に記載の映像処理システム。
【0068】
（技術的思想９）
映像フレームを出力することは、
映像データを、出力先のユーザーへ配信又は送信することを、含む技術的思想１ないし８のいずれか一項に記載の映像処理システム。
映像フレームを出力することは、
映像データを、出力先のユーザーへ配信又は送信することを、含む技術的思想１ないし８のいずれか一項に記載の映像処理システム。
【0069】
（技術的思想１０）
ネットワークとしてのインフラネットワークを通じてカメラとしてのインフラカメラから取得される映像フレームを処理する技術的思想１ないし９のいずれか一項に記載の映像処理システム。
ネットワークとしてのインフラネットワークを通じてカメラとしてのインフラカメラから取得される映像フレームを処理する技術的思想１ないし９のいずれか一項に記載の映像処理システム。
【0070】
（技術的思想１１）
ネットワークとしての車載ネットワークを通じてカメラとしての車載カメラから取得される映像フレームを処理する技術的思想１ないし９のいずれか一項に記載の映像処理システム。
ネットワークとしての車載ネットワークを通じてカメラとしての車載カメラから取得される映像フレームを処理する技術的思想１ないし９のいずれか一項に記載の映像処理システム。
【0071】
尚、上述した技術的思想１ないし１１は、方法及びプログラムの各形態で実現されてもよい。
【符号の説明】
【0072】
１：映像配信ネットワークシステム、１Ａ：映像送信ネットワークシステム、１０：インフラカメラ、１０Ａ：車載カメラ、２０，２０Ａ：映像処理システム、２０１：プロセッサ、２０２：記憶媒体、Ｄｍ：映像データ、Ｆｄ：遅延フレーム、Ｆｍ：映像フレーム、Ｆｓ：準遅延フレーム、Ｉｄ：遅延情報、Ｉｓ：準遅延情報、ＮＷ：通信ネットワーク、ＮＷＡ：車載ネットワーク、Ｒａ：遅延許容範囲、Ｒｒ：復帰判定範囲、Ｔｄ：遅延取得間隔、Ｔｉ：正規間隔、Ｔｏ：正規取得時刻、Ｔｒ：取得間隔、Ｔｒｄ：定常遅延時間
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】