特許 7492331 画像処理装置、画像処理装置の制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-21

(45)【発行日】2024-05-29

(54)【発明の名称】画像処理装置、画像処理装置の制御方法及びプログラム

(51)【国際特許分類】

   H04L 12/28 20060101AFI20240522BHJP

【ＦＩ】

H04L12/28 200Z

【請求項の数】 10

(21)【出願番号】P 2019224023

(22)【出願日】2019-12-11

(65)【公開番号】P2021093661

(43)【公開日】2021-06-17

【審査請求日】2022-12-02

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】熊取谷 昭彦

【審査官】中川 幸洋

(56)【参考文献】

【文献】特開２００９－０２１７００（ＪＰ，Ａ）

【文献】特開２０１０－１５４１３０（ＪＰ，Ａ）

【文献】特開２０１７－２１１８２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｌ １２／２８

(57)【特許請求の範囲】

【請求項1】

複数の撮影装置により同期して撮影を行う撮影システムにおける、第１画像処理装置及び第２画像処理装置と接続された画像処理装置であって、
前記第１画像処理装置から、前記第１画像処理装置により処理された画像データを受信する受信手段と、
前記受信手段により受信した前記画像データを、前記第２画像処理装置に転送する転送手段と、
前記受信手段により受信した前記画像データのヘッダ情報に基づいて、前記受信手段により受信した前記画像データの前記第２画像処理装置への転送が終了することを検知する検知手段と、
前記検知手段により前記受信手段により受信した前記画像データの前記第２画像処理装置への転送が終了することが検知されたことに基づいて、前記画像処理装置が処理した画像データを前記第２画像処理装置に送信する送信手段と、
前記複数の撮影装置による撮影の同期信号に基づいて、時間を計測する計測手段と、
を有し、
前記送信手段は、前記計測手段により計測する時間が所定時間を経過する前に前記検知手段により前記転送の終了が検知されない場合、前記画像処理装置が処理した画像データを破棄することを特徴とする画像処理装置。

【請求項2】

前記ヘッダ情報はフラグフィールドを含み、
前記検知手段は、前記ヘッダ情報の前記フラグフィールドを参照し、後続するフラグメントデータがないことを検知することにより、前記転送が終了することを検知することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記ヘッダ情報は生存時間フィールドを含み、
前記検知手段は、前記ヘッダ情報の前記生存時間フィールドを参照し、前記生存時間フィールドの値に基づいて、前記受信手段により受信された画像データが、前記第１画像処理装置により処理された画像データであることをさらに検知することを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記ヘッダ情報はフラグフィールドを含み、
前記検知手段は、前記ヘッダ情報の前記フラグフィールドを参照し、前記第１画像処理装置により処理される画像データの残りのパケットが所定の値であることを検知することにより、前記転送が終了することを検知することを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記画像処理装置と関連づけられた撮影装置により撮影された画像データを前記撮影装置から取得する取得手段をさらに備え、
前記送信手段は、前記取得手段により取得されて前記画像処理装置により処理された画像データを、前記第２画像処理装置へ送信することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。

【請求項6】

前記受信手段により受信される画像データは、前記第１画像処理装置と関連づけられた第１撮影装置により撮影されて前記第１画像処理装置により処理された画像データであることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。

【請求項7】

前記画像処理装置は、前記第１画像処理装置及び前記第２画像処理装置を含む複数の画像処理装置とカスケード接続されていることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。

【請求項8】

前記複数の画像処理装置のうち前記カスケード接続における最も下流にある他の画像処理装置はスイッチングハブを介してサーバ装置と接続されており、
前記画像処理装置が処理した各画像データは、前記カスケード接続を介して前記サーバ装置に送信されることを特徴とする請求項７に記載の画像処理装置。

【請求項9】

複数の撮影装置により同期して撮影を行う撮影システムにおける、第１画像処理装置及び第２画像処理装置と接続された画像処理装置の制御方法であって、
前記第１画像処理装置から、前記第１画像処理装置により処理された画像データを受信する受信工程と、
前記受信工程により受信した前記画像データを、前記第２画像処理装置に転送する転送工程と、
前記受信工程により受信した前記画像データのヘッダ情報に基づいて、前記受信工程により受信した前記画像データの前記第２画像処理装置への転送が終了することを検知する検知工程と、
前記検知工程により前記受信工程により受信した前記画像データの前記第２画像処理装置への転送が終了することが検知されたことに基づいて、前記画像処理装置が処理した画像データを前記第２画像処理装置に送信する送信工程と、
前記複数の撮影装置による撮影の同期信号に基づいて、時間を計測する計測工程と、
を有し、
前記送信工程では、前記計測工程により計測する時間が所定時間を経過する前に前記検知工程により前記転送の終了が検知されない場合、前記画像処理装置が処理した画像データを破棄することを特徴とする画像処理装置の制御方法。

【請求項10】

コンピュータを、請求項１乃至８の何れか１項に記載の画像処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理装置の制御方法及びプログラムに関するものである。

【背景技術】

【0002】

近年、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数の画像を用いて仮想視点画像を生成する技術が注目されている。このような仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の画像と比較してユーザに高臨場感を与えることができる。

【0003】

また、仮想視点画像の生成及び閲覧は、複数のカメラが撮影した画像をサーバなどに集約し、当該サーバにおいて三次元モデル生成やレンダリングなどの処理を施し、ユーザ端末に伝送を行うことで実現できる。このような仮想視点画像を生成するシステムでは、複数のカメラが複数の画像を取得し、サーバに伝送することが必要であり、伝送経路の十分な帯域が確保できないと生成する仮想視点画像の画質劣化を招くことになる。また、シーンによりカメラ毎に必要となる伝送帯域が動的に変化する場合には適応的に帯域を割り当てる必要がある。

【0004】

これに対して、特許文献１は、トークン制御方式によりデータ送信を行う伝送手法を開示している。トークンを使用してカメラ毎に撮影データの送信タイミングを決定することにより、カメラ毎に無駄のない帯域割り当てが可能である。

【先行技術文献】

【特許文献】

【0005】

【文献】特開平１１－２２０４７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に記載の技術では、撮影データの伝送だけでなくトークンをカメラ間で還流させて制御するための仕組みが必要である。また、カメラの台数が増えるとトークンを取得して送信を開始するまでのオーバーヘッドが大きくなる。

【0007】

本発明は、上記の課題に鑑みてなされたものであり、画像処理装置において、処理された画像データを適切に送信するための技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記の目的を達成する本発明に係る画像処理装置の一態様は、
複数の撮影装置により同期して撮影を行う撮影システムにおける、第１画像処理装置及び第２画像処理装置と接続された画像処理装置であって、
前記第１画像処理装置から、前記第１画像処理装置により処理された画像データを受信する受信手段と、
前記受信手段により受信した前記画像データを、前記第２画像処理装置に転送する転送手段と、
前記受信手段により受信した前記画像データのヘッダ情報に基づいて、前記受信手段により受信した前記画像データの前記第２画像処理装置への転送が終了することを検知する検知手段と、
前記検知手段により前記受信手段により受信した前記画像データの前記第２画像処理装置への転送が終了することが検知されたことに基づいて、前記画像処理装置が処理した画像データを前記第２画像処理装置に送信する送信手段と、
前記複数の撮影装置による撮影の同期信号に基づいて、時間を計測する計測手段と、
を有し、
前記送信手段は、前記計測手段により計測する時間が所定時間を経過する前に前記検知手段により前記転送の終了が検知されない場合、前記画像処理装置が処理した画像データを破棄することを特徴とする。

【発明の効果】

【0009】

本発明によれば、画像処理装置において、処理された画像データを適切に送信することが可能となる。

【図面の簡単な説明】

【0010】

【図1】一実施形態における撮影システムの構成を説明するための図である。

【図2】一実施形態におけるカメラ及びカメラアダプタの配置と注視点の位置とを説明するための図である。

【図3】（ａ）一実施形態におけるカメラアダプタのハードウェア構成の一例を示す図であり、（ｂ）一実施形態におけるカメラアダプタの機能構成の一例を示す図である。

【図4】一実施形態におけるヘッダフォーマットを示した図である。

【図5】実施形態１における転送動作の手順を示すフローチャートである。

【図6】実施形態１における送信動作の手順を示すフローチャートである。

【図7】実施形態１における撮影システムの動作シーケンスを示した図である。

【図8】実施形態２における転送動作の手順を示すフローチャートである。

【図9】実施形態２における送信動作の手順を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

（実施形態１）
まず、図１を参照しながら、競技場（スタジアム）やコンサートホールなどの施設に複数のカメラを設置して撮影を行う撮影システムについて説明する。撮影システム１００は、カメラ（撮影装置）１１２ａ－１１２ｈ、カメラアダプタ（画像処理装置）１２０ａ－１２０ｈ、スイッチングハブ１８０、画像コンピューティングサーバ２００、タイムサーバ２９０、及びコントローラ３００を含んで構成される。

【0013】

本実施形態において、特別な説明がない場合は、カメラ１１２ａからカメラ１１２ｈまでを区別せずカメラ１１２と記載する。同様にカメラアダプタ１２０ａ－１２０ｈも特別な説明がない場合は区別せず、カメラアダプタ１２０と記載する。

【0014】

なお、本実施形態では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の撮影システム１００は、静止画及び動画の何れについても撮影可能である。

【0015】

本実施形態の撮影システム１００では、スイッチングハブ１８０に対して画像コンピューティングサーバ２００、タイムサーバ２９０、カメラアダプタ１２０ａが接続されている。そして、画像コンピューティングサーバ２００に対してコントローラ３００が接続されている。また、カメラアダプタ１２０ａ－１２０ｈはデイジーチェーン接続されている。また、カメラ１１２ａ－１１２ｈは、それぞれ１台ずつのカメラアダプタ１２０ａ－１２０ｈと関連づけられ、接続されている。

【0016】

カメラアダプタ１２０は、カメラ１１２と接続し、カメラ１１２の制御、撮影した画像の取得、同期信号の提供、及び時刻設定などを行う機能を有している。カメラ１１２の制御には、例えば撮影パラメータ（画素数、色深度、フレームレート、及びホワイトバランスの設定など）の設定及び参照、カメラ１１２の状態（撮影中、停止中、同期中、及びエラーなど）の取得、撮影の開始及び停止や、ピント調整などがある。同期信号の提供は、カメラアダプタ１２０がタイムサーバ２９０と同期した時刻を利用し、撮影タイミング（制御クロック）をカメラ１１２に提供することで行われる。時刻設定は、カメラアダプタ１２０がタイムサーバ２９０と同期した時刻を、例えばＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードで提供することで行われる。これにより、カメラ１１２から受け取る画像データに提供したタイムコードが付与されることになる。なお、タイムコードのフォーマットはＳＭＰＴＥ１２Ｍに限定されるわけではなく、他のフォーマットであってもよい。

【0017】

コントローラ３００は、撮影システム１００のネットワークを介してカメラアダプタ１２０ａ－１２０ｈに制御信号を送ることによりカメラ１１２ａ－１１２ｈの撮影を制御する。また、コントローラ３００は、ネットワークを介してカメラ１１２ａ－１１２ｈが撮影した画像データを画像コンピューティングサーバ２００に転送するとともに画像コンピューティングサーバ２００から選択した画像データを取り出す。

【0018】

図２は、一実施形態における注視点及びカメラ配置を説明する図である。カメラ１１２ａ－１１２ｈおよびカメラアダプタ１２０ａ－１２０ｈは、フィールド２５０を取り囲むように設置されている。また、カメラ１１２ａ－１１２ｈは、各々光軸が注視点Ａを向くようになっている。

【0019】

＜ハードウェア構成＞
図３（ａ）を用いて、画像処理装置として機能するカメラアダプタ１２０のハードウェア構成について説明する。カメラアダプタ１２０は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、通信Ｉ／Ｆ２１５、及びバス２１６を有する。

【0020】

ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いてカメラアダプタ１２０の全体を制御することで、図１に示すカメラアダプタ１２０の各機能を実現する。なお、カメラアダプタ１２０がＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１５を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

【0021】

通信Ｉ／Ｆ２１５は、カメラアダプタ１２０の外部の装置との通信に用いられる。例えば、カメラアダプタ１２０が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１５に接続される。カメラアダプタ１２０が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１５はアンテナを備える。バス２１６は、カメラアダプタ１２０の各部をつないで情報を伝達する。

【0022】

＜機能構成＞
次に、図３（ｂ）を用いて、画像処理装置として機能するカメラアダプタ１２０の機能構成について説明する。図３（ｂ）は、特にカメラアダプタ１２０の送受信処理部１３０周辺の構成を示している。図３（ｂ）に示すように、カメラアダプタ１２０は、撮影データ生成部１２１、送受信処理部１３０、ポート１２２、及びポート１２３を備えている。送受信処理部１３０は、受信データ保持部１３１、受信処理部１３２、送信処理部１３３、送品データ保持部１３４、カウンタ１３５、及びカウンタ１３６を備えている。

【0023】

撮影データ生成部１２１は、カメラ１１２が撮影した画像データを送信する。ポート１２２及びポート１２３は、隣接するカメラアダプタ１２０間でパケットを送受信するための入力部及び出力部である。

【0024】

送受信処理部１３０は、カメラアダプタ１２０が送受信するパケットを処理する。受信データ保持部１３１は、ポート１２２が受信したパケットを一時保持する。受信処理部１３２は、受信データ保持部１３１に一時保持した受信パケットのヘッダ情報に基づいて受信処理を行う。

【0025】

送信処理部１３３は、受信処理部１３２で受信処理された受信データおよび撮影データ生成部１２１で生成された撮影データを送信するための送信処理を行う。送信データ保持部１３４は、送信処理部１３３で送信処理された送信データを一時保持する。

【0026】

カウンタ１３５は、カメラ１１２の垂直同期信号に基づくフレーム開始時にリセットされた後、クロックをカウントする。所定値に達すると、カメラアダプタ１２０における転送を不可の状態にする。カウンタ１３６は、カメラ１１２の垂直同期信号に基づくフレーム開始時にリセットされた後、クロックをカウントする。所定値に達すると、カメラ１１２が生成した撮影データが破棄される。

【0027】

＜ヘッダフォーマット＞
図４は、インターネットプロトコルのヘッダフォーマットを示す図である。本実施形態においては、図１に示したネットワーク上でカメラアダプタ１２０から画像コンピューティングサーバ２００に、カメラ１１２の撮影データにヘッダを付加したパケットを送信する。本実施形態では、ヘッダの生存時間フィールド４０２に全てのカメラアダプタ１２０に共通の初期値を与えカメラアダプタ１２０を１つ経由する毎に１減じていく。このため転送するパケットの生存時間フィールド４０２の値が"初期値－１"であれば１つ上流の隣接したカメラアダプタ１２０が送信した撮影データであることが判別できる。また本実施形態では、フラグフィールド４０１のビット２を参照してフラグメント化された後続のパケットがあるかどうかを判別する。

【0028】

＜カメラアダプタの転送動作＞
図５は、実施形態１におけるカメラアダプタ１２０、特に送受信処理部１３０の転送動作の手順を示すフローチャートである。

【0029】

ステップＳ５０１において、送受信処理部１３０は、カメラ１１２の垂直同期信号をモニタしており、フレーム開始を検知する。そして、フレーム開始を検知した後、カウンタ１３５はクロックのカウントを開始し、ステップＳ５０２へ進む。一方、フレーム開始を検知していない場合、検知するまで待機する。

【0030】

ステップＳ５０２において、送受信処理部１３０は、カウンタ１３５のカウント値があらかじめ設定された値に達してタイムアウトしたか否かを判定する。タイムアウトしたと判定された場合、ステップＳ５０８へ進む。一方、タイムアウトしていないと判定された場合、ステップＳ５０３へ進む。

【0031】

ステップＳ５０３において、カメラアダプタ１２０は、ポート１２２を介して上流側のカメラアダプタ１２０から転送されたパケットを受信したか否かを判定する。パケットを受信した場合、ステップＳ５０４へ進む。一方、パケットを受信していない場合、ステップＳ５０２に戻る。

【0032】

ステップＳ５０４において、受信処理部１３２は、送受信処理部１３０内の転送ステータスが転送可になっているか否かを判定する。本実施形態では、送受信処理部１３０は上流側のカメラアダプタ１２０が送信する撮影データを全て転送したと判断するまでは転送ステータスは転送可であり、全ての転送が終了した後は転送不可となる。転送可であると判定された場合、ステップＳ５０５へ進む。一方、転送不可であると判定された場合、ステップＳ５０９へ進む。

【0033】

ステップＳ５０５において、転送ステータスが転送可であるため、カメラアダプタ１２０は、ポート１２３を介して下流側のカメラアダプタ１２０にデータを転送する。

【0034】

ステップＳ５０６において、カメラアダプタ１２０は、受信したパケットのヘッダ情報を参照し、生存時間フィールド４０２から、受信パケットが隣接しているカメラアダプタ１２０の撮影データであるか否かを判定する。前述したように受信パケットの生存時間フィールド４０２が初期値－１であれば隣接したカメラアダプタ１２０の送信データを転送していると判定することができる。そして、隣接するカメラアダプタ１２０の撮影データであると判定された場合、ステップＳ５０７へ進む。一方、隣接するカメラアダプタ１２０の撮影データではないと判定された場合、ステップＳ５１０へ進む。

【0035】

ステップＳ５０７において、受信処理部１３２は、受信パケットのフラグフィールド４０１を参照し、後続するフラグメントデータがあるか否か、すなわちラストフラグであるか否かを判定する。後続するフラグメントデータがあると判定された場合は、ラストフラグではないので、ステップＳ５１０へ進む。一方、後続するフラグメントデータがないと判定された場合は、ラストフラグであるので、ステップＳ５０８へ進む。

【0036】

ステップＳ５０８において、受信処理部１３２は、転送ステータスを転送不可に変更する。例えば、ステップＳ５０７からステップＳ５０８へ遷移した場合、転送したパケットが隣接したカメラアダプタ１２０の最後のパケットであるため、上流側のカメラアダプタ１２０の撮影データを全て転送したと判定し、転送ステータスを転送不可に変更する。

【0037】

ステップＳ５０９において、受信処理部１３２は、受信したパケットを破棄し、ステップＳ５１０に進む。

【0038】

ステップＳ５１０において、送受信処理部１３０は、次のフレーム開始を検知する。そして、次のフレーム開始が検知されない場合は、ステップＳ５０２に戻る。一方、次のフレーム開始が検知された場合は、ステップＳ５１１へ進む。

【0039】

ステップＳ５１１において、送受信処理部１３０は、転送ステータスを転送可に変更した後、ステップＳ５１２へ進む。

【0040】

ステップＳ５１２において、カメラアダプタ１２０は、処理を終了するか否かを判定する。処理を終了しない場合、ステップＳ５０２に戻り、一連の処理を繰り返す。

【0041】

なお、ステップＳ５０８以降、次のフレームになるまで送受信処理部１３０は通常はパケットを受信しない。しかし、異常なケースとしてパケットを受信した場合、ステップＳ５０２からステップＳ５０３、ステップＳ５０４へ進み、転送ステータスが転送不可であるためステップＳ５０９へ進み、その結果、受信した異常なパケットは破棄されることになる。

【0042】

＜カメラアダプタの送信動作＞
図６は、実施形態１におけるカメラアダプタ１２０、特に送受信処理部１３０の送信動作の手順を示すフローチャートである。

【0043】

ステップＳ６０１において、送受信処理部１３０は、カメラ１１２の垂直同期信号をモニタしており、フレーム開始を検知する。そして、フレーム開始を検知した後、カウンタ１３６はクロックのカウントを開始し、ステップＳ６０２へ進む。一方、フレーム開始を検知していない場合、検知するまで待機する。

【0044】

ステップＳ６０２において、送受信処理部１３０は、カウンタ１３６のカウント値があらかじめ設定された値に達してタイムアウトしたか否かを判定する。タイムアウトしたと判定された場合、ステップＳ６０５へ進む。一方、タイムアウトしていないと判定された場合、ステップＳ６０３へ進む。

【0045】

ステップＳ６０３において、受信処理部１３２は、送受信処理部１３０内の転送ステータスを参照し、転送ステータスが転送可になっているか否かを判定する。転送可であると判定された場合、ステップＳ６０２に戻る。一方、転送不可であると判定された場合、ステップＳ６０４へ進む。

【0046】

ステップＳ６０４において、送受信処理部１３０は、送信データ保持部１３４に一時保持していた送信データを、ポート１２３を介して次のカメラアダプタ１２０に送信する。なお、送信データ保持部１３４に一時保持していた送信データは、カメラ１１２が撮影したデータに送信処理部１３３がヘッダを付加したものである。

【0047】

ステップＳ６０５において、送受信処理部１３０は、送信データ保持部１３４に一時保持していた送信データを破棄する。このように、所定時間内に転送の終了が検知されない場合、カメラアダプタ１２０が処理した画像データを破棄する。

【0048】

ステップ６０６において、カメラアダプタ１２０は、処理を終了するか否かを判定する。処理を終了しない場合、ステップＳ６０１に戻り、一連の処理を繰り返す。

【0049】

なお、所定時間内に転送の終了が検知されない場合には、カメラアダプタ１２０が処理した画像データの下流側のカメラアダプタへの送信を開始するようにしてもよい。

【0050】

＜撮影システムの動作＞
図７は、実施形態１における撮影システム１００の動作シーケンスを示した図である。

【0051】

ステップＳ７０１において、コントローラ３００が、各カメラアダプタ１２０を介してカメラ１１２の撮影条件を決定するカメラパラメータを設定する。また、コントローラ３００は、カメラアダプタ１２０およびカメラ１１２の時刻同期を行う。

【0052】

ステップＳ７０２において、コントローラ３００は、各カメラアダプタ１２０に送受信制御に関する送受信パラメータを設定する。ステップＳ７０３において、コントローラ３００は、カメラアダプタ１２０を介してカメラ１１２に撮影を開始させる。

【0053】

ステップＳ７０４において、カメラ１１２は、１フレーム期間、撮影を行う。ステップＳ７０５において、カメラ１１２は、カメラアダプタ１２０に対して１フレーム分の画像データを出力する。ステップＳ７０６において、カメラアダプタ１２０ｈは、カメラ１１２ｈが撮影したデータにヘッダを付加して隣接するカメラアダプタ１２０ｇに送信する。

【0054】

ステップＳ７０７において、カメラアダプタ１２０ｇは、隣接するカメラアダプタ１２０ｈからカメラ１１２ｈが撮影したデータを受信し、隣接するカメラアダプタ１２０ｆに転送する。同様に、カメラアダプタ１２０ｆから、カメラ１１２ｈが撮影したデータを、カメラアダプタ１２０ｅ、カメラアダプタ１２０ｄ、カメラアダプタ１２０ｃ、カメラアダプタ１２０ｂと順次転送する。

【0055】

そして、ステップＳ７１２において、カメラアダプタ１２０ｂから、カメラ１１２ｈが撮影したデータをカメラアダプタ１２０ａに転送する。その後、ステップＳ７１３において、カメラアダプタ１２０ａから、カメラ１１２ｈが撮影したデータを画像コンピューティングサーバ２００に転送する。このようにして、カメラアダプタ１２０ｈからカメラ１１２ｈが撮影したデータを画像コンピューティングサーバ２００に送信することができる。

【0056】

一方、ステップＳ７０７において、カメラアダプタ１２０ｇが、カメラ１１２ｈが撮影したデータの転送を終了したことを検知すると、ステップＳ７１４において、カメラアダプタ１２０ｇはカメラ１１２ｇが撮影したデータをカメラアダプタ１２０ｆに送信する。そして、カメラ１１２ｈの場合と同様にカメラ１１２ｇが撮影したデータは最終的に画像コンピューティングサーバ２００に転送される。同様の手順で、カメラ１１２ｆからカメラ１１２ａが各々撮影したデータを画像コンピューティングサーバ２００に送信する。

【0057】

以上説明したステップＳ７０６以降に示したカメラ１１２が撮影したデータの画像コンピューティングサーバ２００への送信は１フレーム期間内に完了する必要がある。カメラ１１２は、ステップＳ７０４に示した撮影動作と撮影データの伝送動作とを並行して行うことができる。そのため、カメラアダプタ１２０は、画像コンピューティングサーバ２００ｂへの１フレーム分の伝送が終了した後、次のフレームの伝送動作を開始することができる。

【0058】

以上説明したように、本実施形態によれば、トークンパケットを使用することなく、ＩＰヘッダの情報のみでカスケード接続した複数台のカメラの撮影データを順次隙間なく伝送することができる。

【0059】

（実施形態２）
本実施形態では、カメラの撮影データの転送動作と送信動作とを一部同時に行う例を説明する。本実施形態では、実施形態１で示した転送ステータスに加えて送信ステータスを導入し、送信ステータスが送信可のときに送信を行うものとする。また、図４に示したヘッダフォーマットを一部変更し、フラグメント化された最後の４パケットにおいてフラグフィールド４０１のビット０を１にして送信する。残りが４パケットと少ないパケットになっていることが分かるので、送信が終了することを検知することができる。そして、下流側のカメラアダプタ１２０は、隣接したカメラアダプタ１２０の最後の４パケットを受信したときに、送信ステータスを送信可に変更して送信を開始する。なお、最後の４パケットは一例であり、最後の３パケット、最後の２パケットなどその他の数を設定してもよい。

【0060】

なお、撮影システム１００に含まれる装置構成については実施形態１と同様であるので、詳細な説明は省略する。

【0061】

＜カメラアダプタの転送動作＞
図８は、実施形態２におけるカメラアダプタ１２０、特に送受信処理部１３０の転送動作の手順を示すフローチャートである。

【0062】

ステップＳ８０１からステップＳ８０４までの各処理は、実施形態１におけるステップＳ５０１からステップＳ５０４までの各処理と同じ動作であるので説明を省略する。また、ステップＳ８１０の処理は、ステップＳ５０８の処理と同じ動作であるので説明を省略する。

【0063】

ステップＳ８０５において、カメラアダプタ１２０は、受信したパケットのヘッダ情報を参照し、生存時間フィールド４０２から受信パケットが隣接しているカメラアダプタ１２０の撮影データであるか否かを判定する。前述したように受信パケットの生存時間フィールド４０２が初期値－１であれば隣接したカメラアダプタ１２０の送信データを転送していると判定することができる。そして、隣接するカメラアダプタ１２０の撮影データであると判定された場合、ステップＳ５０８０６へ進む。一方、隣接するカメラアダプタ１２０の撮影データではないと判定された場合、ステップＳ８１１へ進む。

【0064】

ステップＳ８０６において、カメラアダプタ１２０は、受信パケットのフラグフィールド４０１のビット０を参照し、受信パケットの最後の４パケットであるか否か、すなわち送信可能であるか否かを判定する。最後の４パケットである場合は、送信可能であると判定できるため、ステップＳ８０７へ進む。一方、最後の４パケットではない場合は、送信可能ではないと判定できるため、ステップＳ８１１へ進む。

【0065】

ステップＳ８０７において、送受信処理部１３０は、初期状態で送信不可である送信ステータスを送信可に変更する。

【0066】

ステップＳ８０８において、受信処理部１３２は、受信パケットのフラグフィールド４０１を参照し、後続するフラグメントデータがあるか否か、すなわちラストフラグであるか否かを判定する。後続するフラグメントデータがあると判定された場合は、ラストフラグではないので、ステップＳ８１１へ進む。一方、後続するフラグメントデータがないと判定された場合は、ラストフラグであるので、ステップＳ８０９へ進む。ステップＳ８０９において、受信処理部１３２は、転送したパケットが隣接したカメラアダプタ１２０の最後のパケットであるため、上流のカメラアダプタ１２０の撮影データを全て転送したと判定し、転送ステータスを転送不可に変更する。

【0067】

ステップＳ８１０において、受信処理部１３２は、受信したパケットを破棄し、ステップＳ８１１に進む。ステップＳ８１１において、送受信処理部１３０は、カメラ１１２の垂直同期信号に基づいて次のフレーム開始を検知する。そして、次のフレーム開始が検知されない場合は、ステップＳ８０２に戻る。一方、次のフレーム開始が検知された場合は、ステップＳ８１２へ進む。

【0068】

ステップＳ８１２において、送受信処理部１３０は、送信ステータスを送信不可に変更する。続いて、ステップＳ８１３において、送受信処理部１３０は、転送ステータスを転送可に変更する。

【0069】

ステップＳ８１４において、カメラアダプタ１２０は、処理を終了するか否かを判定する。処理を終了しない場合、ステップＳ８０２に戻り、一連の処理を繰り返す。

【0070】

なお、ステップＳ８０９以降、次のフレームになるまで送受信処理部１３０は通常はパケットを受信しない。しかし、異常なケースとしてパケットを受信した場合、ステップＳ８０２からステップＳ８０３へ進み、転送ステータスが転送不可であるためステップＳ８１０へ進み、その結果、受信した異常なパケットは破棄されることになる。

【0071】

＜カメラアダプタの送信動作＞
図９は、実施形態２におけるカメラアダプタ１２０、特に送受信処理部１３０の送信動作の手順を示すフローチャートである。

【0072】

ステップＳ９０１において、送受信処理部１３０は、カメラ１１２の垂直同期信号をモニタしており、フレーム開始を検知する。そして、フレーム開始を検知した後、ステップＳ９０２へ進む。

【0073】

ステップＳ９０２において、送受信処理部１３０は、送信ステータスを参照し、送信ステータスが送信可になっているか否かを判定する。送信可であると判定された場合、ステップＳ９０３へ進む。一方、送信可ではないと判定された場合、送信可になるまで待機する。

【0074】

ステップＳ９０３において、送受信処理部１３０は、送信データ保持部１３４に一時保持していた送信データを、ポート１２３を介して次のカメラアダプタ１２０へ送信する。

【0075】

以上説明したように、本実施形態によれば、トークンパケットを使用することなく、ＩＰヘッダの情報のみでカスケード接続した複数台のカメラの撮影データを順次隙間なく伝送することができる。さらに、本実施形態によればカメラの撮影データの転送動作と送信動作とを一部同時に行うことが可能となる。

【0076】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0077】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。

【符号の説明】

【0078】

１１２：カメラ、１２０：カメラアダプタ、１２１：撮影データ生成部、１２２，１２３：ポート、１３０：送受信処理部、１３１：受信データ保持部、１３２：受信処理部、１３３：送信処理部、１３４：送信データ保持部、１３５，１３６：カウンタ、１８０：スイッチングハブ、２００：画像コンピューティングサーバ、２９０：タイムサーバ、３００：コントローラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】