特表 2024-546963 フレームグラバ、画像収集方法及び画像収集システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-26

(54)【発明の名称】フレームグラバ、画像収集方法及び画像収集システム

(51)【国際特許分類】

   H04N 5/92 20060101AFI20241219BHJP

   H04N 23/60 20230101ALI20241219BHJP

   H04N 5/76 20060101ALI20241219BHJP

   H04N 19/85 20140101ALI20241219BHJP

【ＦＩ】

H04N5/92

H04N23/60 300

H04N5/76

H04N19/85

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024536001

(86)(22)【出願日】2022-12-02

(85)【翻訳文提出日】2024-06-14

(86)【国際出願番号】 CN2022136127

(87)【国際公開番号】W WO2023124768

(87)【国際公開日】2023-07-06

(31)【優先権主張番号】202111650739.3

(32)【優先日】2021-12-29

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】519059292

【氏名又は名称】杭州海康机器人股▲ふん▼有限公司

【氏名又は名称原語表記】Ｈａｎｇｚｈｏｕ Ｈｉｋｒｏｂｏｔ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ ３０４， Ｕｎｉｔ Ｂ， Ｂｕｉｌｄｉｎｇ ２， ３９９ Ｄａｎｇｆｅｎｇ Ｒｏａｄ， Ｂｉｎｊｉａｎｇ Ｄｉｓｔｒｉｃｔ， Ｈａｎｇｚｈｏｕ， Ｚｈｅｊｉａｎｇ ３１００５１， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】楼 佳祥

(72)【発明者】

【氏名】▲兪▼ ▲敏▼▲敏▼

(72)【発明者】

【氏名】▲兪▼ ▲ジャオ▼

(72)【発明者】

【氏名】程 ▲亜▼浪

(72)【発明者】

【氏名】江 成▲ユ▼

(72)【発明者】

【氏名】姚 ▲艷▼

【テーマコード（参考）】

5C122

5C159

【Ｆターム（参考）】

5C122DA40

5C122GA31

5C122GC07

5C122GC15

5C122GC35

5C122GC44

5C122GC52

5C122HA63

5C122HB01

5C159LA02

5C159RB02

5C159UA02

5C159UA05

(57)【要約】

少なくとも１つのイーサネット物理層トランシーバと、通信バスと、少なくとも１つの画像処理サブシステムを含む画像処理装置であって、各画像処理サブシステムは、前記少なくとも１つのイーサネット物理層トランシーバを介してカメラと通信し、前記通信バスを介して計算デバイスと通信する、画像処理装置と、前記画像処理装置に結合されるメモリと、を含むフレームグラバであって、各画像処理サブシステムは、カメラからの、カメラが所定の画像伝送プロトコルに従って画像フレームをカプセル化して得られた画像パケットを含むネットワークパケットを取得し、前記所定の画像伝送プロトコルに従って前記画像パケットを復号し、画像フレームを得、前記画像フレームを前記メモリにキャッシュし、前記計算デバイスの画像処理効率に基づいて、前記メモリに格納された画像フレームを計算デバイスに伝送するために用いられる、フレームグラバを提供する。

【特許請求の範囲】

【請求項1】

少なくとも１つのイーサネット物理層トランシーバと、
通信バスと、
少なくとも１つの画像処理サブシステムを含む画像処理装置であって、前記少なくとも１つの画像処理サブシステムのそれぞれは、前記少なくとも１つのイーサネット物理層トランシーバを介してカメラと通信し、前記通信バスを介して計算デバイスと通信する、画像処理装置と、
前記画像処理装置に結合されるメモリと、を含むフレームグラバであって、
前記少なくとも１つの画像処理サブシステムのそれぞれについて、該画像処理サブシステムは、
前記カメラからの、前記カメラが所定の画像伝送プロトコルに従って画像フレームをカプセル化して得られた画像パケットを含むネットワークパケットを取得し、
前記所定の画像伝送プロトコルに従って前記画像パケットを復号し、前記画像フレームを得、
前記画像フレームを前記メモリにキャッシュし、
前記計算デバイスの画像処理効率に基づいて、前記メモリに格納された画像フレームを前記計算デバイスに伝送するために用いられる、
ことを特徴とするフレームグラバ。

【請求項2】

前記メモリに格納された画像フレームを前記計算デバイスに伝送する前に、前記画像処理サブシステムはさらに、前記画像フレームに対してデータ処理を行うために用いられ、前記データ処理は、解凍、デジタルゲイン、ベイヤー補間、色補正、ガンマ補正、色空間変換、及びシャープネス処理、のうちの少なくとも１つを含む、
ことを特徴とする請求項１に記載のフレームグラバ。

【請求項3】

前記画像処理装置は、さらに、
前記通信バスを介して前記計算デバイスと通信するための通信バスサブシステムと、
前記少なくとも１つの画像処理サブシステムからのデータを受信し、受信したデータを前記通信バスサブシステムに送信するためのスケジューラであって、前記通信バスサブシステムは、前記スケジューラから受信したデータを通信バスを介して計算デバイスに送信する、スケジューラと、
前記少なくとも１つのイーサネット物理層トランシーバのレジスタを設定するためのプロセッサと、
前記計算デバイスからの設定指示に基づいて、前記少なくとも１つの画像処理サブシステム内のレジスタを設定するためのレジスタ設定ユニットと、を含む、
ことを特徴とする請求項１に記載のフレームグラバ。

【請求項4】

前記ネットワークパケットは、制御命令パケットをさらに含み、
該画像処理サブシステムは、
ストリーム処理サブシステムと、
前記少なくとも１つのイーサネット物理層トランシーバのデータストリームを受信し、前記データストリームに基づいて前記ネットワークパケットを生成するためのメディアアクセス制御ユニットと、
制御命令処理ユニットと、
信号処理サブシステムと、
パケット生成ユニットと、
前記メディアアクセス制御ユニットからのネットワークパケットを受信し、前記ネットワークパケット内の画像パケットを前記ストリーム処理サブシステムに送信し、前記ネットワークパケット内の制御命令パケットを前記制御命令処理ユニットに送信するための調停ユニットと、を含み、
前記ストリーム処理サブシステムは、前記ネットワークパケット内の前記画像パケットを復号して前記画像フレームを生成し、前記画像フレームを前記フレームグラバの前記メモリに格納するために用いられ、
制御命令処理ユニットは、前記ネットワークパケット内の前記制御命令パケットを前記計算デバイスに送信するために用いられ、
前記ストリーム処理サブシステムは、さらに、前記メモリから前記画像フレームを取得し、前記画像フレームを前記信号処理サブシステムに伝送するために用いられ、
前記信号処理サブシステムは、前記画像フレームを前記パケット生成ユニットに送信するために用いられ、
前記パケット生成ユニットは、前記画像フレームを通信バス伝送フォーマットに適合する伝送パケットに変換し、前記伝送パケットを前記計算デバイスに伝送するために用いられる、
ことを特徴とする請求項１に記載のフレームグラバ。

【請求項5】

前記ストリーム処理サブシステムは、
所定の画像伝送プロトコルに従って前記ネットワークパケット内の前記画像パケットを復号して、前記画像フレームを取得するための復号ユニットと、
前記フレームグラバの前記メモリ内の格納スペースを管理するためのメモリ管理ユニットと、
前記復号ユニットからの前記画像フレームを取得し、前記メモリ管理ユニットから前記メモリ内の格納スペースをリクエストし、前記画像フレームをリクエストした格納スペースに書き込むための画像ダイレクトメモリ書き込みユニットと、
前記メモリ管理ユニットから前記メモリに格納された前記画像フレームの格納アドレスを取得し、前記格納アドレスに基づいて前記画像フレームを読み取るための画像ダイレクトメモリ読み取りユニットと、
前記画像ダイレクトメモリ読み取りユニットから前記画像フレームを取得し、前記画像フレームを前記信号処理サブシステムに伝送するための画像伝送ユニットと、を含む、
ことを特徴とする請求項４に記載のフレームグラバ。

【請求項6】

前記信号処理サブシステムは、
解凍ユニットと、
バイパスユニットと、
前記ストリーム処理サブシステムから受信した画像フレームが圧縮された画像フレームであるか否かを分析し、前記受信した画像フレームが圧縮された画像フレームである場合、前記圧縮された画像フレームを前記解凍ユニットに伝送し、前記受信した画像フレームが圧縮されていない画像フレームである場合、前記圧縮されていない画像フレームを前記バイパスユニットに伝送するための分析ユニットと、
前記解凍ユニットによって出力された画像フレーム又は前記バイパスユニットによって出力された画像フレームを取得し、取得した画像フレームを前記パケット生成ユニットに伝送するための多重化ユニットと、を含む、
ことを特徴とする請求項４に記載のフレームグラバ。

【請求項7】

前記信号処理サブシステムは、
前記ストリーム処理サブシステムから受信した圧縮された画像フレームを圧縮されていない画像フレームに復号するための解凍ユニットと、
バイパスユニットと、
画像フレームに対して画像信号処理を行うための信号処理ユニットであって、前記画像信号処理は、デジタルゲイン、ベイヤー補間、色補正、ガンマ補正、色空間変換、及びシャープネス処理、のうちの少なくとも１つを含む、信号処理ユニットと、
前記ストリーム処理サブシステムから受信した画像フレームが圧縮された画像フレームであるか否かを分析し、前記受信した画像フレームが圧縮された画像フレームである場合、前記圧縮された画像フレームを解凍ユニットに伝送し、前記受信した画像フレームが圧縮されていない画像フレームである場合、設定情報に基づいて前記圧縮されていない画像フレームを前記バイパスユニットと前記信号処理ユニットとの一方に伝送する分析ユニットであって、前記設定情報は前記バイパスユニットと前記信号処理ユニットとの一方を指定するために用いられる、分析ユニットと、
前記解凍ユニットによって出力された画像フレーム、前記バイパスユニットによって出力された画像フレーム、又は前記信号処理ユニットによって出力された画像フレームを取得し、取得した画像フレームを前記パケット生成ユニットに伝送するための多重化ユニットと、を含む、
ことを特徴とする請求項４に記載のフレームグラバ。

【請求項8】

前記画像処理装置は、さらに、通信バスサブシステムとスケジューラとをさらに含み、
該画像処理サブシステムは前記画像フレームと前記制御命令パケットとを前記スケジューラに送信し、
前記スケジューラは、該画像処理サブシステムの前記画像フレームと前記制御命令パケットとを前記通信バスサブシステムに伝送するために用いられ、
前記通信バスサブシステムは、該画像処理サブシステムの前記画像フレームと前記制御命令パケットとを前記計算デバイスのメモリに書き込み、また、前記計算デバイスからコンピュータ制御命令パケットを取得した後、前記コンピュータ制御命令パケットを前記スケジューラに送信するために用いられ、
前記スケジューラは、前記計算デバイスからの前記コンピュータ制御命令パケットを該画像処理サブシステムの前記制御命令処理ユニットに送信するために用いられ、
前記制御命令処理ユニットは、前記メディアアクセス制御ユニットを介して前記計算デバイスからのコンピュータ制御命令パケットを前記カメラに送信するために用いられる、
ことを特徴とする請求項４に記載のフレームグラバ。

【請求項9】

前記画像処理装置は、さらに、通信バスサブシステムを含み、
前記パケット生成ユニットは、さらに、前記計算デバイスが第１の割り込み命令に応答して前記通信バスサブシステムに前記計算デバイス内の画像格納アドレスを返すように、前記通信バスサブシステムを介して前記計算デバイスに前記画像フレームの伝送を要求することを示す前記第１の割り込み命令を送信するために用いられ、
前記パケット生成ユニットは、前記計算デバイスが第２の割り込み命令に応答して前記画像フレームを処理するように、前記通信バスサブシステムを介して前記画像格納アドレスに前記画像フレームを伝送し、前記画像フレームの伝送が完了した時に、前記通信バスサブシステムを介して前記計算デバイスに前記画像フレームの伝送が完了したことを示す前記第２の割り込み命令を送信し、
前記制御命令処理ユニットは、前記計算デバイスが第３の割り込み命令に応答して前記通信バスサブシステムに前記計算デバイス内の命令格納アドレスを返すように、前記通信バスサブシステムを介して前記計算デバイスに制御命令パケットの伝送を要求することを示す前記第３の割り込み命令を送信し、
前記制御命令処理ユニットは、前記計算デバイスが第４の割り込み命令に応答して前記制御命令パケットを処理するように、前記通信バスサブシステムを介して前記命令格納アドレスに前記制御命令パケットを伝送し、前記制御命令パケットの伝送が完了した時に、前記通信バスサブシステムを介して前記計算デバイスに前記制御命令パケットの伝送が完了したことを示す前記第４の割り込み命令を送信する、
ことを特徴とする請求項４に記載のフレームグラバ。

【請求項10】

前記通信バスサブシステムは、さらに、前記計算デバイスから該画像処理サブシステム内のレジスタに対する書き込み指示を取得し、前記書き込み指示を該画像処理サブシステムのレジスタ設定ユニットに送信するために用いられ、
該画像処理サブシステム内の前記レジスタ設定ユニットは、前記書き込み指示に基づいて該画像処理サブシステム内の前記レジスタを設定するために用いられ、
前記通信バスサブシステムは、さらに、該画像処理サブシステム内の前記レジスタ設定ユニットから該画像処理サブシステム内の前記レジスタの状態パラメータを取得し、前記状態パラメータを前記計算デバイスに送信するために用いられる、
ことを特徴とする請求項８に記載のフレームグラバ。

【請求項11】

前記スケジューラは、スケジューリング書き込みユニットとスケジューリング読み取りユニットとを含み、
前記通信バスサブシステムは、バスコントローラと、ＰＣＩｅダイレクトメモリ書き込みユニットと、ＰＣＩｅダイレクトメモリ読み取りユニットと、レジスタ書き込みユニットと、レジスタ読み取りユニットとを含み、
前記スケジューリング書き込みユニットは、該画像処理サブシステムの前記画像フレームと前記制御命令パケットとを前記通信バスサブシステムの前記ＰＣＩｅダイレクトメモリ書き込みユニットに伝送するために用いられ、
前記バスコントローラは、
前記ＰＣＩｅダイレクトメモリ書き込みユニットに、該画像処理サブシステムの前記画像フレームと前記制御命令パケットとを前記計算デバイスのメモリに書き込むように指示することと、
前記ＰＣＩｅダイレクトメモリ読み取りユニットに、前記計算デバイスからコンピュータ制御命令パケットを取得した後、前記コンピュータ制御命令パケットを前記スケジューラの前記スケジューリング読み取りユニットに送信するように指示することと、
レジスタ設定ユニットが書き込み指示に基づいて該画像処理サブシステム内のレジスタを設定するように、前記レジスタ書き込みユニットに、前記計算デバイスから該画像処理サブシステム内のレジスタに対する前記書き込み指示を取得し、前記書き込み指示を該画像処理サブシステムのレジスタ設定ユニットに送信するように指示することと、
前記レジスタ読み取りユニットに、前記レジスタ設定ユニットから該画像処理サブシステム内の前記レジスタの状態パラメータを取得し、前記状態パラメータを前記計算デバイスに送信するように指示することと、のうちの１つを実行するために用いられ、
前記スケジューリング読み取りユニットは、前記計算デバイスからの前記コンピュータ制御命令パケットを前記制御命令処理ユニットに送信するために用いられる、
ことを特徴とする請求項８に記載のフレームグラバ。

【請求項12】

フレームグラバに適用される画像収集方法であって、
カメラからの、前記カメラが所定の画像伝送プロトコルに従って画像フレームをカプセル化して得られた画像パケットを含むネットワークパケットを取得するステップと、
前記所定の画像伝送プロトコルに従って前記画像パケットを復号し、前記画像フレームを得るステップと、
前記画像フレームを前記フレームグラバのメモリにキャッシュするステップと、
計算デバイスの画像処理効率に基づいて、前記メモリに格納された画像フレームを前記計算デバイスに伝送するステップと、を含む、
ことを特徴とする画像収集方法。

【請求項13】

前記計算デバイスの画像処理効率に基づいて、前記メモリに格納された画像フレームを前記計算デバイスに伝送するステップは、
前記計算デバイスが第１の割り込み命令に応答して前記計算デバイス内の画像格納アドレスを返すように、前記計算デバイスに前記画像フレームの伝送を要求することを示す前記第１の割り込み命令を送信するステップと、
前記計算デバイスが第２の割り込み命令に応答して前記画像フレームを処理するように、前記画像格納アドレスに前記画像フレームを伝送し、前記画像フレームの伝送が完了した時に、前記計算デバイスに前記画像フレームの伝送が完了したことを示す前記第２の割り込み命令を送信するステップと、を含む、
ことを特徴とする請求項１２に記載の画像収集方法。

【請求項14】

少なくとも１つのカメラと、
請求項１～１１のいずれか１項に記載のフレームグラバと、
計算デバイスと、を含む、
ことを特徴とする画像収集システム。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本願は、２０２１年１２月２９日に提出された、出願番号が２０２１１１６５０７３９．３の中国特許出願の優先権を主張し、該出願の全文は引用の方式で本明細書に組み込まれる。
［技術分野］
本発明は、画像技術分野に関し、特にフレームグラバ、画像収集方法及び画像収集システムに関する。

【背景技術】

【0002】

いくつかの画像収集シナリオでは、産業用コンピュータは、スイッチを介して複数の産業用カメラに通信可能に接続されてもよく、又は産業用コンピュータは、産業用カメラに直接接続されてもよい。産業用コンピュータは、ネットワークカードを介して産業用カメラの画像データを取得する。画像データは、例えば、ＧｉｇＥ Ｖｉｓｉｏｎ等の伝送プロトコルに従って伝送されるネットワークパケットである。産業用コンピュータのプロセッサは、伝送プロトコルに従って画像データに対して復号、パケット損失検出、画像フレーミング、画像のロスレス解凍等の操作を行うことができる。

【0003】

産業用カメラの解像度、フレームレート、ラインレート等の指標の向上に伴い、産業用コンピュータが処理する必要のある画像データの量も大幅に増加する。

【発明の概要】

【課題を解決するための手段】

【0004】

本発明の一態様によれば、少なくとも１つのイーサネット物理層トランシーバと、通信バスと、少なくとも１つの画像処理サブシステムを含む画像処理装置であって、前記少なくとも１つの画像処理サブシステムのそれぞれは、前記少なくとも１つのイーサネット物理層トランシーバを介してカメラと通信し、前記通信バスを介して計算デバイスと通信する、画像処理装置と、前記画像処理装置に結合されるメモリと、を含むフレームグラバであって、少なくとも１つの画像処理サブシステムのそれぞれについて、該画像処理サブシステムは、前記カメラからの、前記カメラが所定の画像伝送プロトコルに従って画像フレームをカプセル化して得られた画像パケットを含むネットワークパケットを取得し、前記所定の画像伝送プロトコルに従って前記画像パケットを復号し、前記画像フレームを得、前記画像フレームを前記メモリにキャッシュし、前記計算デバイスの画像処理効率に基づいて、前記メモリに格納された画像フレームを前記計算デバイスに伝送するために用いられる、フレームグラバが提供される。

【0005】

いくつかの実施例では、前記メモリに格納された画像フレームを前記計算デバイスに伝送する前に、前記画像処理サブシステムはさらに、前記画像フレームに対してデータ処理を行うために用いられ、前記データ処理は、解凍、デジタルゲイン、ベイヤー補間、色補正、ガンマ補正、色空間変換、及びシャープネス処理、のうちの少なくとも１つを含む。

【0006】

いくつかの実施例では、前記画像処理装置は、さらに、前記通信バスを介して前記計算デバイスと通信するための通信バスサブシステムと、前記少なくとも１つの画像処理サブシステムからのデータを受信し、受信したデータを前記通信バスサブシステムに送信するためのスケジューラであって、前記通信バスサブシステムは、前記スケジューラから受信したデータを通信バスを介して計算デバイスに送信する、スケジューラと、前記少なくとも１つのイーサネット物理層トランシーバのレジスタを設定するためのプロセッサと、前記計算デバイスからの設定指示に基づいて、前記少なくとも１つの画像処理サブシステム内のレジスタを設定するためのレジスタ設定ユニットと、を含む。

【0007】

いくつかの実施例では、前記ネットワークパケットは、制御命令パケットをさらに含み、該画像処理サブシステムは、ストリーム処理サブシステムと、前記少なくとも１つのイーサネット物理層トランシーバのデータストリームを受信し、前記データストリームに基づいて前記ネットワークパケットを生成するためのメディアアクセス制御ユニットと、制御命令処理ユニットと、信号処理サブシステムと、パケット生成ユニットと、前記メディアアクセス制御ユニットからのネットワークパケットを受信し、前記ネットワークパケット内の画像パケットを前記ストリーム処理サブシステムに送信し、前記ネットワークパケット内の制御命令パケットを前記制御命令処理ユニットに送信するための調停ユニットと、を含み、前記ストリーム処理サブシステムは、前記ネットワークパケット内の前記画像パケットを復号して前記画像フレームを生成し、前記画像フレームを前記フレームグラバの前記メモリに格納するために用いられ、制御命令処理ユニットは、前記ネットワークパケット内の前記制御命令パケットを前記計算デバイスに送信するために用いられ、前記ストリーム処理サブシステムは、さらに、前記メモリから前記画像フレームを取得し、前記画像フレームを前記信号処理サブシステムに伝送するために用いられ、前記信号処理サブシステムは、前記画像フレームを前記パケット生成ユニットに送信するために用いられ、前記パケット生成ユニットは、前記画像フレームを通信バス伝送フォーマットに適合する伝送パケットに変換し、前記伝送パケットを前記計算デバイスに伝送するために用いられる。

【0008】

いくつかの実施例では、前記ストリーム処理サブシステムは、所定の画像伝送プロトコルに従って前記ネットワークパケット内の前記画像パケットを復号して、前記画像フレームを取得するための復号ユニットと、フレームグラバの前記メモリ内の格納スペースを管理するためのメモリ管理ユニットと、前記復号ユニットからの前記画像フレームを取得し、前記メモリ管理ユニットから前記メモリ内の格納スペースをリクエストし、前記画像フレームをリクエストした格納スペースに書き込むための画像ダイレクトメモリ書き込みユニットと、前記メモリ管理ユニットから前記メモリに格納された前記画像フレームの格納アドレスを取得し、前記格納アドレスに基づいて前記画像フレームを読み取るための画像ダイレクトメモリ読み取りユニットと、前記画像ダイレクトメモリ読み取りユニットから前記画像フレームを取得し、前記画像フレームを前記信号処理サブシステムに伝送するための画像伝送ユニットと、を含む。

【0009】

いくつかの実施例では、前記信号処理サブシステムは、解凍ユニットと、バイパスユニットと、前記ストリーム処理サブシステムから受信した画像フレームが圧縮された画像フレームであるか否かを分析し、前記受信した画像フレームが圧縮された画像フレームである場合、前記圧縮された画像フレームを前記解凍ユニットに伝送し、前記受信した画像フレームが圧縮されていない画像フレームである場合、前記圧縮されていない画像フレームを前記バイパスユニットに伝送するための分析ユニットと、前記解凍ユニットによって出力された画像フレーム又は前記バイパスユニットによって出力された画像フレームを取得し、取得した画像フレームを前記パケット生成ユニットに伝送するための多重化ユニットと、を含む。

【0010】

いくつかの実施例では、前記信号処理サブシステムは、前記ストリーム処理サブシステムから受信した圧縮された画像フレームを圧縮されていない画像フレームに復号するための解凍ユニットと、バイパスユニットと、画像フレームに対して画像信号処理を行うための信号処理ユニットであって、前記画像信号処理は、デジタルゲイン、ベイヤー補間、色補正、ガンマ補正、色空間変換、及びシャープネス処理、のうちの少なくとも１つを含む、信号処理ユニットと、前記ストリーム処理サブシステムから受信した画像フレームが圧縮された画像フレームであるか否かを分析し、前記受信した画像フレームが圧縮された画像フレームである場合、前記圧縮された画像フレームを解凍ユニットに伝送し、前記受信した画像フレームが圧縮されていない画像フレームである場合、設定情報に基づいて前記圧縮されていない画像フレームを前記バイパスユニットと前記信号処理ユニットとの一方に伝送する分析ユニットであって、前記設定情報は前記バイパスユニットと前記信号処理ユニットとの一方を指定するために用いられる、分析ユニットと、前記解凍ユニットによって出力された画像フレーム、前記バイパスユニットによって出力された画像フレーム、又は前記信号処理ユニットによって出力された画像フレームを取得し、取得した画像フレームを前記パケット生成ユニットに伝送するための多重化ユニットと、を含む。

【0011】

いくつかの実施例では、前記画像処理装置は、さらに、通信バスサブシステムとスケジューラとをさらに含み、該画像処理サブシステムは前記画像フレームと前記制御命令パケットとを前記スケジューラに送信し、前記スケジューラは、該画像処理サブシステムの前記画像フレームと前記制御命令パケットとを前記通信バスサブシステムに伝送するために用いられ、前記通信バスサブシステムは、該画像処理サブシステムの前記画像フレームと前記制御命令パケットとを前記計算デバイスのメモリに書き込み、また、前記計算デバイスからコンピュータ制御命令パケットを取得した後、前記コンピュータ制御命令パケットを前記スケジューラに送信するために用いられ、前記スケジューラは、前記計算デバイスからの前記コンピュータ制御命令パケットを該画像処理サブシステムの前記制御命令処理ユニットに送信するために用いられ、前記制御命令処理ユニットは、前記メディアアクセス制御ユニットを介して前記計算デバイスからのコンピュータ制御命令パケットを前記カメラに送信するために用いられる。

【0012】

いくつかの実施例では、前記画像処理装置は、さらに、通信バスサブシステムを含み、前記パケット生成ユニットは、さらに、前記計算デバイスが第１の割り込み命令に応答して前記通信バスサブシステムに前記計算デバイス内の画像格納アドレスを返すように、前記通信バスサブシステムを介して前記計算デバイスに前記画像フレームの伝送を要求することを示す第１の割り込み命令を送信するために用いられ、前記パケット生成ユニットは、前記計算デバイスが第２の割り込み命令に応答して前記画像フレームを処理するように、前記通信バスサブシステムを介して前記画像格納アドレスに前記画像フレームを伝送し、前記画像フレームの伝送が完了した時に、前記通信バスサブシステムを介して前記計算デバイスに前記画像フレームの伝送が完了したことを示す第２の割り込み命令を送信し、前記制御命令処理ユニットは、前記計算デバイスが第３の割り込み命令に応答して前記通信バスサブシステムに前記計算デバイス内の命令格納アドレスを返すように、前記通信バスサブシステムを介して前記計算デバイスに制御命令パケットの伝送を要求することを示す第３の割り込み命令を送信し、前記制御命令処理ユニットは、前記計算デバイスが第４の割り込み命令に応答して前記制御命令パケットを処理するように、前記通信バスサブシステムを介して前記命令格納アドレスに前記制御命令パケットを伝送し、前記制御命令パケットの伝送が完了した時に、前記通信バスサブシステムを介して前記計算デバイスに前記制御命令パケットの伝送が完了したことを示す第４の割り込み命令を送信する。

【0013】

いくつかの実施例では、前記通信バスサブシステムは、さらに、前記計算デバイスから該画像処理サブシステム内のレジスタに対する書き込み指示を取得し、前記書き込み指示を該画像処理サブシステムのレジスタ設定ユニットに送信するために用いられ、該画像処理サブシステム内の前記レジスタ設定ユニットは、前記書き込み指示に基づいて該画像処理サブシステム内の前記レジスタを設定するために用いられ、前記通信バスサブシステムは、さらに、該画像処理サブシステム内の前記レジスタ設定ユニットから該画像処理サブシステム内の前記レジスタの状態パラメータを取得し、前記状態パラメータを前記計算デバイスに送信するために用いられる。

【0014】

前記スケジューラは、スケジューリング書き込みユニットとスケジューリング読み取りユニットとを含み、前記通信バスサブシステムは、バスコントローラと、ＰＣＩｅダイレクトメモリ書き込みユニットと、ＰＣＩｅダイレクトメモリ読み取りユニットと、レジスタ書き込みユニットと、レジスタ読み取りユニットとを含み、前記スケジューリング書き込みユニットは、該画像処理サブシステムの前記画像フレームと前記制御命令パケットとを前記通信バスサブシステムの前記ＰＣＩｅダイレクトメモリ書き込みユニットに伝送するために用いられ、前記バスコントローラは、前記ＰＣＩｅダイレクトメモリ書き込みユニットに、該画像処理サブシステムの前記画像フレームと前記制御命令パケットとを前記計算デバイスのメモリに書き込むように指示することと、前記ＰＣＩｅダイレクトメモリ読み取りユニットに、前記計算デバイスからコンピュータ制御命令パケットを取得した後、前記コンピュータ制御命令パケットを前記スケジューラの前記スケジューリング読み取りユニットに送信するように指示することと、前記レジスタ設定ユニットが書き込み指示に基づいて該画像処理サブシステム内の前記レジスタを設定するように、前記レジスタ書き込みユニットに、前記計算デバイスから該画像処理サブシステム内のレジスタに対する書き込み指示を取得し、前記書き込み指示を該画像処理サブシステムのレジスタ設定ユニットに送信するように指示することと、前記レジスタ読み取りユニットに、前記レジスタ設定ユニットから該画像処理サブシステム内の前記レジスタの状態パラメータを取得し、前記状態パラメータを前記計算デバイスに送信するように指示することと、のうちの１つを実行するために用いられ、前記スケジューリング読み取りユニットは、前記計算デバイスからの前記コンピュータ制御命令パケットを前記制御命令処理ユニットに送信するために用いられる。

【0015】

本発明の一態様によれば、フレームグラバに適用される画像収集方法であって、カメラからの、前記カメラが所定の画像伝送プロトコルに従って画像フレームをカプセル化して得られた画像パケットを含むネットワークパケットを取得するステップと、前記所定の画像伝送プロトコルに従って前記画像パケットを復号し、前記画像フレームを得るステップと、前記画像フレームを前記フレームグラバのメモリにキャッシュするステップと、計算デバイスの画像処理効率に基づいて、前記メモリに格納された画像フレームを前記計算デバイスに伝送するステップと、を含む、画像収集方法が提供される。

【0016】

いくつかの実施例では、前記計算デバイスの画像処理効率に基づいて、前記メモリに格納された画像フレームを前記計算デバイスに伝送するステップは、前記計算デバイスが第１の割り込み命令に応答して前記計算デバイス内の画像格納アドレスを返すように、前記計算デバイスに前記画像フレームの伝送を要求することを示す第１の割り込み命令を送信するステップと、前記計算デバイスが第２の割り込み命令に応答して前記画像フレームを処理するように、前記画像格納アドレスに前記画像フレームを伝送し、前記画像フレームの伝送が完了した時に、前記計算デバイスに前記画像フレームの伝送が完了したことを示す第２の割り込み命令を送信するステップと、を含む。

【0017】

本発明の一態様によれば、少なくとも１つのカメラと、本発明の実施例に係るフレームグラバと、計算デバイスと、を含む画像収集システムが提供される。

【0018】

まとめると、本発明の実施例に係るフレームグラバは、計算デバイスにおけるプロセッサの一部の処理動作を代行することができ、例えば、計算デバイスにおけるプロセッサの代わりに複数のカメラの画像パケットに対する復号及び画像フレームのキャッシュを行う。本発明の実施例のフレームグラバは、計算デバイスのプロセッサの代わりに画像パケットを復号することができ、計算デバイスにおけるコンピューティングリソースを節約する。また、本発明の実施例のフレームグラバは、複数のカメラの画像パケットを復号して画像フレームをキャッシュすることにより、計算デバイスの処理速度の変動によるデータのオーバーフロー損失を解決することに役立つ。また、本発明の実施例のフレームグラバは、計算デバイスの画像に対する処理効率に基づいて、フレームグラバのメモリに格納された画像フレームを計算デバイスに伝送することができ、それにより、計算デバイスに伝送されるデータ量が計算デバイスの処理能力とマッチングし、フレームグラバから送信された画像フレームが計算デバイスの処理能力を超えるような状況を低減又は回避し、計算デバイスのデータのオーバーフロー損失の発生を低減又は回避することができる。

【図面の簡単な説明】

【0019】

【図1A】いくつかの実施例に係る画像収集システムの概略図である。

【図1B】いくつかの実施例に係る画像収集システムの概略図である。

【図2】本発明のいくつかの実施例に係るフレームグラバの概略図である。

【図3】本発明のいくつかの実施例に係る画像収集システムの画像収集方法のフローチャートである。

【図4】本発明のいくつかの実施例に係る画像処理装置の模式図である。

【図5】本発明のいくつかの実施例に係る画像処理サブシステムの概略図である。

【図6】本発明のいくつかの実施例に係るストリーム処理サブシステムの概略図である。

【図7】本発明のいくつかの実施例に係る信号処理サブシステムの概略図である。

【図8】本発明のいくつかの実施例に係る信号処理サブシステムの概略図である。

【図9】本発明のいくつかの実施例に係る信号処理ユニットの概略図である。

【図10】本発明のいくつかの実施例に係るスケジューラ及び通信バスサブシステムの概略図である。

【図11】本発明のいくつかの実施例に係る画像収集方法のフローチャートである。

【図12】本発明のいくつかの実施例に係るフレームグラバが計算デバイスに画像フレームを送信する方法のフローチャートである。

【発明を実施するための形態】

【0020】

本発明の目的、技術手段及び利点をより明確にするために、以下、図面を参照しながら実施例を挙げて本発明をさらに詳細に説明する。

【0021】

通常、産業用コンピュータのネットワークカード及びスイッチのキャッシュ容量が低く、産業用コンピュータのプロセッサが受信したネットワークパケットを適時に処理できない場合、ネットワークカードのキャッシュオーバーフロー、パケットロス及び画像の不完全を招く。簡単に言えば、データ量の多いの画像収集シナリオに面する場合、現在の画像収集手段では、データのオーバーフロー損失の問題が発生しやすい。

【0022】

図１Ａは、いくつかの実施例に係る画像収集システムの概略図を示す。図１Ｂは、いくつかの実施例に係る画像収集システムの概略図を示す。図１Ａに示すシナリオでは、画像収集システムは、１つのカメラと１つの産業用コンピュータとを含み得る。産業用コンピュータは、ネットワークカードを介して単一のカメラと通信し、カメラが収集した画像データを受信する。図１Ｂに示すシナリオでは、画像収集システムは、スイッチ、産業用コンピュータ、及び複数のカメラを含み得る。

【0023】

ここで、カメラは、例えばＧｉｇＥ Ｖｉｓｉｏｎプロトコルに基づいて画像伝送を行ってもよい。ＧｉｇＥ Ｖｉｓｉｏｎは、自動画像化協会ＡＩＡ（Ａｕｔｏｍａｔｅｄ Ｉｍａｇｉｎｇ Ａｓｓｏｃｉａｔｉｏｎ）によって指定されたギガビットイーサネットに基づく画像伝送の規格であり、産業用イメージングアプリケーションに適用される。ＧｉｇＥ Ｖｉｓｉｏｎプロトコルには、ＧＶＣＰ（ＧｉｇＥ Ｖｉｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）制御プロトコルとＧＶＳＰ（ＧｉｇＥ Ｖｉｓｉｏｎ Ｓｔｒｅａｍｉｎｇ Ｐｒｏｔｏｃｏｌ）ストリーミング伝送プロトコルとが含まれる。カメラは、ＧｉｇＥ Ｖｉｓｉｏｎプロトコルに基づいて、単一の画像フレームを例えば９ＫＢサイズのネットワークパケットに分割することができ、ギガビットイーサネットに基づくハードウェアアーキテクチャで画像伝送を実現し、最大伝送レートは１Ｇｂ／ｓに達することができる。なお、カメラは、画像フレームを伝送する前に、画像フレームのロスレス圧縮を行ってもよい。産業用コンピュータは、ギガビット又は１０ギガビットネットワークカードを介してネットワークパケットを受信し、プロセッサを介して離散的な（ｄｉｓｃｒｅｔｅ）ネットワークパケットを復号し、画像フレームを再構成し、完全な画像の受信を実現する。

【0024】

産業用コンピュータネットワークカード及びスイッチのキャッシュ容量が限られているため、産業用コンピュータが受信したネットワークパケットを適時に処理できないと、産業用コンピュータネットワークカードのキャッシュオーバーフロー、パケットロス及び画像の不完全を招く。簡単に言えば、データ量の多いの画像収集シナリオに面する場合、図１Ａ及び図１Ｂに示す画像取得システムは、データのオーバーフロー損失の問題が発生しやすい。

【0025】

本発明は、画像収集システムにおけるネットワークカード及びスイッチの代わりにフレームグラバを使用することによって、データのオーバーフロー損失の問題を解決するためのフレームグラバを提供する。以下、図２を参照して本発明の実施例のフレームグラバを説明する。

【0026】

図２は、本発明のいくつかの実施例に係るフレームグラバの概略図を示す。

【0027】

図２に示すように、フレームグラバは、少なくとも１つのイーサネット物理層（Ｅｔｈｅｒｎｅｔ Ｐｈｙｓｉｃａｌ Ｌａｙｅｒ、ＰＨＹ）トランシーバ１、通信バス２、画像処理装置３及びメモリ４を含み得る。画像処理装置３は、少なくとも１つの画像処理サブシステムを含む。例えば、図２には、４つの画像処理サブシステム３１が示されているが、これに限定されない。

【0028】

ここで、各画像処理サブシステム３１は、イーサネット物理層トランシーバ１を介してカメラと通信し、通信バス２を介して計算デバイスと通信する。

【0029】

いくつかの実施例では、各画像処理サブシステム３１に対しては、１つのイーサネット物理層トランシーバ１が配置され、１つのカメラと通信する。画像処理サブシステム３１とイーサネット物理層トランシーバ１とは、１対１で対応している。各画像処理サブシステム３１は、１つのイーサネット物理層トランシーバ１を介して１つのカメラと通信し、通信バス２を介して計算デバイスと通信する。このように、本発明の実施例のフレームグラバは、複数の画像フレームを並列処理することができ、複数の画像フレームを処理するデータ処理効率を向上させる。計算デバイスは、例えば、産業用コンピュータであるが、これに限定されない。画像処理装置３は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）プロセッサに基づいて実現されてもよい。これに限らず、画像処理プロセッサは、論理ゲート、スイッチ、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、又はデジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）等により実現されてもよい。通信バス２は、例えば、ＰＣＩ－Ｅｘｐｒｅｓｓ等の通信インタフェースである。

【0030】

メモリ４は、画像処理装置３に結合（ｃｏｕｐｌｉｎｇ）される。メモリ４は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＤＲ ＳＤＲＡＭ（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の高速ランダムアクセスメモリである。各画像処理サブシステム３１は、カメラからのネットワークパケットを取得する。ここで、カメラは、例えばＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）に基づいてネットワークパケットを伝送してもよい。ネットワークパケットは、カメラが所定の画像伝送プロトコルに従って、カメラによって撮影された画像フレームをカプセル化して得られた画像パケットを含み得る。ここで、所定の画像伝送プロトコルは、例えば、ＧｉｇＥ Ｖｉｓｉｏｎプロトコルである。画像パケットは、例えば、ＧＶＳＰパケットである。

【0031】

画像処理サブシステム３１は、所定の画像伝送プロトコルに従って画像パケットを復号し、画像フレームを得る。画像処理サブシステム３１は、画像フレームをフレームグラバのメモリ４にキャッシュする。画像処理サブシステム３１は、計算デバイスの画像に対する処理効率に基づいて、メモリ４に格納された画像フレームを計算デバイスに伝送してもよい。言い換えれば、フレームグラバの画像処理サブシステム３１が計算デバイスに画像フレームを送信するためのデータ伝送量を、計算デバイスの処理能力とマッチングさせることにより、フレームグラバから送信された画像フレームが計算デバイスの処理能力を超えるような状況を低減し、計算デバイスのデータのオーバーフロー損失の発生を低減することができる。

【0032】

まとめると、本発明の実施例に係るフレームグラバはネットワークカードと異なり、計算デバイスにおけるプロセッサの一部の処理動作を代行することができ、例えば、計算デバイスにおけるプロセッサの代わりに複数のカメラの画像パケットに対する復号及び画像フレームのキャッシュを行う。本発明の実施例のフレームグラバは、計算デバイスのプロセッサの代わりに画像パケットを復号することができ、計算デバイスにおけるコンピューティングリソースを節約する。また、本発明の実施例のフレームグラバは、複数のカメラの画像パケットを復号して画像フレームをキャッシュすることにより、計算デバイスの処理速度の変動によるデータのオーバーフロー損失を解決することに役立つ。また、本発明の実施例のフレームグラバは、計算デバイスの画像に対する処理効率に基づいて、フレームグラバのメモリに格納された画像フレームを計算デバイスに伝送することができ、それにより、計算デバイスに伝送されるデータ量が計算デバイスの処理能力とマッチングし、フレームグラバから送信された画像フレームが計算デバイスの処理能力を超えるような状況を低減又は回避し、計算デバイスのデータのオーバーフロー損失の発生を低減又は回避することができる。

【0033】

いくつかの実施例では、各画像処理サブシステム３１は、さらに、画像フレームに対してデータ処理を行うために用いられる。ここで、データ処理は、解凍と画像信号処理とのうちの少なくとも１つを含む。ここで、解凍とは、例えば、圧縮された画像フレームを圧縮されていない画像フレームに復号することである。画像信号処理は、例えば、デジタルゲイン（ｄｉｇｉｔａｌ ｇａｉｎ）、ベイヤー補間（Ｂａｙｅｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、色補正（ｃｏｌｏｒ ｃｏｒｒｅｃｔｉｏｎ）、ガンマ補正（ｇａｍｍａ ｃｏｒｒｅｃｔｉｏｎ）、色空間変換（ｃｏｌｏｒ ｓｐａｃｅ ｃｏｎｖｅｒｓｉｏｎ）、シャープネス（ｓｈａｒｐｅｎｉｎｇ）処理等のうちの少なくとも１つを含み得る。このように、フレームグラバは、画像に対してデータ処理を行うことができるため、計算デバイスの計算リソースを節約し、計算デバイスが画像を処理する速度を向上させ、それにより、画像を計算デバイスに伝送する速度を向上させることができる。

【0034】

図３は、本発明のいくつかの実施例に係る画像収集システムの画像収集方法３００のフローチャートを示す。

【0035】

図３に示すように、画像収集方法は、ステップＳ３０１～ステップＳ３０４を含む。ステップＳ３０１において、カメラが画像フレームを生成し、画像フレームをカプセル化し、画像パケットを得る。ここで、カメラが画像フレームを生成した後、所定の画像伝送プロトコル、例えばＧｉｇＥ Ｖｉｓｉｏｎ等に従って画像フレームに対してパケットカプセル化を行ってもよい。例えば、カメラは、ＧｉｇＥ Ｖｉｓｉｏｎプロトコルに従って１つの画像フレームをリーダー（Ｌｅａｄｅｒ）パケット、ペイロード（Ｐａｙｌｏａｄ）パケット、トレーラー（Ｔｒａｉｌｅｒ）パケットの３つのタイプのユーザデータグラムプロトコル（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ、ＵＤＰ）パケットに分割する。リーダーパケットは画像開始情報と画像フォーマット情報とを含み、トレーラーパケットは画像終了情報を含み、ペイロードパケットは画像のペイロードである。１つの画像フレームに対応するＵＤＰパケットは、１つのリーダーパケット、複数のペイロードパケット、１つのトレーラーパケットを含み得る。

【0036】

ステップＳ３０２において、フレームグラバが画像パケットを受信し、画像パケットを復号し、画像フレームを得る。例えば、フレームグラバは、ＧｉｇＥ Ｖｉｓｉｏｎプロトコルに従って復号してもよい。

【0037】

ステップＳ３０３において、フレームグラバが画像フレームをフレームグラバのメモリにキャッシュする。

【0038】

いくつかの実施例では、計算デバイスに画像フレームを伝送する前に、フレームグラバは、画像フレームに対してデータ処理を行ってもよい。画像処理は、例えば、解凍、デジタルゲイン、ベイヤー補間、色補正、ガンマ補正、色空間変換、及びシャープネス処理、のうちの少なくとも１つを含む。例えば、フレームグラバのメモリにキャッシュされた画像フレームがロスレス圧縮された画像フレームである場合、フレームグラバは画像フレームに対して解凍処理を行ってもよい。フレームグラバのメモリにキャッシュされた画像フレームが圧縮処理されていない場合、フレームグラバは解凍処理を行う必要がない。また、フレームグラバは、画像フレームに対してデジタルゲイン、ベイヤー補間、色補正、ガンマ補正、色空間変換、シャープネス処理等の画像信号処理を行ってもよい。

【0039】

ステップＳ３０４において、フレームグラバが通信バスを介して画像フレームを計算デバイスに伝送する。ここで、フレームグラバは、計算デバイスの画像に対する処理効率に基づいて、計算デバイスにフレームグラバのメモリに格納された画像フレームを伝送してもよい。言い換えれば、フレームグラバから計算デバイスへの伝送レートは、計算デバイスの画像に対する処理効率に依存する。

【0040】

まとめると、本発明の実施例に係る画像収集方法３００では、計算デバイスにおけるプロセッサの代わりにフレームグラバを利用して複数のカメラの画像パケットに対して復号、データ処理及び画像フレームのキャッシュを行うことができる。本発明の実施例の画像収集方法３００は、計算デバイスのプロセッサが画像パケットに対して復号及びデータ処理を行うことを回避することができ、計算デバイスにおける計算リソースを節約する。また、本発明の実施例の画像収集方法３００では、複数のカメラの画像パケットを復号して画像フレームをキャッシュすることにより、計算デバイスの処理速度の変動によるデータのオーバーフロー損失を解決することに役立つ。

【0041】

図４は、本発明のいくつかの実施例に係る画像処理装置の模式図を示す。

【0042】

図４に示すように、フレームグラバの画像処理装置３は、スケジューラ（Ｓｃｈｅｄｕｌｅｒ）３２、プロセッサ３３、レジスタ設定ユニット（Ｒｅｇｉｓｔｅｒ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｕｎｉｔ）３４及び通信バスサブシステム３５をさらに含む。

【0043】

プロセッサ３３は、例えば、ＦＰＧＡによって実現されるソフト中央処理装置（ｓｏｆｔ Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよいし、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）又はマイクロコントローラユニット（Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ、ＭＣＵ）であってもよい。本発明はこれについて限定しない。プロセッサ３３は、イーサネット物理層トランシーバ１のレジスタを設定するために用いられる。なお、フレームグラバの画像処理装置３は、プロセッサ３３を介してイーサネット物理層トランシーバ１を設定することができるので、本発明の実施例のフレームグラバの画像処理装置３は、電源がオンにされた後、イーサネット物理層トランシーバ１を設定することができ、計算デバイスの起動が完了した後に計算デバイスがイーサネット物理層トランシーバ１を設定することを待つ必要がないため、イーサネット物理層トランシーバ１をより速く動作状態に入らせることができ、それにより、フレームグラバはより速くカメラからのデータを受信し始めることができる。

【0044】

レジスタ設定ユニット３４は、計算デバイスからの設定指示に基づいて、画像処理サブシステム３１内のレジスタ（図４に図示せず）を設定する。

【0045】

通信バスサブシステム３５は、フレームグラバの通信バス２を介して計算デバイスと通信するために用いられる。スケジューラ３２は、通信バスサブシステム３５に結合される。ここで、画像処理装置３内の各画像処理サブシステム３１は、計算デバイスに送信すべきデータをスケジューラ３２に直接送信することができる。スケジューラ３２は、画像処理サブシステム３１からのデータを受信し、データを通信バスサブシステム３５に送信することができる。通信バスサブシステム３５は、フレームグラバの通信バス２を介してデータを計算デバイスに送信することができる。簡単に言えば、画像処理装置３内の画像処理サブシステム３１は、スケジューラ３２及び通信バスサブシステム３５を介して、フレームグラバの通信バス２を共有する。

【0046】

いくつかの実施例では、画像処理装置３は、メモリコントローラ３６と内部相互接続バス３７とをさらに含む。メモリコントローラ３６は、例えば、ＤＤＲコントローラ（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ Ｃｏｎｔｒｏｌｌｅｒ、ＤＤＲ Ｃｏｎｔｒｏｌｌｅｒ）である。内部相互接続バス３７は、例えば、ＦＰＧＡ内部相互接続バス（Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｂｕｓ）である。フレームグラバ内の画像処理サブシステム３１は、内部相互接続バス３７を介してメモリコントローラ３６に接続される。このように、画像処理サブシステム３１は、メモリコントローラ３６を利用してフレームグラバのメモリ４に画像フレームを格納することができる。

【0047】

図５は、本発明のいくつかの実施例に係る画像処理サブシステムの概略図を示す。

【0048】

ネットワークパケットは、画像パケットに加えて、制御命令パケットも含み得る。言い換えれば、１つのネットワークパケットは、画像パケット又は制御命令パケットであってもよい。ここで、制御命令パケットは、例えば、ＧＶＣＰパケットである。

【0049】

図５に示すように、各画像処理サブシステム３１は、ストリーム処理サブシステム（例えば、ＧＶＳＰ Ｓｕｂｓｙｓｔｅｍ）３１１と、メディアアクセス制御ユニット（Ｍｅｄｉａ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ Ｕｎｉｔ、ＭＡＣ Ｕｎｉｔ）３１２と、制御命令処理ユニット（例えば、ＧＶＣＰ ｐｒｏｃｅｓｓ ｕｎｉｔ）３１３と、信号処理サブシステム（ＩＳＰ（ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ） Ｓｕｂｓｙｓｔｅｍ）３１４と、パケット生成ユニット（Ｐａｃｋｅｔ Ｇｅｎｅｒａｔｅ Ｕｎｉｔ）３１５と、調停ユニット（ＭＡＣ Ａｒｂｉｔｅｒ Ｕｎｉｔ）３１６とを含む。

【0050】

メディアアクセス制御ユニット３１２は、イーサネット物理層トランシーバ１のデータストリームを受信し、データストリームに基づいてネットワークパケットを生成するために用いられる。例えば、メディアアクセス制御ユニット３１２は、ＧＶＣＰパケットとＧＶＳＰパケットという２つのタイプのネットワークパケットを生成することができる。

【0051】

調停ユニット３１６は、メディアアクセス制御ユニット３１２からのネットワークパケットを受信し、ネットワークパケットのタイプを分析するために用いられる。調停ユニット３１６は、ネットワークパケット内の画像パケットをストリーム処理サブシステム３１１に送信し、ネットワークパケット内の制御命令パケットを制御命令処理ユニット３１３に送信する。ここで、制御命令パケットは、例えば、カメラの状態パラメータ、カメラの設定パラメータ等に関するものであってもよい。すなわち、調停ユニット３１６は、ＧＶＳＰパケットとＧＶＣＰパケットとを分離することができる。

【0052】

ストリーム処理サブシステム３１１は、画像パケットを復号して画像フレームを生成し、画像フレームをフレームグラバのメモリ４に格納する。

【0053】

制御命令処理ユニット３１３は、制御命令パケットを計算デバイスに送信する。また、制御命令処理ユニット３１３は、計算デバイスからの制御命令パケットを受信し、メディアアクセス制御ユニット３１２を介して制御命令パケットをカメラに送信することもできる。

【0054】

ストリーム処理サブシステム３１１は、さらに、フレームグラバのメモリから画像フレームを取得し、画像フレームを信号処理サブシステム３１４に伝送するために用いられる。

【0055】

信号処理サブシステム３１４は、圧縮されていない画像フレームをパケット生成ユニット３１５に送信するために用いられる。ここで、信号処理サブシステム３１４は、ハードウェア方式で画像のロスレス解凍機能を実現する。ここで、信号処理サブシステム３１４がロスレス解凍機能を実行できるため、フレームグラバが受信できる画像のデータ量が大きくなり、計算デバイスに送信する画像のデータ量も大きくなる。このように、フレームグラバは、信号処理サブシステム３１４を介して、画像伝送帯域幅を向上させることができ、解凍プロセスが計算デバイスのいかなるプロセッサリソースを占有しないようにする。

【0056】

パケット生成ユニット３１５は、画像フレームを通信バス伝送フォーマットに適合する伝送パケットに変換し、フレームグラバの通信バス２を介して伝送パケットを計算デバイスに伝送するために用いられる。例えば、通信バス伝送フォーマットに適合する伝送パケットのデータ量は、データ量閾値を超えない。カメラが収集した画像フレームは、異なるデータ量を有することがある。パケット生成ユニット３１５は、フレームグラバの通信バス２がデータを正常に伝送するように、異なるデータ量の画像フレームを一律にデータ量閾値を超えない伝送パケットに分割してもよい。

【0057】

いくつかの実施例では、パケット生成ユニット３１５は、計算デバイスが第１の割り込み命令に応答して通信バスサブシステム３５に計算デバイス内の画像格納アドレスを返すように、画像処理装置３の通信バスサブシステム３５を介して計算デバイスに画像フレームの伝送を要求することを示す第１の割り込み命令を送信する。ここで、画像格納アドレスは、例えば、計算デバイスのメモリ内の画像フレームを格納するためのベースアドレス（ｂａｓｅ ａｄｄｒｅｓｓ）である。これに基づいて、パケット生成ユニット３１５は、スケジューラ３２、通信バスサブシステム３５及び通信バス２を介して、計算デバイスに画像フレームを送信することができる。

【0058】

パケット生成ユニット３１５は、計算デバイスが第２の割り込み命令に応答して画像フレームを処理するように、通信バスサブシステム３５を介して計算デバイスの画像格納アドレスに画像フレームを伝送し、画像フレームの伝送が完了した時に、通信バスサブシステム３５を介して計算デバイスに画像フレームの伝送が完了したことを示す第２の割り込み命令を送信する。このように、フレームグラバは、計算デバイスに割り込み命令を送信する方式により、計算デバイスが該画像フレームを処理する前に計算デバイスへの新しい画像フレームの送信を一時停止することができ、計算デバイスが該画像フレームを処理した後に計算デバイスに新しい画像フレームを送信することができる。言い換えれば、フレームグラバは、計算デバイスに割り込み命令を送信する方式により、計算デバイスの処理効率に基づいて計算デバイスに画像フレームを送信することができるため、フレームグラバが送信した画像のデータ量を計算デバイスの処理能力とマッチングさせることができ、それにより、フレームグラバから送信された画像フレームが計算デバイスの処理能力を超えるような状況を回避し、計算デバイスのデータのオーバーフロー損失の発生を回避することができる。

【0059】

いくつかの実施例では、制御命令処理ユニット３１３は、計算デバイスが第３の割り込み命令に応答して通信バスサブシステム３５に計算デバイス内の命令格納アドレスを返すように、通信バスサブシステム３５を介して計算デバイスに制御命令パケットの伝送を要求することを示す第３の割り込み命令を送信する。

【0060】

制御命令処理ユニット３１３は、計算デバイスが第４の割り込み命令に応答して制御命令パケットを処理するように、通信バスサブシステム３５を介して計算デバイス内の命令格納アドレスに該制御命令パケットを伝送し、制御命令パケットの伝送が完了した時に、通信バスサブシステム３５を介して計算デバイスに制御命令パケットの伝送が完了したことを示す第４の割り込み命令を送信する。このように、カメラから計算デバイスに伝送される制御命令パケットは、フレームグラバを介して計算デバイスに到達することができる。

【0061】

まとめると、フレームグラバは、計算デバイスに割り込み命令を送信し、計算デバイスが割り込み命令に応答することを待つ方式により、フレームグラバのデータ伝送レートと計算デバイスの処理効率とのマッチングを実現してもよい。すなわち、カメラからの画像及び制御命令パケットに対する計算デバイスの処理効率に基づいて、フレームグラバのメモリに格納された画像フレーム及び制御命令パケットを計算デバイスに伝送することを実現した。

【0062】

図６は、本発明のいくつかの実施例に係るストリーム処理サブシステム３１１の概略図を示す。

【0063】

図６に示すように、ストリーム処理サブシステム３１１は、復号ユニット（Ｄｅｃｏｄｅ Ｕｎｉｔ）３１１１と、メモリ管理ユニット（Ｍｅｍｏｒｙ Ｍａｎａｇｅｍｅｎｔ Ｕｎｉｔ、ＭＭＵ）３１１２と、画像ダイレクトメモリ書き込みユニット（Ｉｍａｇｅ Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｗｒｉｔｅ Ｕｎｉｔ）３１１３と、画像ダイレクトメモリ読み取りユニット（Ｉｍａｇｅ Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｒｅａｄ Ｕｎｉｔ）３１１４と、画像伝送ユニット（Ｉｍａｇｅ Ｔｒａｎｓｍｉｔ Ｕｎｉｔ）３１１５とを含む。

【0064】

復号ユニット３１１１は、所定の画像伝送プロトコルに従って画像パケットを復号し、画像フレームを得るために用いられる。

【0065】

メモリ管理ユニット３１１２は、メモリ４の格納スペースを管理するために用いられる。また、メモリ管理ユニット３１１２は、画像フレームの完全性を検出し、パケットロス、フレームロス、不良フレーム（ｂａｄ ｆｒａｍｅ）等、さまざまな画像が不完全な場合の処理を行うこともできる。例えば、メモリ管理ユニット３１１２は、不完全な画像フレームを削除してもよい。

【0066】

画像ダイレクトメモリ書き込みユニット３１１３は、復号ユニット３１１１からの画像フレームを取得し、メモリ管理ユニット３１１２からメモリ４内の格納スペースをリクエストし、画像フレームをリクエストした格納スペースに書き込むために用いられる。画像ダイレクトメモリ書き込みユニット３１１３は、例えばダイレクトメモリアクセス（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ、ＤＭＡ）方式でメモリ４に画像フレームを書き込む。

【0067】

画像ダイレクトメモリ読み取りユニット３１１４は、メモリ管理ユニット３１１２からメモリ４内の画像フレームの格納アドレスを取得し、格納アドレスに基づいて画像フレームを読み取るために用いられる。

【0068】

画像伝送ユニット３１１５は、画像ダイレクトメモリ読み取りユニット３１１４から画像フレームを取得して信号処理サブシステム３１４に伝送するために用いられる。

【0069】

図７は、本発明のいくつかの実施例に係る信号処理サブシステム３１４の概略図を示す。

【0070】

図７に示すように、信号処理サブシステム３１４は、解凍ユニット３１４１と、バイパスユニット３１４２と、分析ユニット３１４３と、多重化ユニット３１４５とを含む。

【0071】

分析ユニット３１４３は、ストリーム処理サブシステム３１１から受信した画像フレームが圧縮された画像フレームであるか否かを分析するために用いられる。受信した画像フレームが圧縮された画像フレームである場合、分析ユニット３１４３は、該圧縮された画像フレームを解凍ユニット３１４１に伝送する。受信した画像フレームが圧縮されていない画像フレームである場合、分析ユニット３１４３は、該圧縮されていない画像フレームをバイパスユニット３１４２に伝送する。バイパスユニット３１４２は、受信した画像フレームを処理しない。

【0072】

多重化ユニット３１４５は、解凍ユニット３１４１によって出力された画像フレーム及び／又はバイパスユニット３１４２によって出力された画像フレームを取得し、取得した画像フレームをパケット生成ユニット３１５に伝送するために用いられる。

【0073】

まとめると、信号処理サブシステム３１４は、圧縮フォーマットの画像フレームに対して解凍処理を行うことができ、それにより、フレームグラバが計算デバイスの代わりに解凍処理を行うことができる。

【0074】

図８は、本発明のいくつかの実施例に係る信号処理サブシステム３１４の概略図を示す。

【0075】

図８に示すように、信号処理サブシステム３１４は、解凍ユニット３１４１と、バイパスユニット３１４２と、分析ユニット３１４３と、多重化ユニット３１４５と、信号処理ユニット３１４６とを含む。

【0076】

解凍ユニット３１４１は、圧縮された画像フレームを圧縮されていない画像フレームに復号するために用いられる。

【0077】

信号処理ユニット３１４６は、画像フレームに対して画像信号処理を行うために用いられる。ここで、画像信号処理は、例えば、デジタルゲイン、ベイヤー補間、色補正、ガンマ補正、色空間変換、及びシャープネス処理、のうちの少なくとも１つを含み得る。いくつかの実施例では、信号処理ユニット３１４６は、例えば、図９に示す構造である。図９に示すように、信号処理ユニット３１４６は、デジタルゲインユニット９０１と、ベイヤー補間ユニット９０２と、色補正ユニット９０３と、ガンマ補正ユニット９０４と、色空間変換ユニット９０５と、シャープネス処理ユニット９０６とを含み得る。これらの各ユニットは、画像フレームに対してデジタルゲイン、ベイヤー補間、色補正、ガンマ補正、色空間変換、又はシャープネス処理を行う。

【0078】

分析ユニット３１４３は、受信した画像フレームが圧縮された画像フレームであるか否かを分析し、画像フレームが圧縮された画像フレームである場合、該圧縮された画像フレームを解凍ユニット３１４１に伝送し、受信した画像フレームが圧縮されていない画像フレームである場合、設定情報に基づいて該圧縮されていない画像フレームをバイパスユニット３１４２と信号処理ユニット３１４６との一方に伝送するために用いられる。ここで、設定情報は、圧縮されていない画像フレームをバイパスユニット３１４２に伝送するか、信号処理ユニット３１４６に伝送するかを指定する情報である。例えば、計算デバイスは、通信バス２を介して、通信バスサブシステム３５経由で画像処理装置３のレジスタ設定ユニット３４に信号処理ユニット３１４６の設定情報を送信してもよい。レジスタ設定ユニット３４は、設定情報に従って信号処理サブシステム３１４のレジスタを設定してもよい。このように、分析ユニット３１４３は、設定情報に従って圧縮されていない画像フレームをバイパスユニット３１４２（又は信号処理ユニット３１４６）に送信する。

【0079】

多重化ユニット３１４５は、解凍ユニット３１４１によって出力された画像フレーム、バイパスユニット３１４２によって出力された画像フレーム、及び／又は信号処理ユニット３１４６によって出力された画像フレームを取得し、取得した画像フレームをパケット生成ユニット３１５に伝送するために用いられる。

【0080】

まとめると、信号処理サブシステム３１４は、画像フレームに対して例えば解凍又は画像信号処理操作を行うことができ、計算デバイスの計算消費量を節約することができる。

【0081】

いくつかの実施例では、各画像処理サブシステム３１は、画像フレームと制御命令パケットとを画像処理装置３のスケジューラ３２に送信してもよい。

【0082】

スケジューラ３２は、順次、各画像処理サブシステム３１の画像フレームと制御命令パケットとを通信バスサブシステム３５に伝送する。

【0083】

例えば、図１０に示すように、通信バスサブシステム３５は、通信バスサブシステム３５内の通信バスコントローラ３５１を介して通信バス２を制御し、各画像処理サブシステム３１の画像フレームと制御命令パケットとを計算デバイスのメモリに書き込む。

【0084】

通信バスサブシステム３５は、計算デバイスから制御命令パケットを取得した後、制御命令パケットをスケジューラ３２に送信する。

【0085】

スケジューラ３２は、計算デバイスからの制御命令パケットを画像処理サブシステム３１の制御命令処理ユニット３１３に送信する。

【0086】

制御命令処理ユニット３１３は、画像処理サブシステム３１のメディアアクセス制御ユニット３１２を介して計算デバイスからの制御命令パケットをカメラに送信する。

【0087】

いくつかの実施例では、通信バスサブシステム３５は、さらに、計算デバイスから画像処理サブシステム３１内のレジスタに対する書き込み指示を取得し、書き込み指示を画像処理サブシステム３１のレジスタ設定ユニット３４に送信するために用いられる。このように、レジスタ設定ユニット３４は、書き込み指示に基づいて画像処理サブシステム３１内のレジスタを設定することができる。また、通信バスサブシステム３５は、さらに、レジスタ設定ユニット３４から画像処理サブシステム３１のレジスタの状態パラメータを取得し、状態パラメータを計算デバイスに送信するために用いられる。このように、計算デバイスは、画像処理サブシステム３１のレジスタの状態パラメータを取得することができ、取得した状態パラメータを基に、該状態パラメータに対してパラメータ設定を再実施することができる。計算デバイスは、画像処理サブシステム３１にパラメータ設定に関する書き込み指示を送信することにより、レジスタを設定するように画像処理サブシステム３１に指示することができる。

【0088】

図１０は、本発明のいくつかの実施例に係るスケジューラ３２及び通信バスサブシステム３５の概略図を示す。

【0089】

図１０に示すように、スケジューラ３２は、スケジューリング書き込みユニット３２１とスケジューリング読み取りユニット３２２とを含み得る。

【0090】

通信バスサブシステム３５は、バスコントローラ３５１と、ＰＣＩｅダイレクトメモリ書き込みユニット（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｗｒｉｔｅ Ｕｎｉｔ）３５２と、ＰＣＩｅダイレクトメモリ読み取りユニット（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｒｅａｄ Ｕｎｉｔ）３５３と、レジスタ書き込みユニット３５４と、レジスタ読み取りユニット３５５とを含む。

【0091】

ここで、スケジューリング書き込みユニット３２１は、各画像処理サブシステム３１の画像フレームと制御命令パケットとを通信バスサブシステム３５のＰＣＩｅダイレクトメモリ書き込みユニット３５２に伝送するために用いられ、例えば、スケジューリング書き込みユニット３２１は、各画像処理サブシステム３１の画像フレームと制御命令パケットとを順次又は並列にＰＣＩｅダイレクトメモリ書き込みユニット３５２に伝送してもよい。

【0092】

バスコントローラ３５１は、ＰＣＩｅダイレクトメモリ書き込みユニット３５２に、各画像処理サブシステム３１の画像フレームと制御命令パケットとを計算デバイスのメモリに書き込むように指示するために用いられる。

【0093】

バスコントローラ３５１は、さらに、ＰＣＩｅダイレクトメモリ読み取りユニット３５３に、計算デバイスから制御命令パケットを取得した後、制御命令パケットをスケジューラ３２のスケジューリング読み取りユニット３２２に送信するように指示するために用いられてもよい。

【0094】

スケジューリング読み取りユニット３２２は、計算デバイスからの制御命令パケットを画像処理サブシステム３１の制御命令処理ユニット３１３に送信するために用いられる。

【0095】

バスコントローラ３５１は、さらに、画像処理サブシステム３１のレジスタ設定ユニット３４が書き込み指示に基づいて画像処理サブシステム３１内のレジスタを設定するように、レジスタ書き込みユニット３５４に、計算デバイスから画像処理サブシステム３１内のレジスタに対する書き込み指示を取得し、書き込み指示を画像処理サブシステム３１のレジスタ設定ユニット３４に送信するように指示するために用いられてもよい。

【0096】

バスコントローラ３５１は、さらに、レジスタ読み取りユニット３５５に、画像処理サブシステム３１のレジスタ設定ユニット３４から画像処理サブシステム３１のレジスタの状態パラメータを取得し、該状態パラメータを計算デバイスに送信するように指示するために用いられてもよい。

【0097】

まとめると、スケジューラ３２は、フレームグラバ内の異なる画像処理サブシステム３１に通信バスサブシステム３５を共有させることができる。通信バスサブシステム３５は、フレームグラバと計算デバイスとのデータ通信を実現することができる。

【0098】

図１１は、本発明のいくつかの実施例に係る画像収集方法１１００のフローチャートを示す。画像収集方法１１００は、例えば、フレームグラバにおいて実行されてもよく、ステップＳ１１０１～ステップＳ１１０４を含み得る。

【0099】

図１１に示すように、ステップＳ１１０１において、カメラからのネットワークパケットを取得する。前記ネットワークパケットは、カメラが所定の画像伝送プロトコルに従って、カメラによって撮影された画像フレームをカプセル化して得られた画像パケットを含む。

【0100】

ステップＳ１１０２において、所定の画像伝送プロトコルに従って前記画像パケットを復号し、画像フレームを得る。

【0101】

ステップＳ１１０３において、画像フレームを前記フレームグラバのメモリにキャッシュする。

【0102】

ステップＳ１１０４において、計算デバイスの画像処理効率に基づいて、前記フレームグラバのメモリに格納された画像フレームを計算デバイスに伝送する。

【0103】

本発明の実施例に係る画像収集方法は、フレームグラバにおいて実行することができる。このように、フレームグラバは、計算デバイスにおけるプロセッサの一部の処理動作を代行することができ、例えば、計算デバイスにおけるプロセッサの代わりに複数のカメラの画像パケットに対する復号及び画像フレームのキャッシュを行う。本発明の実施例の画像収集方法は、計算デバイスのプロセッサが画像パケットを復号することを回避することができ、計算デバイスにおけるコンピューティングリソースを節約する。また、本発明の実施例の画像収集方法は、複数のカメラの画像パケットを復号して画像フレームをキャッシュすることにより、計算デバイスの処理速度の変動によるデータのオーバーフロー損失を解決することに役立つ。また、本発明の実施例の画像収集方法は、計算デバイスの画像に対する処理効率に基づいて、フレームグラバのメモリに格納された画像フレームを計算デバイスに伝送することができ、それにより、計算デバイスに伝送されるデータ量が計算デバイスの処理能力とマッチングし、フレームグラバから送信された画像フレームが計算デバイスの処理能力を超えるような状況を低減又は回避し、計算デバイスのデータのオーバーフロー損失の発生を低減又は回避することができる。

【0104】

いくつかの実施例では、方法１１００において、画像フレームを計算デバイスに送信する前に、画像フレームに対してデータ処理を行ってもよく、データ処理は、解凍、デジタルゲイン、ベイヤー補間、色補正、ガンマ補正、色空間変換、及びシャープネス処理の、うちの少なくとも１つを含む。このように、方法１１００は、計算デバイスのコンピューティングリソースを節約し、計算デバイスが画像フレームを受信するレートを向上させるように、計算デバイスの代わりに前述のデータ処理を行うことができる。

【0105】

いくつかの実施例では、ステップＳ１１０４は、ステップＳ１２０１～ステップＳ１２０２を含む方法１２００として実施されてもよい。

【0106】

図１２に示すように、ステップＳ１２０１において、計算デバイスが第１の割り込み命令に応答して計算デバイス内の画像格納アドレスを返すように、フレームグラバが、計算デバイスに画像フレームの伝送を要求することを示す第１の割り込み命令を送信する。前記画像格納アドレスは、例えば、計算デバイスのメモリ内の画像フレームを格納するためのベースアドレスである。

【0107】

ステップＳ１２０２において、計算デバイスが第２の割り込み命令に応答して画像フレームを処理するように、フレームグラバが、画像格納アドレスに画像フレームを伝送し、画像フレームの伝送が完了した時に、計算デバイスに画像フレームの伝送が完了したことを示す第２の割り込み命令を送信する。

【0108】

まとめると、方法１２００は、フレームグラバが計算デバイスに割り込み命令を送信し、計算デバイスが割り込み命令に応答することを待つ方式により、フレームグラバのデータ伝送レートと計算デバイスの処理効率とのマッチングを実現してもよい。以上は、本発明のいくつかの実施例に過ぎず、本発明を限定するものではなく、本発明の趣旨及び原則内で行われたいかなる修正、同等置換、改良等は、いずれも本発明の保護範囲内に含まれるべきである。

【符号の説明】

【0109】

１ イーサネット物理層トランシーバ
２ 通信バス
３ 画像処理装置
４ メモリ
３１ 画像処理サブシステム
３２ スケジューラ
３３ プロセッサ
３４ レジスタ設定ユニット
３５ 通信バスサブシステム
３６ メモリコントローラ
３７ 内部相互接続バス
３１１ ストリーム処理サブシステム
３１２ メディアアクセス制御ユニット
３１３ 制御命令処理ユニット
３１４ 信号処理サブシステム
３１５ パケット生成ユニット
３１６ 調停ユニット
３１１１ 復号ユニット
３１１２ メモリ管理ユニット
３１１３ 画像ダイレクトメモリ書き込みユニット
３１１４ 画像ダイレクトメモリ読み取りユニット
３１１５ 画像伝送ユニット
３１４１ 解凍ユニット
３１４２ バイパスユニット
３１４３ 分析ユニット
３１４５ 多重化ユニット
３１４６ 信号処理ユニット
３２１ スケジューリング書き込みユニット
３２２ スケジューリング読み取りユニット
３５１ バスコントローラ
３５２ ＰＣＩｅダイレクトメモリ書き込みユニット
３５３ ＰＣＩｅダイレクトメモリ読み取りユニット
３５４ レジスタ書き込みユニット
３５５ レジスタ読み取りユニット
９０１ デジタルゲインユニット
９０２ ベイヤー補間ユニット
９０３ 色補正ユニット
９０４ ガンマ補正ユニット
９０５ 色空間変換ユニット
９０６ シャープネス処理ユニット

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】