特許 6869433 ＬＣＭの自動光学検査に適した高速画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6869433

(24)【登録日】2021年4月15日

(45)【発行日】2021年5月12日

(54)【発明の名称】ＬＣＭの自動光学検査に適した高速画像処理システム

(51)【国際特許分類】

   G01M 11/00 20060101AFI20210426BHJP

   G01N 21/88 20060101ALI20210426BHJP

   G06T 7/00 20170101ALI20210426BHJP

【ＦＩ】

   G01M11/00 T

   G01N21/88 Z

   G06T7/00 610

【請求項の数】10

【全頁数】16

(21)【出願番号】特願2020-524063(P2020-524063)

(86)(22)【出願日】2018年8月24日

(65)【公表番号】特表2021-501323(P2021-501323A)

(43)【公表日】2021年1月14日

(86)【国際出願番号】CN2018102155

(87)【国際公開番号】WO2019085606

(87)【国際公開日】20190509

【審査請求日】2020年7月21日

(31)【優先権主張番号】201711049464.1

(32)【優先日】2017年10月31日

(33)【優先権主張国】CN

【早期審査対象出願】

(73)【特許権者】

【識別番号】517408818

【氏名又は名称】武漢精測電子集団股▲ふん▼有限公司

【氏名又は名称原語表記】ＷＵＨＡＮ ＪＩＮＧＣＥ ＥＬＥＣＴＲＯＮＩＣ ＧＲＯＵＰ ＣＯ．， ＬＴＤ．

(74)【代理人】

【識別番号】100103207

【弁理士】

【氏名又は名称】尾崎 隆弘

(72)【発明者】

【氏名】欧昌東

(72)【発明者】

【氏名】汪舟

(72)【発明者】

【氏名】▲どん▼標華

(72)【発明者】

【氏名】唐文天

(72)【発明者】

【氏名】梅林海

(72)【発明者】

【氏名】董文忠

(72)【発明者】

【氏名】李波

(72)【発明者】

【氏名】徐墨瀟

【審査官】 小野寺 麻美子

(56)【参考文献】

【文献】 特開２００９−０４７４６５（ＪＰ，Ａ）

【文献】 特表２００２−５４４６０２（ＪＰ，Ａ）

【文献】 中国特許出願公開第１０５６０７３１２（ＣＮ，Ａ）

【文献】 米国特許出願公開第２０１７／０２７８２３２（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｍ １１／００ − Ｇ０１Ｍ １１／０８

Ｇ０１Ｎ ２１／８４ − Ｇ０１Ｎ ２１／９５８

Ｇ０６Ｔ １／００ − Ｇ０６Ｔ １／４０

Ｇ０６Ｔ ３／００ − Ｇ０６Ｔ ５／５０

Ｇ０６Ｔ ９／００ − Ｇ０６Ｔ ９／４０

(57)【特許請求の範囲】

【請求項1】

LCMの自動光学検査に適した高速画像処理システムであって、FPGA処理プラットフォームと演算PCを含み、前記FPGA処理プラットフォームは、第１光ファイバインタフェースと、第２光ファイバインタフェースと、第３光ファイバインタフェースと、第４光ファイバインタフェースと、第５光ファイバインタフェースとを含み、前記FPGA処理プラットフォームは前記第１光ファイバインタフェースを介して制御PCから構成パラメータとテストコマンドを受信し、前記制御PCに対して最終テスト結果を出力し、前記FPGA処理プラットフォームは、前記第２光ファイバインタフェースを介して前記演算PCとデータインタラクションを行い、前記FPGA処理プラットフォームは前記第３光ファイバインタフェースを介して収集ユニットから画像データを受信し、前記収集ユニットに対して前記構成パラメータとテストコマンドを出力し、前記FPGA処理プラットフォームは、前記第４光ファイバインタフェースを介して画面照明信号の生成を制御し、前記FPGA処理プラットフォームは、前記第５光ファイバインタフェースを介してIO光源を制御し、
前記FPGA処理プラットフォームは制御ユニットを含み、前記制御ユニットは受信した画像データをブロックに分割して、高速前処理後に前記演算PCに送信し、前記演算PCは、CPUおよびGPUを含み、受信した前記画像データを演算および処理し、データ処理結果を制御ユニットへ送信する
ことを特徴とする、LCMの自動光学検査に適した高速画像処理システム。

【請求項2】

前記FPGA処理プラットフォームは、DDRメモリをさらに含み、
前記制御ユニットは、前記構成パラメータとテストコマンドを受信し、前記受信した構成パラメータおよびテストコマンドに従い前記画面照明信号の生成を制御し、前記IO光源を制御し、前記収集ユニットの画像データを受信し、受信した前記画像データを前処理して前記演算PCに送信し、前記演算PCのデータ処理結果を受信して収集し、最終テスト結果を前記制御PCに送信するように構成され、
前記DDRメモリは、前記画像データと前記最終テスト結果を記憶するように構成される
請求項１に記載のLCMの自動光学検査に適した高速画像処理システム。

【請求項3】

前記制御ユニットは、
前記収集ユニットの画像データを受信して書き込みDDRデータ形式変換モジュールに送信するように構成される画像データ受信モジュールと、
受信した前記画像データをフォーマットし、フォーマットされた画像データを前記DDRメモリに記憶するように構成される前記書き込みDDRデータ形式変換モジュールと、
設定された指示に従い、制御コマンドを画像処理アクセラレータおよび前記演算PCに送信するように構成されるフロー制御モジュールと、
前記フロー制御モジュールのコマンドに従い、前記画像データを前処理し、前記処理された画像データをDDRメモリに記憶するように構成される前記画像処理アクセラレータと、
前記フロー制御モジュールのコマンドに従い、前記画像データをデータ分散送信モジュールに分散させるように構成されるデータ分散制御モジュールと、
前記画像データを受信して前記演算PCに送信し、前記演算PCのデータ処理結果を受信して分析処理結果モジュールに送信するように構成される前記データ分散送信モジュールと、
前記データ処理結果を収集分析して前記最終テスト結果を生成するように構成される前記分析処理結果モジュールとを含む
請求項２に記載のLCMの自動光学検査に適した高速画像処理システム。

【請求項4】

前記制御ユニットは、インタラクティブ制御モジュールと、IO制御モジュールと、画面照明信号生成モジュールとをさらに含み、
前記インタラクティブ制御モジュールは、前記テストコマンドを受信して最終テスト結果を報告するように構成され、
前記フロー制御モジュールは、受信した前記テストコマンドを前記IO制御モジュールおよび画面照明信号生成モジュールに割り当てるように構成され、
前記IO制御モジュールは、前記テストコマンドに従い前記IO光源を制御するように構成され、
前記画面照明信号生成モジュールは、前記テストコマンドに従い画面照明信号の生成を制御するように構成される
請求項３に記載のLCMの自動光学検査に適した高速画像処理システム。

【請求項5】

前記画像データ受信モジュールは、
画像データ受信モジュールの物理的リンク状態を第１データパケットに一定時間毎に送信するように構成される第１リンク状態報告モジュールと、
前記物理的リンク状態、構成パラメータ、およびテストコマンドをパケット化して第１高速コントローラIPに送信するように構成される第１データパケットと、
前記収集ユニットの画像データを受信し、前記構成パラメータおよびテストコマンドを収集ユニットに送信するように構成される前記第１高速コントローラIPと、
第１データアンパケットから前記物理的リンク状態を一定時間毎に受信するように構成される第１リンク状態検査モジュールと、
前記第１高速コントローラIPによって送信された画像データを解析して書き込みDDRデータ形式変換モジュールに出力するように構成される前記第１データアンパケットと
を含む、請求項３に記載のLCMの自動光学検査に適した高速画像処理システム。

【請求項6】

前記書き込みDDRデータ形式変換モジュールは、
前記画像データを受信してローカルFIFOに送信するように構成される受信画像データモジュールと、
前記画像データを記憶するように構成されるローカルFIFOと、
制御ロジックに従い前記ローカルFIFOの画像データを読み出してフォーマットし、フォーマットされた画像データを前記DDRメモリに送信するように構成される読み出しFIFOデータインタフェース変換モジュールと、
前記制御ロジックを出力するように構成される書き込みDDRアドレス制御ロジックモジュールと
を含む、請求項３に記載のLCMの自動光学検査に適した高速画像処理システム。

【請求項7】

前記画像処理アクセラレータは、
前記制御コマンドに従い画像をブロックに分割するように構成される画像ブロック処理モジュールと、
前記分割されたブロックの数に応じて、前記DDRメモリに記憶された画像データを読み出し、画像処理モジュールに送信するように構成される読み出しDDR制御モジュールと、
前記受信した画像データを前処理するように構成される画像処理モジュールと、
前記前処理された画像データを前記DDRメモリに記憶するように構成される書き込みDDR制御モジュールと
を含む、請求項３に記載のLCMの自動光学検査に適した高速画像処理システム。

【請求項8】

前記データ分散送信モジュールは、
前記データ分散送信モジュールの物理的リンク状態を第２データパケットに一定時間毎に送信するように構成される第２リンク状態報告モジュールと、
前記受信した画像データをパケット化して第２高速コントローラIPに送信するように構成される第２データパケットと、
前記受信した画像データを前記演算PCに送信し、データ処理結果を前記演算PCから受信するように構成される前記第２高速コントローラIPと、
第２データアンパケットから前記物理的リンク状態を一定時間毎に受信するように構成される第２リンク状態検査モジュールと
前記第２高速コントローラIPによって送信されたデータ処理結果と前記物理的リンク状態を解析するように構成される前記第２データアンパケットと
を含む、請求項３に記載のLCMの自動光学検査に適した高速画像処理システム。

【請求項9】

前記インタラクティブ制御モジュールは、
前記インタラクティブ制御モジュールの物理的リンク状態をデータパケットに一定時間毎に送信するように構成される第３リンク状態報告モジュールと、
受信した最終テスト結果をパケット化して第３高速コントローラIPに送信するように構成される第３データパケットと、
前記最終テスト結果を受信して報告し、前記構成パラメータを受信するように構成される前記第３高速コントローラIPと、
第３データアンパケットによって報告された前記物理的リンク状態を一定時間毎に受信するように構成される第３リンク状態検査モジュールと、
前記第３高速コントローラIPによって送信された前記構成パラメータとリンク状態を解析するように構成される前記第３データアンパケットと
を含む、請求項４に記載のLCMの自動光学検査に適した高速画像処理システム。

【請求項10】

前記制御ユニットは、フロー制御モジュールの制御下で、前記FPGA処理プラットフォームのカスケード拡張を実現するように構成されるカスケード制御モジュールをさらに含む、請求項２に記載のLCMの自動光学検査に適した高速画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動光学検査の技術分野に属し、より詳細には、LCMの自動光学検査に適した高速画像処理システムに属する。

【背景技術】

【0002】

現在のところ、TFT-LCDの製造検査は、主に手動で行われている。不良品が市場に出ないようにし、且つ材料の無駄とコストの増加につながる厳しすぎる検査を回避するには、きわめて多くの労力を必要とする。LCDパネルの解像度とサイズの増加により、肉眼で小さな欠陥を特定することが困難になっている。これらの小さな欠陥は、高品質の製品には流れ込むべきではない。さらに、大量生産の需要下で、生産ラインの労働者は複数の写真やモジュールの外観をすばやく繰り返し検出する必要があるため、視覚的な疲労が発生しやすく、検査の見落としや過剰検査につながってしまう。一方、人件費を節約するために、パネル製造業者はインテリジェントな製造のために、手作業の代わりに自動光学検査（AOI）機器を採用し始めた。

【0003】

しかしながら、大型かつ高解像度のパネルの進歩に伴い、AOI機器の要件および複雑さは指数関数的に増加しており、これは以下に詳述される。

【0004】

１）収集のために使用される産業用カメラの数は劇的に増加している。例えば、正面写真を撮影する場合で高さが十分にある一例として、1920×1080の場合は１個のCCD、4K×2Kの場合は少なくとも3個のCCD、8K×4Kの場合は少なくとも12個のCCDが必要となる。さらに、側面視で目に見える欠陥をキャプチャするには、複数のカメラが必要となる。作業スペースの高さが十分でない場合は、追加のCCDが必要となる。

【0005】

２）撮影カメラの台数の増加に伴い、画像演算データの量が飛躍的に増加する。CCDで撮影した写真のデータサイズは通常30MB程度であり、パネル検査には15〜20枚の写真が必要である。したがって、各検査で処理される画像データの量は数Ｔにも及ぶ。

【0006】

３）画像はリアルタイムで処理される必要があり、処理時間は生産ラインの能力を決定する。

【0007】

４）従来の１台または複数台のPCでは、このような大量のデータを演算処理することができない。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明の目的は、上述の従来技術の課題を解決し、単純な構造、良好な演算および処理性能を有し、画面照明信号の生成、光源制御、演算処理を包括的に行うLCM自動光学検査に適した高速画像処理システムを提供することである。

【課題を解決するための手段】

【0009】

本発明の技術的解決策は、FPGA処理プラットフォームおよび演算PCを含む、LCMの自動光学検査に適した高速画像処理システムを提供する。FPGA処理プラットフォームは、第１光ファイバインタフェース、第２光ファイバインタフェース、第３光ファイバインタフェース、第４光ファイバインタフェースおよび第５光ファイバインタフェースを含む。FPGA処理プラットフォームは、第１光ファイバインタフェースを介して制御PCから構成パラメータおよびテストコマンドを受信し、制御PCに対して最終テスト結果を出力する。FPGA処理プラットフォームは、第２光ファイバインタフェースを介して演算PCとデータインタラクションを行う。FPGA処理プラットフォームは第３光ファイバインタフェースを介して、収集ユニットから画像データを受信し、収集ユニットに対して構成パラメータおよびテストコマンドを出力する。FPGA処理プラットフォームは、第４光ファイバインタフェースを介して、画面照明信号の生成を制御する。FPGA処理プラットフォームは、第５光ファイバインタフェースを介して、IO光源を制御する。FPGA処理プラットフォームは制御ユニットを含み、制御ユニットは受信した画像データをブロックに分割して、高速前処理後に演算PCに送信し、演算PCは、CPUおよびGPUを含み、受信した画像データを演算および処理し、データ処理結果を制御ユニットへ送信する。

【0010】

また、FPGA処理プラットフォームは、DDRメモリをさらに含む。

【0012】

制御ユニットは、構成パラメータおよびテストコマンドを受信し、受信した構成パラメータおよびテストコマンドに従い、画面照明信号の生成を制御し、IO光源を制御し、収集ユニットの画像データを受信し、受信した画像データを前処理して演算PCに送信し、演算PCのデータ処理結果を受信して収集し、最終テスト結果を制御PCに報告するように構成される。

【0013】

DDRメモリは、画像データおよび最終テスト結果を記憶するように構成される。

【0014】

さらに、制御ユニットは以下を含む。

【0015】

収集ユニットの画像データを受信して、書き込みDDRデータ形式変換モジュールに送信するように構成される画像データ受信モジュール。

【0016】

受信した画像データをフォーマットし、フォーマットされた画像データをDDRメモリに記憶するように構成される書き込みDDRデータ形式変換モジュール。

【0017】

設定された指示に従い、画像処理アクセラレータおよび演算PCに制御コマンドを送信するように構成されるフロー制御モジュール。

【0018】

フロー制御モジュールの制御コマンドに従い、画像データを前処理し、処理された画像データをDDRメモリに記憶するように構成される画像処理アクセラレータ。

【0019】

フロー制御モジュールの制御コマンドに従い、画像データをデータ分散送信モジュールに分散させるように構成されるデータ分散制御モジュール。

【0020】

画像データを受信して演算PCに送信し、演算PCのデータ処理結果を受信して分析処理結果モジュールに送信するように構成されるデータ分散送信モジュール。

【0021】

受信したデータ処理結果を分析して最終テスト結果を生成するように構成される分析処理結果モジュール。

【0022】

また制御ユニットは、インタラクティブ制御モジュール、IO制御モジュール、および画面照明信号生成モジュールをさらに備える。

【0023】

インタラクティブ制御モジュールは、テストコマンドを受信し、最終テスト結果を報告するように構成される。

【0024】

フロー制御モジュールはさらに、受信したテストコマンドをIO制御モジュールおよび画面照明信号生成モジュールに割り当てるように構成される。

【0025】

IO制御モジュールは、テストコマンドに従い、IO光源を制御するように構成される。

【0026】

画面照明信号生成モジュールは、テストコマンドに従い、画面照明信号の生成を制御するように構成される。

【0027】

さらに、画像データ受信モジュールは、以下を含む。

【0028】

画像データ受信モジュールの物理的リンク状態を第１データパケットに一定時間毎に送信するように構成される第１リンク状態報告モジュール。

【0029】

物理的リンク状態、構成パラメータ、およびテストコマンドをパケット化して第１高速コントローラIPに送信するように構成される第１データパケット。

【0030】

収集ユニットの画像データを受信し、構成パラメータおよびテストコマンドを収集ユニットに送信するように構成される第１高速コントローラIP。

【0031】

第１データアンパケットから物理的リンク状態を一定時間毎に受信するように構成される第１リンク状態検査モジュール。

【0032】

第１高速コントローラIPによって送信された画像データを解析し、書き込みDDRデータ形式変換モジュールに出力するように構成される第１データアンパケット。

【0033】

さらに、書き込みDDRデータ形式変換モジュールは、以下を含む。

【0034】

画像データを受信してローカルFIFOに送信するように構成される受信画像データモジュール。

【0035】

画像データを記憶するように構成されるローカルFIFO。

【0036】

制御ロジックに従いローカルFIFO内の画像データを読み出してフォーマットし、フォーマットされた画像データをDDRメモリに送信するように構成される読み出しFIFOデータインタフェース変換モジュール。

【0037】

制御ロジックを出力するように構成される書き込みDDRアドレス制御ロジックモジュール。

【0038】

さらに、画像処理アクセラレータは、以下を含む。

【0039】

制御コマンドに従い、画像をブロックに分割するように構成される画像ブロック処理モジュール。

【0040】

分割されたブロックの数に応じて、DDRメモリに記憶された画像データを読み出して画像処理モジュールに送信するように構成される読み出しDDR制御モジュール。

【0041】

受信した画像データを前処理するように構成される画像処理モジュール。

【0042】

前処理された画像データをDDRメモリに記憶するように構成される書き込みDDR制御モジュール。

【0043】

さらに、データ分散送信モジュールは以下を含む。

【0044】

データ分散送信モジュールの物理的リンク状態を第２データパケットに一定時間毎に送信するように構成される第２リンク状態報告モジュール。

【0045】

受信した画像データをパケット化して第２高速コントローラIPに送信するように構成される第２データパケット。

【0046】

受信した画像データを演算PCに送信し、演算PCからのデータ処理結果を受信するように構成される第２高速コントローラIP。

【0047】

第２データアンパケットから物理的リンク状態を一定時間毎に受信するように構成される第２リンク状態検査モジュール。

【0048】

第２高速コントローラIPによって送信されたデータ処理結果および物理的リンク状態を解析するように構成される第２データアンパケット。

【0049】

さらに、インタラクティブ制御モジュールは、以下を含む。

【0050】

インタラクティブ制御モジュールの物理的リンク状態をデータパケットに一定時間毎に送信するように構成される第３リンク状態報告モジュール。

【0051】

受信した最終テスト結果をパケット化して第３高速コントローラIPに送信するように構成される第３データパケット。

【0052】

最終テスト結果を受信して報告し、構成パラメータを受信するように構成される第３高速コントローラIP。

【0053】

第３データアンパケットによって報告された物理的リンク状態を一定時間毎に受信するように構成される第３リンク状態検査モジュール。

【0054】

第３高速コントローラIPによって送信された構成パラメータおよび物理的リンク状態を解析するように構成される第３データアンパケット。

【0055】

また、制御ユニットは、フロー制御モジュールの制御下で、FPGA処理プラットフォームのカスケード拡張を実現するように構成されるカスケード制御モジュールをさらに含む。

【0056】

本発明の利点は、以下のように要約される。FPGA処理プラットフォームは、データ通信および光ファイバを介したさまざまなデバイスとのインタラクションに適合した複数の光ファイバインタフェースを含み、高速データ伝送速度により、画面照明信号の生成、信号拡張、光源およびデータの処理を、短いタクトタイムで統合制御する。FPGA処理プラットフォームはカスケード制御をサポートしており、カスケード後により多くの演算PCをサポートできる。PCは、CPUおよびGPUを採用し、FPGAとともに、CPU+GPU+FPGAアーキテクチャを形成し、CPU+GPUユニットを完全に拡張し、GPUの処理能力を強化する。FPGAは中央コントローラとして動作し、処理されるデータは異なるGPU処理ユニットに割り当てられ、分散処理アーキテクチャを形成する。一方、FPGA自体は画像アクセラレーションプロセッサとして動作し、FPGAの並列処理能力を十分に利用して、画像ブロックの処理とFPGAおよびGPUの操作を調整する。これにより、画像処理および演算能力が効果的に向上する。システム全体には、シンプルな構造、低コスト、優れた安定性、優れた調整能力、強力な演算および処理能力という利点がある。

【図面の簡単な説明】

【0057】

【図1】本発明の概略図である。

【図2】本発明のFPGA処理プラットフォームの概略図である。

【図3】本発明のデータ処理のフローチャートである。

【図4】本発明の画像データ受信モジュールの概略図である。

【図5】本発明の書き込みDDRデータ形式変換モジュールの概略図である。

【図6】本発明の画像処理アクセラレータの概略図である。

【図7】本発明のデータ分散送信モジュールの概略図である。

【図8】本発明のインタラクティブ制御モジュールの概略図である。

【発明を実施するための形態】

【0058】

本発明の実施形態を、図面と合わせて以下に詳細に説明する。以下の実施形態は、本発明を説明することを意図しており、本発明を限定することを意図していないことに留意されたい。

【0059】

図１に示すように、本発明の高速画像処理装置は、FPGA処理プラットフォーム1および複数の演算PC2を含む。FPGA処理プラットフォーム1は、第１光ファイバインタフェース、第２光ファイバインタフェース、第３光ファイバインタフェース、第４光ファイバインタフェースおよび第５光ファイバインタフェースを含む。FPGA処理プラットフォーム1は、第１光ファイバインタフェースを介して構成パラメータおよびテストコマンドを受信し、テスト結果を出力する。FPGA処理プラットフォームは、第２光ファイバインタフェースを介して、演算PC2とデータインタラクションを行う。FPGA処理プラットフォーム1は、第３光ファイバインタフェースを介して画像データを受信し、構成パラメータおよびテストコマンドを出力する。FPGA処理プラットフォームは、第４光ファイバインタフェースを介して、画面照明信号の生成を制御する。FPGA処理プラットフォームは、第５光ファイバインタフェースを介して、IO光源を制御する。

【0060】

FPGA処理プラットフォーム1は、制御ユニット3およびDDRメモリ8をさらに含む。

【0061】

演算PC2は、CPUおよびGPUを含み、受信した画像データを演算して処理し、データ処理結果を制御ユニットに送信するように構成される。

【0062】

制御ユニット3は、構成パラメータおよびテストコマンドを受信し、受信した構成パラメータおよびテストコマンドに従い画面照明信号の生成を制御するとともにIO光源を制御し、収集ユニットの画像データを受信し、受信した画像データを前処理して演算PCに送信し、演算PCのデータ処理結果を受信して収集し、最終テスト結果を報告するように構成される。

【0063】

DDRメモリ8は、画像データおよび最終テスト結果を記憶するように構成される。

【0064】

本実施形態において、FPGA処理プラットフォームは、12個のQSFP+拡張インタフェースを含む。1個のFPGA処理プラットフォームは6台の演算PCに接続されている。FPGA処理プラットフォームは、40G光ファイバを介して演算PCと通信し、インタラクションを実行する。FPGA処理プラットフォームは、2個以上の画像収集ユニットに接続される。各画像収集ユニットは、8台のCamera Link（カメラリンク）カメラおよび8台のGigeインタフェースカメラのサポートが可能である。FPGA処理プラットフォームは、40Ｇ光ファイバを介して、画像収集ユニット21と通信し、インタラクションを実行する。FPGA処理プラットフォームは、40Gの光ファイバを介して、制御PC18と通信しインタラクションを実行する。1個のIO制御19がFPGA処理プラットフォームに接続され、IO制御は、光源制御のために使用される。1個の信号拡張ユニット20がFPGA処理プラットフォームに接続され、画面照明信号の生成を制御する。FPGA処理プラットフォームはカスケード制御をサポートしており、カスケード後の複数の演算PCの接続をサポートする。制御ユニットは、主制御ユニットとしてザイリンクス（Xilinx）SOC FPGAを採用しているため、データインタラクション制御、画像高速処理と制御、カスケード処理制御、画像収集ユニットのデータインタラクション制御、およびIO光源のインタラクション制御を実現する。FPGA処理プラットフォームは、データ記憶用に256ビット×1600 DDRメモリをサポートしているため、データ処理帯域幅が増加する。

【0065】

本発明では、CPU+GPU+FPGAアーキテクチャが採用され、それにより、CPU+GPUユニットを十分に拡張し、GPUの処理能力を強化する。中央コントローラとしてFPGAを使用すると、処理されるデータが異なるGPU処理ユニットに分散され、分散処理アーキテクチャが実現する。一方、FPGA自体は画像高速プロセッサとして動作し、画像ブロック処理とFPGAおよびGPUの動作を調整するため、FPGAの並列処理能力を満たす。スイッチングセンターとしてFPGAを採用すると、データ交換のボトルネックを解決できる。FPGA処理プラットフォームは12個のQSFP+光ファイバインタフェースをサポートし、各チャネルは40Gbpsの帯域幅伝送をサポートする。FPGAには並列分散機能があるため、データが分散されるときのパス間の遅延は無視できる。これにより、データ交換の帯域幅の問題が解決される。

【0066】

図２に示すように、制御ユニット3はさらに以下を含む。

【0067】

収集ユニットの画像データを受信して書き込みDDRデータ形式変換モジュールに送信するように構成される画像データ受信モジュール4。

【0068】

受信した画像データをフォーマットし、フォーマットされた画像データをDDRメモリに記憶するように構成される書き込みDDRデータ形式変換モジュール5。

【0069】

画像データをDDRメモリに読み出し書き込むように構成されるAXIバス6。

【0070】

画像データの読み出しおよび書き込みを制御するように構成されるDDRコントローラ7。

【0071】

設定された指示に従い画像処理アクセラレータおよび演算PCに制御コマンドを送信するように構成され、受信したテストコマンドをIO制御モジュールおよび画面照明信号生成モジュールに割り当てるように構成されるフロー制御モジュール9。

【0072】

フロー制御モジュールのコマンドに従い、画像データを前処理し、処理された画像データをDDRメモリに記憶するように構成される画像処理アクセラレータ10。

【0073】

フロー制御モジュールのコマンドに従い、画像データをデータ分散送信モジュールに分散させるように構成されるデータ分散制御モジュール11。

【0074】

画像データを受信して演算PCに送信し、演算PCのデータ処理結果を受信して分析処理結果モジュールに送信するように構成されるデータ分散送信モジュール12。

【0075】

受信したデータ処理結果を分析して最終テスト結果を生成するように構成される分析処理結果モジュール13。

【0076】

テストコマンドを受信し、テスト結果を報告するように構成されるインタラクティブ制御モジュール14。

【0077】

テストコマンドに従いIO光源を制御するように構成されるIO制御モジュール15。

【0078】

テストコマンドに従い画面照明信号の生成を制御するように構成される画面照明信号生成モジュール16。

【0079】

図３に示すように、本発明のデータ処理のフローチャートは以下を含む。

【0080】

１）初期化。

【0081】

２）画像データの受信準備。

【0082】

３）受信した画像データをローカルDDRに記憶する。

【0083】

４）画像処理準備。構成パラメータに従い、画像は複数の演算サーバPCおよびFPGA画像アクセラレータに分散されて画像処理される。

【0084】

５）各演算サーバPCの処理結果の受信準備。

【0085】

６）演算サーバPCの処理結果を収集して分析し、最終テスト結果を報告する

【0086】

７）フロー終了。

【0087】

最終テスト結果は、光ファイバを介して制御PCに送信され、制御PCは、イーサネットネットワークを介して、結果をユーザーのMCMQシステムに送信する。

【0088】

上記において、図４に示すように、画像データ受信モジュール4は以下を含む。

【0089】

画像データ受信モジュールの物理的リンク状態を第１データパケットに一定時間毎に送信するように構成される第１リンク状態報告モジュール4.1。一実施形態では、一定時間は65.536μsである。

【0090】

物理的リンク状態、構成パラメータおよびテストコマンドをパケット化して第１高速コントローラIPに送信するように構成される第１データパケット4.2。

【0091】

収集ユニットの画像データを受信し、構成パラメータおよびテストコマンドを収集ユニットに送信するように構成される第１高速コントローラIP4.3。一実施形態では、ザイリンクスのGTHトランシーバ(Tranceiver)IPと高速トランシーバ(Tranceiver)の間のデータ通信は、オーロラ（Aurora）64B／66Bプロトコルを採用する。

【0092】

第１データアンパケットから物理的リンク状態を一定時間毎に受信するように構成される第１リンク状態検査モジュール4.4。一実施形態では、一定時間は65.536μsである。エンドツーエンドの報告が３回連続して検出されない場合、リンクは失われたと見なされる。

【0093】

第１高速コントローラIPによって送信された画像データを解析し、書き込みDDRデータ形式変換モジュールに出力するように構成される第１データアンパケット4.5。

【0094】

上記において、図５に示すように、書き込みDDRデータ形式変換モジュール5は、以下を含む。

【0095】

画像データを受信してローカルFIFOに送信するように構成される受信画像データモジュール5.1。

【0096】

画像データを記憶するように構成されるローカルFIFO5.2。

【0097】

制御ロジックに従いローカルFIFO内の画像データを読み出してフォーマットし、フォーマットされた画像データをDDRメモリに送信するように構成される読み出しFIFOデータインタフェース変換モジュール5.3。

【0098】

制御ロジックを出力するように構成される書き込みDDRアドレス制御ロジックモジュール5.4。

【0099】

上記において、図６に示すように、画像処理アクセラレータ10は、FPGAの並列処理能力に基づき、複数の画像処理IPを同時にインスタンス化し、画像をブロックに分割する。一例として、１次元高速フーリエ変換（FFT）を高速化するFPGAが挙げられる。

【0100】

１）画像ブロック処理モジュール10.1は、制御コマンドに従って画像を水平方向に4個のブロックに分割する。

【0101】

２）読み出しDDR制御モジュール10.2は、分割されたブロックの数に従いDDRメモリに記憶された4個の画像ブロックを読み出し、FFT画像処理モジュールに送信する。

【0102】

３）FFT画像処理モジュール10.3は、受信した４個の画像ブロックを前処理する。

【0103】

４）書き込みDDR制御モジュール10.4は、前処理された画像データをDDRメモリに記憶する。

【0104】

一実施形態において、4個のFFTアクセラレータが4k×4k画像を処理するのに約10msを要する。同じ画像の場合、CPU処理には約400ms、GPUには約10msを要する。FPGAアクセラレータとGPUの消費時間は同じである。FPGAリソースが十分な場合、並列FPGAが増加すると、処理時間はさらに高速化する。

【0105】

上記において、図７に示すように、データ分散送信モジュール12は以下を含む。

【0106】

データ分散送信モジュールの物理的リンク状態を第２データパケットに一定時間毎に送信するように構成される第２リンク状態報告モジュール12.1。一実施形態において、一定時間は65.536μsである。

【0107】

受信した画像データをパケット化して第２高速コントローラIPに送信するように構成される第２データパケット12.2。

【0108】

受信した画像データを演算PCに送信し、データ処理結果を演算PCから受信するように構成される第２高速コントローラIP12.3。一実施形態において、ザイリンクスのGTHトランシーバIPと高速トランシーバの間のデータ通信は、オーロラ64B／66Bプロトコルを採用する。

【0109】

第２データアンパケットから物理的リンク状態を一定時間毎に受信するように構成される第２リンク状態検査モジュール12.4。一実施形態において、一定時間は65.536μsである。エンドツーエンドの報告が３回連続して検出されない場合、リンクは失われたと見なされる。

【0110】

第２高速コントローラIPによって送信されたデータ処理結果および物理的リンク状態を解析するように構成される第２データアンパケット12.5。

【0111】

上記において、図８に示すように、インタラクティブ制御モジュール14は以下を含む

【0112】

インタラクティブ制御モジュールの物理的リンク状態をデータパケットに一定時間毎に送信するように構成される第３リンク状態報告モジュール14.1。一実施形態において、一定時間は65.536μsである。

【0113】

受信したテスト結果をパケット化して第３高速コントローラIPに送信するように構成される第３データパケット14.2。

【0114】

テスト結果を受信して制御PCに報告し、制御PCによって送信された構成パラメータを受信するように構成される第３高速コントローラIP14.3。一実施形態において、ザイリンクスのGTHトランシーバIPと高速トランシーバの間のデータ通信は、オーロラ64B／66Bプロトコルを採用する。

【0115】

第３データアンパケットによって報告された物理的リンク状態を一定時間毎に受信するように構成される第３リンク状態検査モジュール14.4。一実施形態において、一定時間は65.536μsである。エンドツーエンドの報告が３回連続して検出されない場合、リンクは失われたと見なされる。

【0116】

第３高速コントローラIPによって送信された構成パラメータおよび物理的リンク状態を解析するように構成される第３データアンパケット14.5。

【0117】

上記の実施形態では、制御ユニット3は、フロー制御モジュールの制御下で、FPGA処理プラットフォームのカスケード拡張を実現するように構成されるカスケード制御モジュール17をさらに含む。カスケード制御モジュールは、データ分散送信モジュールと同じ構造を有する。処理が必要な画像データは、次のレベルのカスケードプラットフォームに送信され、演算サーバPCに分散されて、カスケードプラットフォームを介して処理と演算が行われ、処理された結果がカスケードプラットフォームに送信される。

【0118】

本明細書で詳述されていない内容は、当業者に既知の先行技術に属する。

【符号の説明】

【0119】

1 FPGA処理プラットフォーム
2 演算PC
3 制御ユニット
4 画像データ受信モジュール
4.1 第１リンク状態報告モジュール
4.2 第１データパケット
4.3 第１高速コントローラIP
4.4 第１リンク状態検査モジュール
4.5 第１データアンパケット
5 書き込みDDRデータ形式変換モジュール
5.1 受信画像データモジュール
5.2 ローカルFIFO
5.3 読み出しFIFOデータインタフェース変換モジュール
5.4 書き込みDDRアドレス制御ロジックモジュール
6 AXIバス
7 DDRコントローラ
8 DDRメモリ
9 フロー制御モジュール
10 画像処理アクセラレータ
10.1 画像ブロック処理モジュール
10.2 読み出しDDR制御モジュール
10.3 FFT画像処理モジュール
10.4 書き込みDDR制御モジュール
11 データ分散制御モジュール
12 データ分散送信モジュール
12.1 第２リンク状態報告モジュール
12.2 第２データパケット
12.3 第２高速コントローラＩＰ
12.4 第２リンク状態検査モジュール
12.5 第２データアンパケット
13 分析処理結果モジュール
14 インタラクティブ制御モジュール
14.1 第３リンク状態報告モジュール
14.2 第３データパケット
14.3 第３高速コントローラIP
14.4 第３リンク状態検査モジュール
14.5 第３データアンパケット
15 IO制御モジュール
16 画面照明信号生成モジュール
17 カスケード制御モジュール
18 制御PC
19 IO制御
20 信号拡張ユニット
21 画像収集ユニット

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】