知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024145965
(43)【公開日】2024-10-15
(54)【発明の名称】画像処理方法および画像処理装置
(51)【国際特許分類】
H04N 23/60 20230101AFI20241004BHJP
【ＦＩ】
H04N23/60 500
H04N23/60 300
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2023058600
(22)【出願日】2023-03-31
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】渕上 竜司
(72)【発明者】
【氏名】山倉 佑馬
【テーマコード（参考）】
5C122
【Ｆターム（参考）】
5C122DA03
5C122EA41
5C122EA68
5C122FH11
5C122FH12
5C122FH14
5C122FH18
5C122GA01
5C122GA23
5C122GC75
5C122HA88
(57)【要約】
【課題】高速度カメラを用いた対象物の高速撮像と、対象物に対するリアルタイムな作業位置の補正とを実現する。
【解決手段】画像処理方法は、カメラにより撮像された複数のフレームを取得し、複数のフレーム間における被写体の第１の動き量を計測し、被写体の第１の動き量に基づいて、駆動デバイスの位置を補正する第１補正量を算出する高速ビジョン処理と、高速ビジョン処理の処理周期よりも長い処理周期を有し、少なくとも１個の前記フレームに写る被写体の認識位置に基づいて、駆動デバイスの位置を補正する第２補正量を算出する低速ビジョン処理と、を実行し、第１補正量および第２補正量の少なくとも一方に基づく制御指令を生成して駆動デバイスに出力する。
【選択図】図３
【解決手段】画像処理方法は、カメラにより撮像された複数のフレームを取得し、複数のフレーム間における被写体の第１の動き量を計測し、被写体の第１の動き量に基づいて、駆動デバイスの位置を補正する第１補正量を算出する高速ビジョン処理と、高速ビジョン処理の処理周期よりも長い処理周期を有し、少なくとも１個の前記フレームに写る被写体の認識位置に基づいて、駆動デバイスの位置を補正する第２補正量を算出する低速ビジョン処理と、を実行し、第１補正量および第２補正量の少なくとも一方に基づく制御指令を生成して駆動デバイスに出力する。
【選択図】図３
【特許請求の範囲】
【請求項1】
駆動デバイスと被写体を撮像するカメラとの間で通信可能な演算装置が行う画像処理方法であって、
前記カメラにより撮像された複数のフレームを取得し、
前記複数のフレーム間における前記被写体の第１の動き量を計測し、
計測された前記被写体の第１の動き量に基づいて、前記駆動デバイスの位置を補正する第１補正量を算出する高速ビジョン処理と、
前記高速ビジョン処理の処理周期よりも長い処理周期を有し、
少なくとも１個の前記フレームに写る前記被写体の認識位置に基づいて、前記駆動デバイスの位置を補正する第２補正量を算出する低速ビジョン処理と、を実行し、
前記第１補正量および前記第２補正量の少なくとも一方に基づく制御指令を生成して前記駆動デバイスに出力する、
画像処理方法。
前記カメラにより撮像された複数のフレームを取得し、
前記複数のフレーム間における前記被写体の第１の動き量を計測し、
計測された前記被写体の第１の動き量に基づいて、前記駆動デバイスの位置を補正する第１補正量を算出する高速ビジョン処理と、
前記高速ビジョン処理の処理周期よりも長い処理周期を有し、
少なくとも１個の前記フレームに写る前記被写体の認識位置に基づいて、前記駆動デバイスの位置を補正する第２補正量を算出する低速ビジョン処理と、を実行し、
前記第１補正量および前記第２補正量の少なくとも一方に基づく制御指令を生成して前記駆動デバイスに出力する、
画像処理方法。
【請求項2】
前記第１補正量および前記第２補正量に基づく第１制御指令、または前記第１補正量に基づく第２制御指令を生成して、前記駆動デバイスに出力する、 請求項１に記載の画像処理方法。
【請求項3】
前記第１制御指令は、前記低速ビジョン処理の処理周期に対応して出力され、
前記第２制御指令は、前記高速ビジョン処理の処理周期に対応して出力される、
請求項２に記載の画像処理方法。
前記第２制御指令は、前記高速ビジョン処理の処理周期に対応して出力される、
請求項２に記載の画像処理方法。
【請求項4】
前記演算装置との間で通信可能であって、前記被写体の位置を認識可能な外部装置に少なくとも１個の前記フレームを送信し、
前記被写体の認識位置を前記外部装置から取得する、
請求項１に記載の画像処理方法。
前記被写体の認識位置を前記外部装置から取得する、
請求項１に記載の画像処理方法。
【請求項5】
前記フレームをＫ（Ｋ：２以上の整数）個合成した合成画像を生成し、
前記合成画像に写る前記被写体の認識位置に基づいて、前記第２補正量を算出する、
請求項１に記載の画像処理方法。
前記合成画像に写る前記被写体の認識位置に基づいて、前記第２補正量を算出する、
請求項１に記載の画像処理方法。
【請求項6】
前記低速ビジョン処理において、
前記Ｋ個のフレームのそれぞれに写る前記被写体の位置を推定し、
前記推定された前記被写体の推定位置と、前記被写体の基準位置を示す第０フレームに写る前記被写体の位置とに基づいて、前記第０フレームと第Ｋフレームとの間の前記被写体の第３の動き量を計測し、
前記第３の動き量に基づいて、前記第Ｋフレームを前記第０フレームに合成する合成処理をＫ回繰り返し実行して、前記合成画像を生成する、
請求項５に記載の画像処理方法。
前記Ｋ個のフレームのそれぞれに写る前記被写体の位置を推定し、
前記推定された前記被写体の推定位置と、前記被写体の基準位置を示す第０フレームに写る前記被写体の位置とに基づいて、前記第０フレームと第Ｋフレームとの間の前記被写体の第３の動き量を計測し、
前記第３の動き量に基づいて、前記第Ｋフレームを前記第０フレームに合成する合成処理をＫ回繰り返し実行して、前記合成画像を生成する、
請求項５に記載の画像処理方法。
【請求項7】
前記低速ビジョン処理において、
前記被写体の認識位置と、前記被写体の前記第３の動き量とに基づいて、前記第２補正量を算出する、
請求項６に記載の画像処理方法。
前記被写体の認識位置と、前記被写体の前記第３の動き量とに基づいて、前記第２補正量を算出する、
請求項６に記載の画像処理方法。
【請求項8】
前記駆動デバイスの位置情報を取得し、
前記低速ビジョン処理において、
前記被写体の認識位置と、前記駆動デバイスの位置情報と、前記第Ｋフレームに写る前記被写体の位置とに基づいて、前記被写体の前記第３の動き量を計測する、
請求項６に記載の画像処理方法。
前記低速ビジョン処理において、
前記被写体の認識位置と、前記駆動デバイスの位置情報と、前記第Ｋフレームに写る前記被写体の位置とに基づいて、前記被写体の前記第３の動き量を計測する、
請求項６に記載の画像処理方法。
【請求項9】
前記駆動デバイスの位置情報を取得し、
前記高速ビジョン処理において、
次に取得される最新フレームに写る前記被写体の位置を推定して、前記最新フレームを取得し、
前記推定された前記被写体の推定位置と、前記駆動デバイスの位置情報と、前記最新フレームに写る前記被写体の位置とに基づいて、連続する２つのフレーム間における前記被写体の前記第１の動き量を計測する、
請求項１に記載の画像処理方法。
前記高速ビジョン処理において、
次に取得される最新フレームに写る前記被写体の位置を推定して、前記最新フレームを取得し、
前記推定された前記被写体の推定位置と、前記駆動デバイスの位置情報と、前記最新フレームに写る前記被写体の位置とに基づいて、連続する２つのフレーム間における前記被写体の前記第１の動き量を計測する、
請求項１に記載の画像処理方法。
【請求項10】
前記低速ビジョン処理により算出された前記第２補正量を、所定数で分割した第３補正量を算出し、
前記第１制御指令の生成を省略するとともに、前記第１補正量と前記第３補正量とに基づく前記第２制御指令を生成して前記駆動デバイスに出力する処理を前記所定数繰り返し実行する、
請求項２に記載の画像処理方法。
前記第１制御指令の生成を省略するとともに、前記第１補正量と前記第３補正量とに基づく前記第２制御指令を生成して前記駆動デバイスに出力する処理を前記所定数繰り返し実行する、
請求項２に記載の画像処理方法。
【請求項11】
前記第１制御指令に基づいて補正される前記駆動デバイスの位置の補正上限を記憶し、
前記低速ビジョン処理により算出された前記第２補正量が前記駆動デバイスの位置の補正上限以上であると判定した場合、前記第１制御指令の生成を省略するとともに、前記第１補正量と前記第３補正量とに基づく前記第２制御指令を生成して前記駆動デバイスに出力する処理を前記所定数繰り返し実行する、
請求項１０に記載の画像処理方法。
前記低速ビジョン処理により算出された前記第２補正量が前記駆動デバイスの位置の補正上限以上であると判定した場合、前記第１制御指令の生成を省略するとともに、前記第１補正量と前記第３補正量とに基づく前記第２制御指令を生成して前記駆動デバイスに出力する処理を前記所定数繰り返し実行する、
請求項１０に記載の画像処理方法。
【請求項12】
次の前記低速ビジョン処理において認識される前記被写体の認識位置を推定し、
前記少なくとも１個のフレームに写る前記被写体の認識位置と、前記推定された前記被写体の認識位置とに基づいて、前記被写体の第４の動き量を算出し、
前記第１補正量と、前記第４の動き量とに基づいて、前記第２制御指令を生成する、
請求項２に記載の画像処理方法。
前記少なくとも１個のフレームに写る前記被写体の認識位置と、前記推定された前記被写体の認識位置とに基づいて、前記被写体の第４の動き量を算出し、
前記第１補正量と、前記第４の動き量とに基づいて、前記第２制御指令を生成する、
請求項２に記載の画像処理方法。
【請求項13】
前記低速ビジョン処理により算出された前記第２補正量を、所定数で分割した第３補正量を算出し、
次の前記低速ビジョン処理において認識される前記被写体の認識位置を推定し、
前記少なくとも１個のフレームに写る前記被写体の認識位置と、前記推定された前記被写体の認識位置とに基づいて、前記被写体の第４の動き量を算出し、
前記第１補正量と、前記第３補正量と、前記第４の動き量とに基づく前記第１制御指令を生成して前記駆動デバイスに出力する処理を前記所定数繰り返し実行する、
請求項２に記載の画像処理方法。
次の前記低速ビジョン処理において認識される前記被写体の認識位置を推定し、
前記少なくとも１個のフレームに写る前記被写体の認識位置と、前記推定された前記被写体の認識位置とに基づいて、前記被写体の第４の動き量を算出し、
前記第１補正量と、前記第３補正量と、前記第４の動き量とに基づく前記第１制御指令を生成して前記駆動デバイスに出力する処理を前記所定数繰り返し実行する、
請求項２に記載の画像処理方法。
【請求項14】
駆動デバイスと被写体を撮像するカメラとの間で通信可能な演算装置であって、
前記カメラにより撮像された複数のフレームを取得する取得部と、
前記複数のフレーム間における前記被写体の動き量に基づいて、前記駆動デバイスの位置を補正する第１補正量を算出する高速ビジョン処理を実行する高速処理部と、
前記高速ビジョン処理の処理周期よりも長い処理周期で、前記被写体の認識位置に基づいて、前記駆動デバイスの位置を補正する第２補正量を算出する低速ビジョン処理を実行する低速処理部と、
前記第１補正量および前記第２補正量の少なくとも一方に基づく制御指令を生成して前記駆動デバイスに出力する制御部と、を備える、
画像処理装置。
前記カメラにより撮像された複数のフレームを取得する取得部と、
前記複数のフレーム間における前記被写体の動き量に基づいて、前記駆動デバイスの位置を補正する第１補正量を算出する高速ビジョン処理を実行する高速処理部と、
前記高速ビジョン処理の処理周期よりも長い処理周期で、前記被写体の認識位置に基づいて、前記駆動デバイスの位置を補正する第２補正量を算出する低速ビジョン処理を実行する低速処理部と、
前記第１補正量および前記第２補正量の少なくとも一方に基づく制御指令を生成して前記駆動デバイスに出力する制御部と、を備える、
画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理方法および画像処理装置に関する。
【背景技術】
【0002】
特許文献１には、監視カメラにより対象エリアを所定タイミング毎に撮影した画像のカメラ揺れを補正するカメラ揺れ補正方法が開示されている。カメラ揺れ補正方法は、画像の２フレームの一方を基準画像、他方を処理画像とし、基準画像から作成したテンプレートパターンを用いて処理画像のパターンマッチングを行い、カメラ揺れによる画像ずれの規則性を利用して特定のマッチング領域を選択し、その移動ベクトル（つまり、オプティカルフロー）からカメラ揺れ量を算出して画像ずれを補正する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００６－０９４５６０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献１の構成では、画像ずれを補正するのみであるため、補正後の画像を用いて画像認識を実行したり、カメラ揺れ量に基づくフィードバックしたりすることは想定されていない。また、カメラ揺れ補正方法は、リアルタイムで画像ずれをオンライン処理するために、揺れ補正の画像シフトを１回だけ実行する。つまり、カメラ揺れ補正方法は、補正された画像を用いた画像処理，フィードバック等を含めての低遅延化を実現することは困難だった。
【0005】
本開示は、上述した従来の事情に鑑みて案出され、高速度カメラを用いた対象物の高速撮像と、対象物に対するリアルタイムな作業位置の補正とを実現可能な画像処理方法および画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示は、駆動デバイスと被写体を撮像するカメラとの間で通信可能な演算装置が行う画像処理方法であって、前記カメラにより撮像された複数のフレームを取得し、前記複数のフレーム間における前記被写体の第１の動き量を計測し、計測された前記被写体の第１の動き量に基づいて、前記駆動デバイスの位置を補正する第１補正量を算出する高速ビジョン処理と、前記高速ビジョン処理の処理周期よりも長い処理周期を有し、少なくとも１個の前記フレームに写る前記被写体の認識位置に基づいて、前記駆動デバイスの位置を補正する第２補正量を算出する低速ビジョン処理と、を実行し、前記第１補正量および前記第２補正量の少なくとも一方に基づく制御指令を生成して前記駆動デバイスに出力する、画像処理方法を提供する。
【0007】
また、本開示は、駆動デバイスと被写体を撮像するカメラとの間で通信可能な演算装置であって、前記カメラにより撮像された複数のフレームを取得する取得部と、前記複数のフレーム間における前記被写体の動き量に基づいて、前記駆動デバイスの位置を補正する第１補正量を算出する高速ビジョン処理を実行する高速処理部と、前記高速ビジョン処理の処理周期よりも長い処理周期で、前記被写体の認識位置に基づいて、前記駆動デバイスの位置を補正する第２補正量を算出する低速ビジョン処理を実行する低速処理部と、前記第１補正量および前記第２補正量の少なくとも一方に基づく制御指令を生成して前記駆動デバイスに出力する制御部と、を備える、画像処理装置を提供する。
【発明の効果】
【0008】
本開示によれば、高速度カメラを用いた対象物の高速撮像と、対象物に対するリアルタイムな作業位置の補正とを実現できる。
【図面の簡単な説明】
【0009】
【図1】実施の形態１に係る高速度画像処理システムの内部構成例を示すブロック図
【図2】実施の形態１における高速ビジョン処理部の機能ブロック図
【図3】実施の形態１に係る高速度画像処理システムの全体動作手順例を示すシーケンス図
【図4】高速ビジョン処理部および低速ビジョン処理装置のそれぞれの処理タイミングを示すタイムチャート
【図5】実施の形態１における高速ビジョン処理部の第１の追跡画像生成処理，補正量算出処理手順例を示すシーケンス図
【図6】実施の形態１における高速ビジョン処理部の合成用画像生成処理手順例を示すシーケンス図
【図7】実施の形態１における高速ビジョン処理部の第２の追跡画像生成処理，補正量算出処理手順例を示すシーケンス図
【図8】実施の形態１の変形例１における高速ビジョン処理部の機能ブロック図
【図9】実施の形態１の変形例１における高速ビジョン処理部の第３の追跡画像生成処理，補正量算出処理手順例を示すシーケンス図
【図10】平滑化処理を説明する図
【図11】実施の形態１の変形例２における高速ビジョン処理部の機能ブロック図
【図12】実施の形態１の変形例２における高速ビジョン処理部の第４の追跡画像生成処理，補正量算出処理手順例を示すシーケンス図
【図13】予測処理を説明する図
【図14】予測処理を説明する図
【図15】実施の形態１の変形例３における高速ビジョン処理部の機能ブロック図
【図16】実施の形態１の変形例３における高速ビジョン処理部の第５の追跡画像生成処理，補正量算出処理手順例を示すシーケンス図
【図17】平滑化・予測処理を説明する図
【図18】平滑化・予測処理を説明する図
【図19】実施の形態２における高速ビジョン処理部の機能ブロック図
【図20】実施の形態２に係る高速度画像処理システムの全体動作手順例を示すシーケンス図
【図21】実施の形態２における高速ビジョン処理部の前景追跡画像生成処理，補正量算出処理手順例を示すシーケンス図
【図22】実施の形態２における高速ビジョン処理部の背景追跡画像生成処理，補正量算出処理手順例を示すシーケンス図
【図23】実施の形態２における高速ビジョン処理部の前景合成用画像生成処理手順例を示すシーケンス図
【図24】実施の形態２における高速ビジョン処理部の背景合成用画像生成処理手順例を示すシーケンス図
【発明を実施するための形態】
【0010】
（本開示に至る経緯）
近年、高速度でワーク等の対象物を撮像可能なカメラを用いて撮像されたフレーム（撮像画像）を画像処理し、外乱（例えば、振動，風等）に起因するカメラの揺れをリアルタイムに補正（除去）し、対象物の位置をリアルタイムに追跡することで、この対象物に対する所定の作業を実行可能な画像処理システムが要望されていた。しかし、このような画像処理システムは、画像処理をしている間に、ワークと、ワークに対して所定の作業を行う生産設備との相対位置が変化するため、ロボット，ワークの搬送装置等の各種生産設備の稼働速度を制限したり、一時停止したりする必要があった。
近年、高速度でワーク等の対象物を撮像可能なカメラを用いて撮像されたフレーム（撮像画像）を画像処理し、外乱（例えば、振動，風等）に起因するカメラの揺れをリアルタイムに補正（除去）し、対象物の位置をリアルタイムに追跡することで、この対象物に対する所定の作業を実行可能な画像処理システムが要望されていた。しかし、このような画像処理システムは、画像処理をしている間に、ワークと、ワークに対して所定の作業を行う生産設備との相対位置が変化するため、ロボット，ワークの搬送装置等の各種生産設備の稼働速度を制限したり、一時停止したりする必要があった。
【0011】
ここで、従来、リアルタイムで画像ずれをオンライン処理するために、揺れ補正の画像シフトを１回だけ実行することで、カメラの揺れによるフレームの位置ずれを高速で補正可能なカメラ揺れ補正方法がある。しかし、このカメラ揺れ補正方法は、フレームの位置ずれを補正するのみで、位置ずれ補正されたフレームを用いて、所定の作業が行われる作業位置をリアルタイムにフィードバックして、作業位置を補正することは想定されていない。
【0012】
よって、以下に示す各実施の形態においては、高速度カメラを用いた対象物の高速撮像と、対象物に対するリアルタイムな作業位置の補正とを実現可能な画像処理方法および画像処理装置の例を説明する。
【0013】
以下、適宜図面を参照しながら、本開示に係る画像処理方法および画像処理装置の構成および作用を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0014】
（実施の形態１）
図１および図２のそれぞれを参照して、実施の形態１に係る高速度画像処理システム１００の内部構成例について説明する。図１は、実施の形態１に係る高速度画像処理システム１００の内部構成例を示すブロック図である。図２は、実施の形態１における高速ビジョン処理部１１の機能ブロック図である。
図１および図２のそれぞれを参照して、実施の形態１に係る高速度画像処理システム１００の内部構成例について説明する。図１は、実施の形態１に係る高速度画像処理システム１００の内部構成例を示すブロック図である。図２は、実施の形態１における高速ビジョン処理部１１の機能ブロック図である。
【0015】
また、図２に示すブロック図において、高速度カメラ１４のフレームレート（例えば、１０００ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ（以降、「ｆｐｓ」と表記））で撮像された撮像画像のそれぞれを、高速度カメラ１４のフレームレートに対応する処理速度で処理して入出力する区間を実線で示す。図２に示すブロック図において、低速ビジョン処理装置Ｐ２の画像認識処理速度に対応する処理速度（例えば、６０ｆｐｓ）で処理して入出力する区間を一点鎖線で示す。
【0016】
高速度画像処理システム１００は、高速、例えば、１０００ｆｐｓ等で対象物Ｔｇを撮像する高速度カメラ１４により撮像されたフレーム（撮像画像）を高速画像処理して、サーボモータ１５Ａの駆動量を補正するとともに、高速で撮像されたフレームを合成した合成画像を低速画像処理して、対象物Ｔｇの位置（以降、「目標位置」と表記）を補正する。高速度画像処理システム１００は、対象物Ｔｇと、作業装置Ｐ１と、低速ビジョン処理装置Ｐ２とを含む。
【0017】
なお、図１に示す高速度画像処理システム１００は、一例であってこれに限定されない。例えば、高速度画像処理システム１００は、高速度カメラ１４、アクチュエータ１５および低速ビジョン処理装置Ｐ２のそれぞれが一体的に構成されてもよいし、画像処理装置の一例としての演算装置Ｐ１１が高速度カメラ１４およびアクチュエータ１５のそれぞれと別体で構成されてもよい。
【0018】
作業装置Ｐ１は、高速度カメラ１４によって対象物を高速撮像し、高速撮像されたフレームのそれぞれを画像処理して、対象物Ｔｇに対する高速度カメラ１４の位置を補正するためにサーボモータ１５Ａを目標位置に合わせて駆動させたりする。
【0019】
作業装置Ｐ１は、通信部１０と、高速ビジョン処理部１１，１１Ｂ，１１Ｃ，１１Ｄ，１１Ｅ（高速処理部，低速処理部，制御部の一例）と、メモリ１２と、サーボ制御部１３と、高速度カメラ１４と、アクチュエータ１５とを含む。なお、通信部１０、高速ビジョン処理部１１，１１Ｂ～１１Ｅ、メモリ１２、およびサーボ制御部１３のそれぞれは、１つの演算装置Ｐ１１によって実現されてよい。なお、以降の各高速ビジョン処理部１１，１１Ｂ～１１Ｅの説明において、高速ビジョン処理部１１Ｂを実施の形態１の変形例１、高速ビジョン処理部１１Ｃを実施の形態１の変形例２、高速ビジョン処理部１１Ｄを実施の形態１の変形例３、高速ビジョン処理部１１Ｅを実施の形態２でそれぞれ説明する。
【0020】
取得部の一例としての通信部１０は、データの送受信を行うための通信インターフェース回路を用いて構成される。通信部１０は、作業装置Ｐ１と低速ビジョン処理装置Ｐ２との間を有線通信または無線通信可能に接続し、データの送受信を実現する。なお、ここでいう無線通信は、例えばＷｉ－Ｆｉ（登録商標）等の無線Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）を介した通信である。
【0021】
高速ビジョン処理部１１は、例えばＦｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（以降、「ＦＰＧＡ」と表記）、リアルタイムＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）等を搭載したマイクロコンピュータ等を用いて構成されて、メモリ１２と協働して、各種の処理および制御を行う。具体的には、高速ビジョン処理部１１は、メモリ１２に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、動き計測部１１１、追跡画像生成部１１２、合成用画像生成部１１３、フレーム合成部１１４、目標位置補正部１１５等の機能を実現する。
【0022】
＜追跡画像生成処理＞
高速ビジョン処理部１１は、追跡画像生成部１１２，１１２Ａによって、高速度カメラ１４のフレームレート（例えば、１０００ｆｐｓ等）に対応する処理速度で、連続して撮像された２枚のフレーム間において対象物Ｔｇを追跡するための追跡画像を生成する。
高速ビジョン処理部１１は、追跡画像生成部１１２，１１２Ａによって、高速度カメラ１４のフレームレート（例えば、１０００ｆｐｓ等）に対応する処理速度で、連続して撮像された２枚のフレーム間において対象物Ｔｇを追跡するための追跡画像を生成する。
【0023】
高速ビジョン処理部１１は、動き計測部１１１により、フレームｎ（ｎ：1以上の整数）の次に撮像されるフレームｎ＋１に写る対象物Ｔｇの位置を推定し、フレームｎに写る対象物Ｔｇの位置とフレームｎ＋１に写る対象物Ｔｇの位置（以降、「推定位置」と表記）との間の対象物Ｔｇの動き量を計測する。
【0024】
高速ビジョン処理部１１は、動き計測部１１１の計測結果に基づいて、フレームｎに写る対象物Ｔｇの位置をフレームｎ＋１に写る対象物Ｔｇの位置に移動させる第１変換行列を算出する。高速ビジョン処理部１１は、算出された第１変換行列を用いてフレームｎをアフィン変換し、２枚のフレーム（つまり、フレームｎ，フレームｎ＋１）間で移動する対象物Ｔｇの位置を追跡する追跡画像を生成する。
【0025】
また、高速ビジョン処理部１１は、サーボ制御部１３から出力されたサーボモータ１５Ａの位置情報（例えば、サーボモータ１５Ａの位置に関する情報、サーボモータ１５Ａの位置を示すジャイロ情報等）をさらに用いて、第１変換行列を算出してもよい。このような場合、高速ビジョン処理部１１は、動き計測部１１１により、サーボモータ１５Ａの位置情報と、次に撮像されるフレーム（つまり、次のフレームｎ＋１）に写る対象物Ｔｇの推定位置とに基づいて、追跡画像の生成に用いられる第１変換行列を算出する。
【0026】
＜合成用画像生成処理＞
高速ビジョン処理部１１は、合成用画像生成部１１３により高速度カメラ１４のフレームレート（例えば、１０００ｆｐｓ等）に対応する処理速度で、フレームを合成画像の生成に用いられるフレーム（以降、「合成用画像」と表記）を生成する。
高速ビジョン処理部１１は、合成用画像生成部１１３により高速度カメラ１４のフレームレート（例えば、１０００ｆｐｓ等）に対応する処理速度で、フレームを合成画像の生成に用いられるフレーム（以降、「合成用画像」と表記）を生成する。
【0027】
高速ビジョン処理部１１は、動き計測部１１１により、後述する合成画像を生成するための合成用画像の合成処理において、各合成用画像の合成基準となるフレーム０に映る対象物Ｔｇの位置を計測して、記憶する。高速ビジョン処理部１１は、高速度カメラ１４から出力されたフレームｎに写る対象物Ｔｇの位置と、フレーム０に写る対象物Ｔｇの位置との間の対象物Ｔｇの動き量を計測する。
【0028】
高速ビジョン処理部１１は、計測されたフレームｎとフレーム０との間の対象物Ｔｇの動き量に基づいて、フレームｎを合成画像の生成に用いられる合成用画像に変換するための第２変換行列を算出する。高速ビジョン処理部１１は、合成用画像生成部１１３により算出された第２変換行列を用いて、フレームｎを合成用画像に変換する。これにより、高速ビジョン処理部１１は、フレーム０に写る対象物Ｔｇの位置に、フレームｎに写る対象物Ｔｇの位置を合わせた合成用画像を生成することができる。
【0029】
具体的に、合成画像が１６枚の合成用画像のそれぞれを合成して生成される場合、フレーム０は、１枚目の合成用画像を示す。また、高速ビジョン処理部１１は、フレーム合成部１１４による合成画像の生成が完了した場合、合成画像の生成が終了した後に高速度カメラ１４から出力された１７枚目のフレームをフレーム０（つまり、１枚目の合成用画像）に設定して、次の合成画像の生成処理を開始する。
【0030】
高速ビジョン処理部１１は、フレーム合成部１１４によって合成用画像の合成を実行する。高速ビジョン処理部１１は、合成用画像生成部１１３によるフレームｎに基づく合成用画像の生成処理と、フレーム合成部１１４によるフレーム０～フレームｎ－１のそれぞれの合成用画像が合成された合成画像と、フレームｎに基づく合成用画像との合成処理と、を所定回数繰り返し実行し、所定枚数の合成用画像（つまり、フレーム）を合成した合成画像を生成する。高速ビジョン処理部１１は、生成された合成画像を通信部１０に出力し、低速ビジョン処理装置Ｐ２に送信させる。
【0031】
なお、合成画像の生成は、必須でなく省略されてもよい。このような場合、高速ビジョン処理部１１は、いずれか１枚のフレームを通信部１０に出力し、低速ビジョン処理装置Ｐ２に送信させる。
【0032】
メモリ１２は、例えば高速ビジョン処理部１１の各処理を実行する際に用いられるワークメモリとしてのＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（以降、「ＲＡＭ」と表記）と、高速ビジョン処理部１１の動作を規定したプログラムおよびデータを格納するＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（以降、「ＲＯＭ」と表記）とを有する。ＲＡＭには、高速ビジョン処理部１１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、高速ビジョン処理部１１の動作を規定するプログラムが書き込まれている。メモリ１２は、追跡用フレームバッファ１２Ａと、合成用フレームバッファ１２Ｂとを含む。
【0033】
追跡用フレームバッファ１２Ａは、高速度カメラ１４から出力され、追跡画像生成部１１２による追跡画像の生成と、合成用画像生成部１１３による合成用画像の生成とに用いられるフレームを格納する。追跡用フレームバッファ１２Ａは、フレームと、フレームが撮像された時系列を示すアドレスとを対応付けて、格納する。
【0034】
合成用フレームバッファ１２Ｂは、フレーム合成部１１４により合成された合成画像を格納する。合成用フレームバッファ１２Ｂは、フレーム合成部１１４から出力された制御指令に基づいて、格納された合成画像を通信部１０に出力し、低速ビジョン処理装置Ｐ２に送信させる。
【0035】
サーボ制御部１３は、例えばＦＰＧＡ、リアルタイムＯＳ等を搭載したマイクロコンピュータ等を用いて構成されて、メモリ１２と協働して、各種の処理および制御を行う。具体的には、サーボ制御部１３は、メモリ１２に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、アクチュエータ１５の制御を実行する。サーボ制御部１３は、目標位置補正部１１５から出力された目標位置の補正値に基づいて、サーボモータ１５Ａの補正量を決定し、サーボモータ１５Ａの制御指令を生成する。
【0036】
高速度カメラ１４は、少なくともレンズ（不図示）とイメージセンサ（不図示）とを有して構成される。イメージセンサは、例えばＣｈａｒｇｅｄ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ（ＣＣＤ）またはＣｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ（ＣＭＯＳ）の固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。高速度カメラ１４は、高フレームレート（例えば、１０００ｆｐｓ）で対象物Ｔｇを撮像する。なお、高速度カメラ１４は、例えば可視光あるいは非可視光等を撮像可能なカメラであってもよいし、例えば電磁波を撮像可能な電界カメラであってもよい。
【0037】
アクチュエータ１５は、サーボモータ１５Ａ（駆動デバイスの一例）を備える。アクチュエータ１５は、サーボ制御部１３による制御に基づいて、サーボモータ１５Ａを駆動させることで、対象物Ｔｇに対する所定の作業を実行する。なお、アクチュエータ１５は、サーボモータ１５Ａの替わりに他のモータを備えてもよい。例えば、アクチュエータ１５は、サーボモータ１５Ａの替わりに例えばピエゾ素子等の駆動デバイス、熱による液体の膨張により駆動する駆動デバイス等を備えてよい。
【0038】
外部装置の一例としての低速ビジョン処理装置Ｐ２は、作業装置Ｐ１の通信部１０との間で有線通信または無線通信可能に接続されて、データの送受信を実行する。低速ビジョン処理装置Ｐ２は、Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＡＩ）あるいは機械学習等による画像認識処理を実行可能である。
【0039】
低速ビジョン処理装置Ｐ２は、作業装置Ｐ１から送信された合成画像に画像認識処理を実行し、合成画像に写る対象物Ｔｇの位置を検出（認識）する。低速ビジョン処理装置Ｐ２は、検出された対象物Ｔｇの位置情報を作業装置Ｐ１の通信部１０に送信する。なお、低速ビジョン処理装置Ｐ２は、合成画像の生成が省略される場合、作業装置Ｐ１から送信されたいずれか１枚のフレームに画像認識処理を実行し、このフレームに写る対象物Ｔｇの位置を検出（認識）する。
【0040】
次に、図３および図４のそれぞれを参照して、実施の形態１に係る高速度画像処理システム１００の動作手順について説明する。図３は、実施の形態１に係る高速度画像処理システム１００の全体動作手順例を示すシーケンス図である。図４は、高速ビジョン処理部１１および低速ビジョン処理装置Ｐ２のそれぞれの処理タイミングを示すタイムチャートである。
【0041】
高速ビジョン処理部１１は、高速度カメラ１４により撮像されたフレームに写る対象物Ｔｇの位置を初期位置に設定する（Ｓｔ１１）。
【0042】
高速度画像処理システム１００は、ステップＳｔ１１の処理の後、第１ループ処理ＬＰ１と、第２ループ処理ＬＰ２とを並列に実行するループ処理ＬＰを繰り返し実行する。
【0043】
まず、第１ループ処理ＬＰ１について説明する。第１ループ処理ＬＰ１は、高速度カメラ１４のフレームレートの倍数回繰り返し実行される処理である。第１ループ処理ＬＰ１は、ステップＳｔ１２～ステップＳｔ１３のそれぞれの処理を実行した後、ステップＳｔ１００の追跡画像生成処理，補正量算出処理およびステップＳｔ１４～ステップＳｔ１６のそれぞれの処理（並行処理ＰＡＲ１）と、ステップＳｔ２００の合成用画像生成処理（並行処理ＰＡＲ２）とを高速度カメラ１４のフレームレートに対応する速度（例えば、１０００ｆｐｓ）で並列に実行する。
【0044】
第１ループ処理ＬＰ１において、高速度カメラ１４は、高速（例えば、１０００ｆｐｓ）で対象物Ｔｇを撮像し（Ｓｔ１２）、撮像されたフレームを高速ビジョン処理部１１に出力する（Ｓｔ１３）。
【0045】
高速ビジョン処理部１１は、高速度カメラ１４から出力されたフレームを用いて、追跡画像生成処理，補正量算出処理を実行する（Ｓｔ１００,Ｓｔ１００Ａ）。なお、ステップＳｔ１００の追跡画像生成処理，補正量算出処理は、後述する図５で説明する。また、ステップＳｔ１００Ａの追跡画像生成処理，補正量算出処理は、後述する図７で説明する。
【0046】
高速ビジョン処理部１１は、ステップＳｔ１００，Ｓｔ１００Ａの補正量算出処理により算出された目標位置の補正量をサーボ制御部１３に出力する（Ｓｔ１４）。
【0047】
サーボ制御部１３は、高速ビジョン処理部１１から出力された目標位置の補正量に基づいて、アクチュエータ１５のサーボモータ１５Ａの位置を補正するための制御指令を生成する（Ｓｔ１５）。サーボ制御部１３は、生成された制御指令（第２制御指令の一例）をアクチュエータ１５に出力し、サーボモータ１５Ａの位置補正を実行させる（Ｓｔ１６）。
【0048】
高速ビジョン処理部１１は、高速度カメラ１４から出力されたフレームを用いて、合成用画像生成処理を実行する（Ｓｔ２００）。なお、ステップＳｔ２００の合成用画像生成処理は、後述する図６で説明する。
【0049】
次に、第２ループ処理ＬＰ２について説明する。第２ループ処理ＬＰ２は、ステップＳｔ２１～ステップＳｔ２３のそれぞれの処理を低速ビジョン処理装置Ｐ２の画像認識処理の速度（例えば、６０ｆｐｓ）で実行し、ステップＳｔ２４～ステップＳｔ２７のそれぞれの処理を高速ビジョン処理部１１の処理速度であって、高速度カメラ１４のフレームレートに対応する速度（例えば、１０００ｆｐｓ）で実行する。
【0050】
第２ループ処理ＬＰ２において、高速ビジョン処理部１１は、ステップＳｔ２００の合成用画像生成処理で生成された合成画像を低速ビジョン処理装置Ｐ２に送信する（Ｓｔ２１）。なお、ステップＳｔ２１の処理において、ステップＳｔ２００の合成用画像生成処理が省略される場合、高速ビジョン処理部１１は、高速度カメラ１４から出力されたいずれか１枚のフレームを、合成画像の代わりに低速ビジョン処理装置Ｐ２に送信する。
【0051】
なお、本開示では、高速ビジョン処理部１１は、１０００ｆｐｓで撮像され、合成用画像生成処理で生成された１６枚の合成用画像を合成することで、６０ｆｐｓで撮像されたフレームに相当する合成画像を生成する例を示すが、これに限定されない。合成画像は、低速ビジョン処理装置Ｐ２の画像認識処理に要する時間、利用用途によって要求される画像認識精度等に基づいて、２枚以上の任意の合成用画像を合成して生成されてよい。
【0052】
低速ビジョン処理装置Ｐ２は、高速ビジョン処理部１１から送信された合成画像に画像認識処理を実行し、対象物Ｔｇの位置を検出する（Ｓｔ２２）。低速ビジョン処理装置Ｐ２は、検出された対象物Ｔｇの位置情報を高速ビジョン処理部１１に送信する（Ｓｔ２３）。図４の画像認識処理に対応するステップＳｔ２２～ステップＳｔ２３のそれぞれの処理は、低速ビジョン処理装置Ｐ２の画像認識処理に対応する６０ｆｐｓ（低速処理）で実行される。
【0053】
高速ビジョン処理部１１は、動き計測部１１１によって検出される対象物Ｔｇの位置を目標位置に補正する（Ｓｔ２４）。また、高速ビジョン処理部１１は、現在設定されている対象物Ｔｇの位置を、低速ビジョン処理装置Ｐ２により認識された対象物Ｔｇの位置（目標位置）に補正するための補正量を算出し、算出された目標位置の補正量をサーボ制御部１３に出力する（Ｓｔ２５）。なお、ステップＳｔ２４以降の処理は、高速度カメラ１４のフレームレート（１０００ｆｐｓ）に対応する速度で処理が実行される。
【0054】
サーボ制御部１３は、高速ビジョン処理部１１から出力された補正量に基づいて、アクチュエータ１５が備えるサーボモータ１５Ａの位置を補正するための制御指令を生成する（Ｓｔ２６）。サーボ制御部１３は、生成された制御指令（第１制御指令の一例）をアクチュエータ１５に出力し、サーボモータ１５Ａの位置補正を実行させる（Ｓｔ２７）。
【0055】
以上により、実施の形態１に係る高速度画像処理システム１００は、高速度カメラ１４により撮像されたフレームを高速画像処理することにより、外乱による高速度カメラ１４の位置ずれを補正できる。また、高速度画像処理システム１００は、高速度カメラ１４により撮像されたフレームを合成した合成画像を低速画像処理することにより対象物Ｔｇの位置ずれを高精度に補正できる。したがって、高速度画像処理システム１００は、リアルタイムな高速度カメラ１４の位置ずれ量の算出と、補正とを実現できる。
【0056】
これにより、アクチュエータ１５は、画像認識処理による対象物Ｔｇを認識するまでの間、対象物Ｔｇに対する所定の作業を一時的に停止したり、作業速度を低下させたりすることなく実行できるため、作業効率を向上できる。
【0057】
また、実施の形態１に係る高速度画像処理システム１００は、アクチュエータ１５のサーボモータ１５Ａの位置情報（例えば、速度情報、加速度情報等）を用いて高速度カメラ１４の位置ずれを補正する場合、連続する２枚のフレームが撮像される間にサーボモータ１５Ａに起因する位置ずれ量と、連続する２枚のフレームの差分とに基づいて、高速度カメラ１４の位置ずれ量をより高精度に算出して、補正できる。
【0058】
次に、図５を参照して、高速ビジョン処理部１１の第１の追跡画像生成処理，補正量算出処理（ステップＳｔ１００）手順例について説明する。図５は、実施の形態１における高速ビジョン処理部１１の第１の追跡画像生成処理，補正量算出処理手順例を示すシーケンス図である。なお、ここでいう第１の追跡画像生成処理，補正量算出処理は、サーボ制御部１３からサーボモータ１５Ａの位置情報を取得しない場合に実行される追跡画像生成手順である。
【0059】
動き計測部１１１は、フレームｎ（つまり、ｎ番目のフレーム）の次に撮像されるフレームｎ＋１（つまり、（ｎ＋１）番目のフレーム）に写る対象物Ｔｇの位置を推定し、推定された対象物Ｔｇの推定位置に基づいて、フレームｎとフレームｎ＋１との間の対象物Ｔｇの動き量を計測する。動き計測部１１１は、フレームｎに写る対象物Ｔｇの位置を、フレームｎの次に撮像されるフレームｎ＋１に写る対象物Ｔｇの位置に変換するための第１変換行列を算出して設定する（Ｓｔ１０１）。動き計測部１１１は、設定された第１変換行列を追跡画像生成部１１２に出力する（Ｓｔ１０２）。
【0060】
なお、ここで、動き計測部１１１は、対象物Ｔｇあるいは作業装置Ｐ１（高速度カメラ１４）が等速直線運動をしていると仮定して、対象物Ｔｇの推定位置を推定してもよい。このような場合、動き計測部１１１は、フレームが高速（例えば、１０００ｆｐｓ）で撮像されるため、フレームｎとフレームｎ＋１との間での高速度カメラ１４の位置の変化量と、高速度カメラ１４の加速度の情報とを取得できる。
【0061】
追跡画像生成部１１２は、動き計測部１１１から出力された第１変換行列を取得する。追跡画像生成部１１２における追跡用射影変換アドレス生成部１１２１は、取得された第１変換行列に基づいて、フレームｎの全域を変形し、フレームｎに写る対象物Ｔｇを追跡するためのアドレスを生成する。追跡画像生成部１１２は、アドレスに基づいて、フレームｎの読み出しを要求する制御指令を生成し、追跡用フレームバッファ１２Ａに送信する（Ｓｔ１０３）。
【0062】
追跡用フレームバッファ１２Ａは、追跡画像生成部１１２から出力された制御指令に基づいて、格納済みのフレームのうちアドレスに対応するフレームｎを読み出す（Ｓｔ１０４）。追跡用フレームバッファ１２Ａは、読み出されたフレームｎを追跡画像生成部１１２に出力する（Ｓｔ１０５）。
【0063】
追跡画像生成部１１２は、追跡用フレームバッファ１２Ａから出力されたフレームｎを取得する。追跡画像生成部１１２における画像変換部１１２２は、第１変換行列を用いて、フレームｎを変換する（Ｓｔ１０６）。追跡画像生成部１１２は、変換後のフレームｎを動き計測部１１１に出力する（Ｓｔ１０７）。なお、ステップＳｔ１０７の処理で動き計測部１１１に出力されるフレームは、対象物Ｔｇの少なくとも一部を含む領域（画素）を切り出した画素データであってもよい。
【0064】
高速度カメラ１４は、対象物Ｔｇを撮像する（Ｓｔ１０８）。高速度カメラ１４は、フレームｎ＋１を動き計測部１１１に送信するともに（Ｓｔ１０９）、フレームｎ＋１を追跡用フレームバッファ１２Ａに送信する（Ｓｔ１１０）。
【0065】
追跡用フレームバッファ１２Ａは、高速度カメラ１４から送信されたフレームｎ＋１を書き込み、格納する（Ｓｔ１１１）。
【0066】
動き計測部１１１は、フレームｎ＋１と、変換後のフレームｎとを比較し、それぞれのフレームに写る対象物Ｔｇの位置の差分に基づいて、フレームｎとフレームｎ＋１との間の対象物Ｔｇの動き量（つまり、対象物Ｔｇの位置差分）を計測する（Ｓｔ１１２）。なお、ここで、動き計測部１１１は、フレームｎを用いて推定された対象物Ｔｇの推定位置に基づいて、フレームｎ＋１および変換後のフレームｎのそれぞれから少なくとも推定位置に対応する画素を含む領域の画素データを抽出し、抽出された画素データから対象物Ｔｇの位置の動き量を計測してよい。
【0067】
動き計測部１１１は、計測された対象物Ｔｇの動き量に基づいて、補正後のサーボモータ１５Ａの位置（以降、「第１目標位置」と表記）を算出する（Ｓｔ１１３）。動き計測部１１１は、算出された第１目標位置を含む第１目標位置情報を生成して、目標位置補正部１１５に出力する（Ｓｔ１１４）。
【0068】
目標位置補正部１１５は、動き計測部１１１から出力された第１目標位置情報に基づいて、サーボモータ１５Ａの位置を補正する補正量を算出する（Ｓｔ１１５）。
【0069】
以上により、実施の形態１における高速ビジョン処理部１１は、次のフレームｎ＋１に写る対象物Ｔｇの推定位置に基づいてフレームｎを変換することで、２枚のフレーム間に写る対象物Ｔｇの動き量の計測処理を高速化することができる。これにより、高速ビジョン処理部１１は、高速度カメラ１４により撮像されたフレームを高速画像処理することができ、外乱による高速度カメラ１４の揺れを除去して、対象物Ｔｇ（目標位置）を追跡するためのサーボモータ１５Ａの位置補正をリアルタイムに実行できる。
【0070】
サーボ制御部１３は、高速度カメラ１４のフレームレートよりも高いｋＨｚオーダーで駆動可能なアクチュエータ１５のサーボモータ１５Ａを駆動させることで、高速ビジョン処理部１１により算出された目標位置の補正量に基づいて、サーボモータ１５Ａの位置補正をリアルタイムに実行できる。
【0071】
次に、図６を参照して、高速ビジョン処理部１１の合成用画像生成処理（ステップＳｔ２００）手順例について説明する。図６は、実施の形態１における高速ビジョン処理部１１の合成用画像生成処理手順例を示すシーケンス図である。
【0072】
動き計測部１１１は、フレームｎに写る対象物Ｔｇの位置に基づいて、フレームｎに写る対象物Ｔｇの位置をフレーム０に写る対象物Ｔｇの位置に移動させる第２変換行列を算出し、フレームｎに写る対象物Ｔｇの位置と、フレーム０に写る対象物Ｔｇの位置変換するための第２変換行列を算出して設定する（Ｓｔ２０１）。動き計測部１１１は、設定された第２変換行列を合成用画像生成部１１３に出力する（Ｓｔ２０２）。なお、ここでいうフレーム０は、合成画像の生成に用いられる最初のフレームであって、合成処理により合成される対象物Ｔｇの基準位置として設定されるフレームである。
【0073】
合成用画像生成部１１３は、動き計測部１１１から出力された第２変換行列を取得する。合成用画像生成部１１３における画像認識用射影変換アドレス生成部１１３１は、取得された第２変換行列に基づいて、フレームｎの全域を変形し、フレームｎに写る対象物Ｔｇを追跡するためのアドレスを生成する。合成用画像生成部１１３は、アドレスに基づいて、フレームｎの読み出しを要求する制御指令を生成し、追跡用フレームバッファ１２Ａに送信する（Ｓｔ２０３）。
【0074】
追跡用フレームバッファ１２Ａは、合成用画像生成部１１３から出力された制御指令に基づいて、格納済みのフレームのうちアドレスに対応するフレームｎを読み出す（Ｓｔ２０４）。追跡用フレームバッファ１２Ａは、読み出されたフレームｎを合成用画像生成部１１３に出力する（Ｓｔ２０５）。
【0075】
合成用画像生成部１１３における画像認識用射影変換アドレス生成部１１３１は、取得された第２変換行列を用いて、フレームｎに写る対象物Ｔｇの位置を、フレーム０に写る対象物Ｔｇの位置に合わせるようにフレームｎの全域を変形する（Ｓｔ２０６）。
【0076】
合成用画像生成部１１３は、フレームｎに対応する合成用画像をフレーム合成部１１４に出力する（Ｓｔ２０７）。なお、ステップＳｔ２０７の処理でフレーム合成部１１４に出力される合成用画像は、対象物Ｔｇの少なくとも一部を含む領域（画素）を切り出した画素データであってもよい。
【0077】
フレーム合成部１１４は、フレームｎに対応する合成用画像と合成され、フレーム０～フレームｎ－１のそれぞれに対応する合成用画像が合成された合成用画像の読み出しを要求する制御指令を生成して、合成用フレームバッファ１２Ｂに出力する（Ｓｔ２０８）。
【0078】
なお、フレーム合成部１１４は、合成用画像生成部１１３から出力された合成用画像が、フレーム０に対応する合成用画像の合成である場合には、このフレーム０に対応する合成用画像の書き込みを要求する制御指令を生成して、合成用フレームバッファ１２Ｂに出力する。
【0079】
合成用フレームバッファ１２Ｂは、フレーム合成部１１４から出力された制御指令に基づいて、合成用画像を読み出す（Ｓｔ２０９）。合成用フレームバッファ１２Ｂは、読み出された合成用画像をフレーム合成部１１４に出力する（Ｓｔ２１０）。
【0080】
フレーム合成部１１４は、合成用フレームバッファ１２Ｂから出力された合成用画像と、フレームｎに対応する合成用画像とを合成し（Ｓｔ２１１）、合成後の合成用画像の書き込みを要求する制御指令を生成して、合成画像と対応付けて合成用フレームバッファ１２Ｂに出力する（Ｓｔ２１２）。合成用フレームバッファ１２Ｂは、フレーム合成部１１４から出力された合成用画像の書き込みを実行する（Ｓｔ２１３）。
【0081】
フレーム合成部１１４は、合成用画像を所定枚数（例えば、１６枚等）合成したか否かを判定する（Ｓｔ２１４）。
【0082】
フレーム合成部１１４は、ステップＳｔ２１４の処理において、合成用画像を所定枚数合成したと判定した場合（Ｓｔ２１４，ＹＥＳ）、所定枚数の合成用画像が合成された合成画像を低速ビジョン処理装置Ｐ２に送信させる制御指令を生成して、合成用フレームバッファ１２Ｂに出力する（Ｓｔ２１５）。
【0083】
フレーム合成部１１４は、ステップＳｔ２１４の処理において、合成用画像を所定枚数合成していないと判定した場合（Ｓｔ２１４，ＮＯ）、所定枚数の合成用画像が合成された合成画像を低速ビジョン処理装置Ｐ２に送信させる制御指令の生成を省略する。高速ビジョン処理部１１は、ステップＳｔ２０１の処理に戻る。
【0084】
以上により、実施の形態１における高速ビジョン処理部１１は、高速度カメラ１４により撮像されたフレームを、第２変換行列を用いて変換して合成することで、合成枚数に対応する露光時間のフレーム（合成画像）を生成できる。つまり、高速ビジョン処理部１１は、フレームの外乱あるいは露光時間の短さに起因する揺れ（ブラー）を効果的に除去した合成画像を生成できる。これにより、高速ビジョン処理部１１は、低速ビジョン処理装置Ｐ２により実行される画像認識処理に適した合成画像を生成できる。
【0085】
次に、図７を参照して、高速ビジョン処理部１１の第２の追跡画像生成処理，補正量算出処理（ステップＳｔ１００Ａ）手順例について説明する。図７は、実施の形態１における高速ビジョン処理部１１の第２の追跡画像生成処理，補正量算出処理手順例を示すシーケンス図である。なお、ここでいう第２の追跡画像生成処理，補正量算出処理は、サーボ制御部１３から取得されたサーボモータ１５Ａの位置情報を用いてサーボモータ１５Ａの補正量を算出する場合に実行される追跡画像生成手順である。
【0086】
なお、図７に示す第２の追跡画像生成処理，補正量算出処理において、ステップＳｔ１０２～ステップＳｔ１１５のそれぞれの処理は、図５で説明したステップＳｔ１０２～ステップＳｔ１１５のそれぞれの処理と同様であるため、説明を省略する。
【0087】
動き計測部１１１は、フレームｎに写る対象物Ｔｇの位置に基づいて、フレームｎ＋１に写る対象物Ｔｇの推定位置を算出する（Ｓｔ１２１）。
【0088】
サーボ制御部１３は、アクチュエータ１５のサーボモータ１５Ａの位置情報（例えば、速度情報あるいは加速度情報等）を取得する（Ｓｔ１２２）。サーボ制御部１３は、取得されたサーボモータ１５Ａの位置情報を追跡画像生成部１１２Ａに出力する（Ｓｔ１２３）。
【0089】
追跡画像生成部１１２Ａは、算出された推定位置と、サーボ制御部１３から出力されたサーボモータ１５Ａの位置情報とに基づいて、フレームｎに写る対象物Ｔｇの位置を、フレームｎの次に撮像されるフレームｎ＋１に写る対象物Ｔｇの推定位置に変換するための第１変換行列を算出して設定する（Ｓｔ１０１Ａ）。
【0090】
以上により、実施の形態１における高速ビジョン処理部１１は、サーボ制御部１３から取得されたサーボモータ１５Ａの位置情報を用いることで、対象物Ｔｇの位置を高精度に推定できる。また、高速ビジョン処理部１１は、対象物Ｔｇの位置を高精度に推定することで、第１変換行列を用いて変換されたフレームｎと、フレームｎ＋１とに基づく対象物Ｔｇの動き量の計測処理において、動き量の計測処理対象となるフレームｎおよびフレームｎ＋１のそれぞれの画素数をより少なくすることができるため、対象物Ｔｇの動き量の計測に要する処理時間をより短縮することができるとともに、補正量をより高精度に算出することができる。
【0091】
これにより、高速ビジョン処理部１１は、高速度カメラ１４により撮像されたフレームを高速画像処理することができ、外乱による高速度カメラ１４の揺れを除去して、対象物Ｔｇ（目標位置）を追跡するためのサーボモータ１５Ａの位置補正をリアルタイムに実行させることができる。
【0092】
以上により、実施の形態１における高速ビジョン処理部１１は、動き計測部１１１による高速画像処理により高速度カメラ１４の揺れ（動き）に対するサーボモータ１５Ａを補正することで、対象物Ｔｇに対する追跡が可能になる。しかし、作業装置Ｐ１は、低速ビジョン処理装置Ｐ２により対象物Ｔｇの位置を認識するため、対象物Ｔｇ自体が移動する場合、対象物Ｔｇの移動量については低速処理でしか追うことができないという課題があった。
【0093】
低速ビジョン処理装置Ｐ２により認識された対象物Ｔｇの位置に基づいて、移動する対象物Ｔｇを追跡する場合、アクチュエータ１５は、高速処理により得られる目標位置の補正と、低速処理により得られる目標位置の補正とを同時に行うため、サーボモータ１５Ａのトルクが急激に変化し、サーボモータ１５Ａに故障の原因となる負荷がかかったり、サーボモータ１５Ａのトルクの急激な変化により滑らかに駆動できなかったりする可能性がある。具体的に、低速処理により得られる目標位置の補正量は、高速処理が所定回数（例えば、１６回）目標位置を補正する間に変化した対象物Ｔｇの位置を補正する補正量となるため、１回分の高速処理で算出された目標位置の補正量よりも大きい。
【0094】
したがって、アクチュエータ１５は、高速処理および低速処理で算出された目標位置の補正を実行する場合、サーボモータ１５Ａのトルクが急激に変動する可能性があるため、急激なトルク変化によるサーボモータ１５Ａの負荷が大きくなったり、滑らかな移動制御が困難になったりするという課題があった。
【0095】
（実施の形態１の変形例１）
実施の形態１における高速ビジョン処理部１１は、目標位置補正部１１５により算出された補正量に基づいて、サーボ制御部１３がアクチュエータ１５のサーボモータ１５Ａを駆動させる例を示した。実施の形態１における高速ビジョン処理部１１Ｂは、低速ビジョン処理装置Ｐ２の低速処理により得られる目標位置の補正量を分割し、目標位置補正部１１５Ｂの異なる複数タイミングで実行される高速処理のそれぞれで、高速処理により得られる目標位置の補正と、分割された目標位置の補正とを実行することで、サーボモータ１５Ａの補正量を平滑化する例について説明する。
実施の形態１における高速ビジョン処理部１１は、目標位置補正部１１５により算出された補正量に基づいて、サーボ制御部１３がアクチュエータ１５のサーボモータ１５Ａを駆動させる例を示した。実施の形態１における高速ビジョン処理部１１Ｂは、低速ビジョン処理装置Ｐ２の低速処理により得られる目標位置の補正量を分割し、目標位置補正部１１５Ｂの異なる複数タイミングで実行される高速処理のそれぞれで、高速処理により得られる目標位置の補正と、分割された目標位置の補正とを実行することで、サーボモータ１５Ａの補正量を平滑化する例について説明する。
【0096】
なお、実施の形態１の変形例１における高速ビジョン処理部１１Ｂは、実施の形態１に係る高速ビジョン処理部１１と同様の構成を有する。そこで、以下の実施の形態１の変形例１における高速ビジョン処理部１１Ｂの説明では、高速ビジョン処理部１１と同様の構成には、同一の符号を付与して、説明を省略する。
【0097】
【0098】
また、図８に示すブロック図において、高速度カメラ１４のフレームレート（例えば、１０００ｆｐｓ）で撮像された撮像画像のそれぞれを、高速度カメラ１４のフレームレートに対応する処理速度で処理して入出力する区間を実線で示す。図８に示すブロック図において、低速ビジョン処理装置Ｐ２の画像認識処理速度に対応する処理速度（例えば、６０ｆｐｓ）で処理して入出力する区間を一点鎖線で示す。
【0099】
高速ビジョン処理部１１Ｂは、動き計測部１１１と、追跡画像生成部１１２と、合成用画像生成部１１３と、フレーム合成部１１４と、目標位置補正部１１５Ｂと、平滑化部１１６とを含む。
【0100】
平滑化部１１６は、低速ビジョン処理装置Ｐ２により得られる目標位置の補正量を滑らかに補正（反映）するために、１回の補正処理で補正される補正量（平滑補正量）を決定するための一定比率の情報を目標位置補正部１１５Ｂに出力する。
【0101】
目標位置補正部１１５Ｂは、事前に低速ビジョン処理装置Ｐ２から取得された第２目標位置情報と、動き計測部１１１から出力された第１目標位置情報と、平滑化部１１６から出力された一定比率の情報とに基づいて、高速処理により補正される目標位置の補正量を算出する。具体的に、目標位置補正部１１５Ｂは、低速ビジョン処理装置Ｐ２から第２目標位置情報が取得される処理周期に基づいて、第２目標位置情報に基づく目標位置の補正量に一定比率を乗じた平滑補正量を算出する。目標位置補正部１１５Ｂは、次に低速ビジョン処理装置Ｐ２から第２目標位置情報が出力されるまでの間（つまり、低職処理の１周期分の時間帯）で目標位置への補正が完了するように、目標位置補正部１１５Ｂによる高速処理によって得られた目標位置の補正量と、平滑補正量とに基づいて、サーボ制御部１３に出力される目標位置の補正量を算出する。
【0102】
なお、目標位置補正部１１５Ｂに出力される一定比率の値は、低速ビジョン処理装置Ｐ２の低速処理により得られる目標位置の補正量の大きさに基づいて変更されてよい。また、平滑化部１１６は、低速ビジョン処理装置Ｐ２の低速処理により得られる目標位置の補正量の大きさに基づいて、１回の目標位置の補正処理によって補正されるサーボモータ１５Ａの補正量の上限値を超えると判定した場合にのみ、一定比率の情報を目標位置補正部１１５Ｂに出力してもよい。
【0103】
次に、図９を参照して、高速ビジョン処理部１１Ｂの第３の追跡画像生成処理，補正量算出処理（ステップＳｔ１００Ｂ）手順例について説明する。図９は、実施の形態１における高速ビジョン処理部１１Ｂの第３の追跡画像生成処理，補正量算出処理手順例を示すシーケンス図である。
【0104】
なお、図９に示す第３の追跡画像生成処理，補正量算出処理において、ステップＳｔ１０１～ステップＳｔ１１４のそれぞれの処理は、図５で説明したステップＳｔ１０１～ステップＳｔ１１４のそれぞれの処理と同様であるため、説明を省略する。
【0105】
平滑化部１１６は、次の目標位置の補正処理（ステップＳｔ１５）のタイミングで反映され、低速処理により得られた目標位置の補正量に対し、１回の補正処理で補正される平滑補正量を決定するための一定比率の情報を読み出す（Ｓｔ１３１）。平滑化部１１６は、読み出された一定比率の情報を目標位置補正部１１５Ｂに出力する（Ｓｔ１３２）。
【0106】
目標位置補正部１１５Ｂは、平滑化部１１６から出力された一定比率の情報に基づいて、低速処理により得られた第２目標位置情報に基づく目標位置の補正量に一定比率を乗じた平滑補正量を算出する。目標位置補正部１１５Ｂは、算出された平滑補正量と、ステップＳｔ１１４の高速処理により得られた第１目標位置情報に基づく目標位置の補正量とに基づいて、目標位置の補正量を算出する（Ｓｔ１１５Ｂ）。
【0107】
以上により、実施の形態１の変形例１における高速ビジョン処理部１１Ｂは、目標位置の補正量の平滑化を実行することで、サーボモータ１５Ａのトルクの急激な変化を抑制できる。また、高速ビジョン処理部１１Ｂは、高速処理による高速度カメラ１４の揺れを除去するための目標位置の補正と、低速処理による移動する対象物Ｔｇを対象とする目標位置の補正とを並列して実行可能にするとともに、平滑処理により高速処理の周期でサーボモータ１５Ａの位置補正を実行することでサーボモータ１５Ａの位置補正の低遅延化を実現できる。
【0108】
次に、図１０を参照して、平滑化部１１６による平滑化処理の有無によるサーボモータ１５Ａの追従処理について説明する。図１０は、平滑化処理を説明する図である。なお、図１０に示す時刻、各制御指令の出力タイミングは、説明を分かり易くするための例であり、これに限定されないことは言うまでもない。
【0109】
図１０において、二点鎖線は、時刻ｔ２１から時刻ｔ３３への時間経過により変位する対象物Ｔｇの位置（真値）を示す。
【0110】
破線は、低速ビジョン処理装置Ｐ２により得られた目標位置の補正量に対して平滑化処理を実行しない場合の対象物Ｔｇに対するサーボモータ１５Ａの追従位置を示す。また、図１０に示す破線は、各時刻におけるサーボモータ１５Ａの位置ＰＳ２１，ＰＳ２２，ＰＳ２３，ＰＳ２４，ＰＳ２５Ａ，ＰＳ２６Ａ，ＰＳ２７Ａ，ＰＳ２８Ａ，ＰＳ２９Ａ，ＰＳ３０Ａ，ＰＳ３１Ａ，ＰＳ３２Ａ，ＰＳ３３Ａのそれぞれが重畳されている。
【0111】
実線は、低速ビジョン処理装置Ｐ２により得られた目標位置の補正量に対して平滑化処理を実行した場合の対象物Ｔｇに対するサーボモータ１５Ａの追従位置を示す。図１０に示す実線は、各時刻におけるサーボモータ１５Ａの位置を示す位置ＰＳ２１，ＰＳ２２，ＰＳ２３，ＰＳ２４，ＰＳ２５Ｂ，ＰＳ２６Ｂ，ＰＳ２７Ｂ，ＰＳ２８Ｂ，ＰＳ２９Ｂ，ＰＳ３０Ｂ，ＰＳ３１Ｂ，ＰＳ３２Ｂ，ＰＳ３３Ｂのそれぞれが重畳されている。
【0112】
制御指令ＨＳ２１，ＨＳ２２，ＨＳ２３，ＨＳ２４，ＨＳ２５，ＨＳ２６，ＨＳ２７，ＨＳ２８，ＨＳ２９，ＨＳ３０，ＨＳ３１，ＨＳ３２，ＨＳ３３のそれぞれは、高速ビジョン処理部１１Ｂにより得られた目標位置の補正量に基づいて、サーボモータ１５Ａの位置を補正させる電気信号（制御指令）である。制御指令ＨＳ２１～ＨＳ３３のそれぞれは、高速度カメラ１４のフレームレート（例えば、１０００ｆｐｓ）に対応する高速処理の周期で生成および出力される。
【0113】
制御指令ＬＳ２１，ＬＳ２２，ＬＳ２３のそれぞれは、低速ビジョン処理装置Ｐ２の低速処理の周期で出力され、第２目標位置情報を含む電気信号である。制御指令ＬＳ２１～ＬＳ２３のそれぞれに基づく目標位置の補正処理は、各制御指令ＬＳ２１～ＬＳ２３の出力タイミングの後に出力される各制御指令ＨＳ２５，ＨＳ２９，ＨＳ３３に合わせて実行される。
【0114】
したがって、平滑化処理が実行されない場合、アクチュエータ１５は、時刻ｔ２５，ｔ２９，ｔ３３のそれぞれでサーボモータ１５Ａを回転させ、制御指令ＨＳ２５，ＨＳ２９，ＨＳ３３のそれぞれに対応する目標位置の補正量と、制御指令ＬＳ２１～ＬＳ２３に対応する目標位置の補正量とをまとめて補正する。
【0115】
また、平滑化処理が実行される場合、高速ビジョン処理部１１Ｂは、平滑化部１１６による平滑化処理により、次に低速ビジョン処理装置Ｐ２から制御指令が出力されるまでの時間帯（つまり、低速処理１周期分の時間帯であって、例えば、時刻ｔ２５～ｔ２８の時間帯、時刻ｔ２９～ｔ３３の時間帯）で低速ビジョン処理装置Ｐ２により得られた目標位置の補正量を徐々に補正させる。
【0116】
例えば、高速ビジョン処理部１１Ｂは、制御指令ＬＳ２１に対応する目標位置の補正量を平滑化処理する。高速ビジョン処理部１１Ｂは、時刻ｔ２５～時刻ｔ２８の間に実行される各制御指令ＨＳ２５～ＨＳ２８のそれぞれによる目標位置の補正量に、平滑化処理された平滑補正量を加算した補正量の補正指示（制御指令）を生成して、サーボ制御部１３に出力する。これにより、アクチュエータ１５は、サーボモータ１５Ａのトルクの急激な変動を抑制しながら、高速度カメラ１４の揺れ除去と、移動する対象物Ｔｇに対する追従とをリアルタイムに実現できる。
【0117】
平滑化処理が実行されない場合のサーボモータ１５Ａの位置ＰＳ２１～ＰＳ３３Ａは、平滑化処理が実行される場合のサーボモータ１５Ａの位置ＰＳ２１～ＰＳ３３Ｂよりも対象物Ｔｇの位置（二点鎖線）に近い。しかし、平滑化処理を実行する場合、サーボモータ１５Ａの位置は、各制御指令ＨＳ２５，ＨＳ２９，ＨＳ３３のそれぞれが出力される直前のタイミング（時刻ｔ２８，ｔ３２等）で平滑化処理が実行されない場合と同程度に補正される。
【0118】
以上により、実施の形態１の変形例１における高速度画像処理システム１００は、低速処理により得られた目標位置の補正量に基づく位置補正を、複数の高速処理で実行される位置補正で分割して実行することで、高速処理により高速度カメラ１４の揺れを除去するとともに、移動する対象物Ｔｇの追跡をリアルタイムに実現できる。
【0119】
ここで、実施の形態１の変形例１における高速ビジョン処理部１１Ｂは、低速ビジョン処理装置Ｐ２により得られた目標位置の補正量を複数のタイミング（つまり、目標位置補正部１１５Ｂにより得られた目標位置の補正を実行するタイミング）に分割して時間をかけて補正させるため、サーボモータ１５Ａの位置が対象物Ｔｇの位置（真値）に対応する目標位置に追いつくことが困難になるという課題がある。よって、実施の形態１の変形例１における高速ビジョン処理部１１Ｂは、例えば、基板への電子部品の装着等、対象物Ｔｇに対するサーボモータ１５Ａの追跡（追従）精度が要求される利用用途への適用が困難だった。
【0120】
（実施の形態１の変形例２）
実施の形態１の変形例１における高速ビジョン処理部１１Ｂは、低速ビジョン処理装置Ｐ２により得られた目標位置の補正量を、複数のタイミングに分割して補正させる例を示した。実施の形態１の変形例２における高速ビジョン処理部１１Ｃは、次のフレームで撮像される対象物Ｔｇの位置の変位量（移動量）を予測し、予測された対象物Ｔｇの位置の変位量を補正させる例について説明する。
実施の形態１の変形例１における高速ビジョン処理部１１Ｂは、低速ビジョン処理装置Ｐ２により得られた目標位置の補正量を、複数のタイミングに分割して補正させる例を示した。実施の形態１の変形例２における高速ビジョン処理部１１Ｃは、次のフレームで撮像される対象物Ｔｇの位置の変位量（移動量）を予測し、予測された対象物Ｔｇの位置の変位量を補正させる例について説明する。
【0121】
なお、実施の形態１の変形例２における高速ビジョン処理部１１Ｃは、実施の形態１に係る高速ビジョン処理部１１と同様の構成を有する。そこで、以下の実施の形態１の変形例２における高速ビジョン処理部１１Ｃの説明では、高速ビジョン処理部１１と同様の構成には、同一の符号を付与して、説明を省略する。
【0122】
【0123】
また、図１１に示すブロック図において、高速度カメラ１４のフレームレートに対応する速度（例えば、１０００ｆｐｓ）で処理されたデータの入出力、送受信が実行される区間を実線で、低速ビジョン処理装置Ｐ２の画像認識処理速度に対応する速度（例えば、６０ｆｐｓ）で処理されたデータの入出力、送受信が実行される区間を一点鎖線で示す。
【0124】
高速ビジョン処理部１１Ｃは、動き計測部１１１と、追跡画像生成部１１２と、合成用画像生成部１１３と、フレーム合成部１１４と、目標位置補正部１１５Ｃと、予測部１１７とを含む。
【0125】
予測部１１７は、事前に得られた第２目標位置情報に基づく対象物Ｔｇの移動量、移動速度あるいは加速度等に基づいて、次に低速ビジョン処理装置Ｐ２から第２目標位置情報が出力されるタイミングでの対象物Ｔｇの位置を予測する。予測部１１７は、予測された対象物Ｔｇの予測位置情報を目標位置補正部１１５Ｃに出力する。
【0126】
目標位置補正部１１５Ｃは、動き計測部１１１から出力された第１目標位置情報と、予測部１１７から出力された予測位置情報とに基づいて、目標位置の補正量を算出する。また、目標位置補正部１１５Ｃは、事前に低速ビジョン処理装置Ｐ２から第２目標位置情報を取得した場合、第２目標位置情報と、動き計測部１１１から出力された第１目標位置情報と、予測位置情報とに基づいて、目標位置の補正量を算出する。
【0127】
次に、図１２を参照して、高速ビジョン処理部１１Ｃの第４の追跡画像生成処理，補正量算出処理（ステップＳｔ１００Ｃ）手順例について説明する。図１２は、実施の形態１における高速ビジョン処理部１１Ｃの第４の追跡画像生成処理，補正量算出処理手順例を示すシーケンス図である。
【0128】
なお、図１２に示す第４の追跡画像生成処理，補正量算出処理において、ステップＳｔ１０１～ステップＳｔ１１４のそれぞれの処理は、図５で説明したステップＳｔ１０１～ステップＳｔ１１４のそれぞれの処理と同様であるため、説明を省略する。
【0129】
予測部１１７は、事前の低速処理により得られた対象物Ｔｇの移動量に基づいて、次の目標位置の補正処理（ステップＳｔ１５）のタイミングまでに移動する対象物Ｔｇの予測位置を予測する（Ｓｔ１４１）。予測部１１７は、予測された対象物Ｔｇの予測位置情報を目標位置補正部１１５Ｃに出力する（Ｓｔ１４２）。
【0130】
目標位置補正部１１５Ｃは、予測部１１７から出力された対象物Ｔｇの予測位置と、動き計測部１１１から出力された第１目標位置情報とに基づいて、目標位置の補正量を算出する（Ｓｔ１１５Ｃ）。
【0131】
以上により、実施の形態１の変形例２における高速ビジョン処理部１１Ｃは、対象物Ｔｇの予測位置に基づく目標位置の補正を高速処理で実行することで、低速ビジョン処理装置Ｐ２から出力された第２目標位置情報に基づく目標位置の補正量をより小さくすることができ、補正時のサーボモータ１５Ａのトルクの急激な変化を抑制できる。
【0132】
次に、図１３を参照して、予測部１１７による予測処理の有無によるサーボモータ１５Ａの追従処理について説明する。図１３は、予測処理を説明する図である。なお、図１３に示す時刻、各制御指令の出力タイミングは、説明を分かり易くするための例であり、これに限定されないことは言うまでもない。また、図１３では対象物Ｔｇが等速直線運動する例について示す。
【0133】
図１３において、二点鎖線は、時刻ｔ２１から時刻ｔ３３への時間経過により変位する対象物Ｔｇの位置（真値）を示す。
【0134】
破線は、低速ビジョン処理装置Ｐ２により得られた目標位置の補正量に対して予測処理を実行しない場合の対象物Ｔｇに対するサーボモータ１５Ａの追従位置を示す。また、図１３に示す破線は、各時刻におけるサーボモータ１５Ａの位置ＰＳ２１～ＰＳ３３Ａのそれぞれが重畳されている。
【0135】
実線は、対象物Ｔｇの予測位置に基づく目標位置の補正処理を実行した場合の対象物Ｔｇに対するサーボモータ１５Ａの追従位置を示す。
【0136】
制御指令ＨＳ２１～ＨＳ３３のそれぞれは、動き計測部１１１から出力された第１目標位置情報に対応する目標位置の補正量に基づいて、サーボモータ１５Ａの位置を補正させる電気信号である。制御指令ＨＳ２１～ＨＳ３３のそれぞれは、高速度カメラ１４のフレームレート（例えば、１０００ｆｐｓ）に対応する高速処理の周期で生成および出力される。
【0137】
制御指令ＬＳ２１，ＬＳ２２，ＬＳ２３のそれぞれは、低速ビジョン処理装置Ｐ２の低速処理の周期で出力され、第２目標位置情報を含む電気信号である。制御指令ＬＳ２１～ＬＳ２３のそれぞれに基づく目標位置の補正処理は、各制御指令ＬＳ２１～ＬＳ２３の出力タイミングの後に出力される各制御指令ＨＳ２５，ＨＳ２９，ＨＳ３３に合わせて実行される。
【0138】
高速ビジョン処理部１１Ｃは、予測部１１７から対象物Ｔｇの予測位置情報と、動き計測部１１１から出力された第１目標位置情報とに基づいて、制御指令ＨＳ２２～ＨＳ３３のそれぞれでの目標位置の補正量を算出する。なお、高速ビジョン処理部１１Ｃは、予測位置情報に基づく目標位置の補正量を、低速処理の１周期であって、次に低速ビジョン処理装置Ｐ２から第２目標位置情報を含む制御指令が出力されるまでの時間帯（例えば、時刻ｔ２５～ｔ２８の時間帯、時刻ｔ２９～ｔ３２の時間帯）で補正してもよい。このような場合、高速ビジョン処理部１１Ｃは、予測位置情報に基づく目標位置の補正量を、次に低速ビジョン処理装置Ｐ２から第２目標位置情報を含む制御指令が出力されるまでの時間帯で実行される目標位置の補正回数で除算して得られる補正量で補正してよい。
【0139】
以上により、実施の形態１の変形例２における高速度画像処理システム１００は、予測部１１７により予測された対象物Ｔｇの予測位置により得られた目標位置の補正量に基づく位置補正を複数の高速処理で実行することで、サーボモータ１５Ａのトルクの急激な変動を抑制しながら、高速処理により高速度カメラ１４の揺れを除去するとともに、移動する対象物Ｔｇの追跡をリアルタイムに実現できる。また、高速度画像処理システム１００は、対象物Ｔｇの予測位置に基づく目標位置の補正を実行するまでの間（例えば、時刻ｔ２１～時刻ｔ２４までの間）、サーボモータ１５Ａの追従が間に合わないが、対象物Ｔｇの予測位置に基づく目標位置の補正を実行することで、サーボモータ１５Ａの位置を対象物Ｔｇの位置（真値）にリアルタイムに追従させることができる。
【0140】
次に、図１４を参照して、予測部１１７による予測処理の有無によるサーボモータ１５Ａの追従処理について説明する。図１４は、予測処理を説明する図である。なお、図１４に示す時刻、各制御指令の出力タイミングは、説明を分かり易くするための例であり、これに限定されないことは言うまでもない。また、図１４では対象物Ｔｇが等速直線運動しない例について示す。
【0141】
図１４において、二点鎖線は、時刻ｔ４１から時刻ｔ５２への時間経過により変位する対象物Ｔｇの位置（真値）を示す。
【0142】
破線は、低速ビジョン処理装置Ｐ２により得られた目標位置の補正量に対して予測処理を実行しない場合の対象物Ｔｇに対するサーボモータ１５Ａの追従位置を示す。また、図１４に示す破線は、各時刻におけるサーボモータ１５Ａの位置ＰＳ４１Ａ，ＰＳ４２Ａ，ＰＳ４３Ａ，ＰＳ４４Ａ，ＰＳ４５Ａ，ＰＳ４６Ａ，ＰＳ４７Ａ，ＰＳ４８Ａ，ＰＳ４９Ａ，ＰＳ５０Ａ，ＰＳ５１Ａ，ＰＳ５２Ａのそれぞれが重畳されている。
【0143】
実線は、対象物Ｔｇの予測位置に基づく目標位置の補正処理を実行した場合の対象物Ｔｇに対するサーボモータ１５Ａの追従位置を示す。
【0144】
制御指令ＨＳ４１，ＨＳ４２，ＨＳ４３，ＨＳ４４，ＨＳ４５，ＨＳ４６，ＨＳ４７，ＨＳ４８，ＨＳ４９，ＨＳ５０，ＨＳ５１，ＨＳ５２，ＨＳ５３のそれぞれは、動き計測部１１１から出力された第１目標位置情報に対応する目標位置の補正量に基づいて、サーボモータ１５Ａの位置を補正させる電気信号（制御指令）である。制御指令ＨＳ４１～ＨＳ５２のそれぞれは、高速度カメラ１４のフレームレート（例えば、１０００ｆｐｓ）に対応する高速処理の周期に合わせて生成および出力される。
【0145】
制御指令ＬＳ４１，ＬＳ４２のそれぞれは、低速ビジョン処理装置Ｐ２の低速処理の周期で出力され、第２目標位置情報を含む電気信号である。制御指令ＬＳ２１～ＬＳ２３のそれぞれに基づく目標位置の補正処理は、各制御指令ＬＳ２１～ＬＳ２３の出力タイミングの後に出力される各制御指令ＨＳ４５，ＨＳ４９に合わせて実行される。
【0146】
図１４に示す例において、予測部１１７は、時刻ｔ４１～時刻ｔ４４の間の対象物Ｔｇの移動量、移動速度、あるいは加速度等の情報に基づいて、時刻ｔ４８における対象物Ｔｇの予測位置を算出する。予測部１１７は、対象物Ｔｇの予測位置情報を目標位置補正部１１５Ｃに出力する。
【0147】
目標位置補正部１１５Ｃは、時刻ｔ４１～時刻ｔ４４のそれぞれで、動き計測部１１１から出力された第１目標位置情報に基づく目標位置の補正量を算出し、算出された目標位置の補正量を含む制御指令ＨＳ４１～ＨＳ４４をサーボ制御部１３に出力する。
【0148】
目標位置補正部１１５Ｃは、時刻ｔ４５で、動き計測部１１１から出力された第１目標位置情報と、低速ビジョン処理装置Ｐ２から出力された第２目標位置情報とに基づく目標位置の補正を算出し、算出された目標位置の補正量を含む制御指令ＨＳ４５をサーボ制御部１３に出力する。
【0149】
目標位置補正部１１５Ｃは、時刻ｔ４６～時刻ｔ４８のそれぞれで、動き計測部１１１から出力された第１目標位置情報と、予測部１１７から出力された予測位置情報とに基づく目標位置の補正量を算出し、算出された目標位置の補正量を含む制御指令ＨＳ４６～ＨＳ４８をサーボ制御部１３に出力する。
【0150】
予測部１１７は、時刻ｔ４５～時刻ｔ４８の間の対象物Ｔｇの移動量、移動速度、あるいは加速度等の情報に基づいて、時刻ｔ５２における対象物Ｔｇの予測位置を算出する。予測部１１７は、対象物Ｔｇの予測位置情報を目標位置補正部１１５Ｃに出力する。
【0151】
目標位置補正部１１５Ｃは、時刻ｔ４９で、動き計測部１１１から出力された第１目標位置情報と、低速ビジョン処理装置Ｐ２から出力された第２目標位置情報とに基づく目標位置の補正を算出し、算出された目標位置の補正量を含む制御指令ＨＳ４９をサーボ制御部１３に出力する。
【0152】
目標位置補正部１１５Ｃは、時刻ｔ５０～時刻ｔ５２のそれぞれで、動き計測部１１１から出力された第１目標位置情報と、予測部１１７から出力された予測位置情報とに基づく目標位置の補正量を算出し、算出された目標位置の補正量を含む制御指令ＨＳ５０～ＨＳ５２をサーボ制御部１３に出力する。
【0153】
これにより、高速ビジョン処理部１１Ｃは、対象物Ｔｇが等速直線運動をしない場合であっても、対象物Ｔｇの移動量、移動速度、あるいは加速度等の情報に基づいて、対象物Ｔｇの予測位置を算出できる。
【0154】
以上により、実施の形態１の変形例２における高速度画像処理システム１００は、予測部１１７により予測された対象物Ｔｇの予測位置により得られた目標位置の補正量に基づく位置補正を複数の高速処理で実行することで、サーボモータ１５Ａのトルクの急激な変動を抑制しながら、高速処理により高速度カメラ１４の揺れを除去するとともに、移動する対象物Ｔｇの追跡をリアルタイムに実現できる。また、高速度画像処理システム１００は、対象物Ｔｇの加速度が変動したタイミング（例えば、時刻ｔ４５等）から予測位置に基づく目標位置の補正を実行するまでの間（例えば、時刻ｔ４５～時刻ｔ４８までの間）はサーボモータ１５Ａの追従が間に合わないが、対象物Ｔｇの予測位置に基づく目標位置の補正を実行することで、移動する対象物Ｔｇの追跡をリアルタイムに実現できる。
【0155】
ここで、実施の形態１の変形例２における高速ビジョン処理部１１Ｃは、過去の対象物Ｔｇの移動量、移動速度、あるいは加速度等の情報に基づいて、対象物Ｔｇの位置を予測する。よって、対象物Ｔｇに対するサーボモータ１５Ａの追従精度は、対象物Ｔｇの位置の予測精度に依存するという課題がある。
【0156】
（実施の形態１の変形例３）
実施の形態１の変形例２における高速ビジョン処理部１１Ｃは、過去の対象物Ｔｇの移動量、移動速度、あるいは加速度等の情報に基づく対象物Ｔｇの予測位置に基づいて、サーボモータ１５Ａの目標位置を補正させる例を示した。実施の形態１の変形例３における高速ビジョン処理部１１Ｄは、対象物Ｔｇの予測位置に基づく目標位置の補正量を平滑化させ、平滑化後の平滑補正量に基づいて、サーボモータ１５Ａの目標位置を補正させる例について説明する。
実施の形態１の変形例２における高速ビジョン処理部１１Ｃは、過去の対象物Ｔｇの移動量、移動速度、あるいは加速度等の情報に基づく対象物Ｔｇの予測位置に基づいて、サーボモータ１５Ａの目標位置を補正させる例を示した。実施の形態１の変形例３における高速ビジョン処理部１１Ｄは、対象物Ｔｇの予測位置に基づく目標位置の補正量を平滑化させ、平滑化後の平滑補正量に基づいて、サーボモータ１５Ａの目標位置を補正させる例について説明する。
【0157】
なお、実施の形態１の変形例３における高速ビジョン処理部１１Ｄは、実施の形態１に係る高速ビジョン処理部１１と同様の構成を有する。そこで、以下の実施の形態１の変形例３における高速ビジョン処理部１１Ｄの説明では、高速ビジョン処理部１１と同様の構成には、同一の符号を付与して、説明を省略する。
【0158】
【0159】
また、図１５に示すブロック図において、高速度カメラ１４のフレームレートに対応する速度（例えば、１０００ｆｐｓ）で処理されたデータの入出力あるいは送受信が実行される区間を実線で、低速ビジョン処理装置Ｐ２の画像認識処理速度に対応する速度（例えば、６０ｆｐｓ）で処理されたデータの入出力あるいは送受信が実行される区間を一点鎖線で示す。
【0160】
高速ビジョン処理部１１Ｄは、動き計測部１１１と、追跡画像生成部１１２と、合成用画像生成部１１３と、フレーム合成部１１４と、目標位置補正部１１５Ｄと、平滑化部１１６と、予測部１１７とを含む。
【0161】
平滑化部１１６は、低速ビジョン処理装置Ｐ２により得られる目標位置の補正量を滑らかに補正（反映）するために、１回の補正処理（高速処理）で補正される補正量（平滑補正量）を決定するための一定比率の情報を目標位置補正部１１５Ｄに出力する。
【0162】
予測部１１７は、事前に得られた第２目標位置情報に基づく対象物Ｔｇの移動量、移動速度、あるいは加速度等に基づいて、次に低速ビジョン処理装置Ｐ２から第２目標位置情報が出力されるタイミングでの対象物Ｔｇの予測位置を予測する。予測部１１７は、予測された対象物Ｔｇの予測位置情報を目標位置補正部１１５Ｄに出力する。
【0163】
目標位置補正部１１５Ｄは、低速ビジョン処理装置Ｐ２から出力された第２目標位置情報、あるいは予測部１１７から出力された予測位置情報に基づく目標位置の補正量に、平滑化部１１６から出力された一定比率を乗じて得られる平滑補正量を算出する。目標位置補正部１１５Ｄは、動き計測部１１１から出力された第１目標位置情報と、算出された平滑補正量とに基づいて、サーボ制御部１３に出力される制御指令に含まれるサーボモータ１５Ａの目標位置の補正量を算出する。
【0164】
次に、図１６を参照して、高速ビジョン処理部１１Ｄの第５の追跡画像生成処理，補正量算出処理（ステップＳｔ１００Ｄ）手順例について説明する。図１６は、実施の形態１における高速ビジョン処理部１１Ｄの第５の追跡画像生成処理，補正量算出処理手順例を示すシーケンス図である。
【0165】
なお、図１６に示す第５の追跡画像生成処理，補正量算出処理において、ステップＳｔ１０１～ステップＳｔ１１４のそれぞれの処理は、図５で説明したステップＳｔ１０１～ステップＳｔ１１４のそれぞれの処理と同様であるため、説明を省略する。
【0166】
平滑化部１１６は、次の目標位置の補正処理（ステップＳｔ１５）のタイミングで反映され、低速処理により得られた目標位置の補正量に対し、１回の補正処理（高速処理）で補正される平滑補正量を決定するための一定比率の情報を読み出す（Ｓｔ１３１）。平滑化部１１６は、読み出された一定比率の情報を目標位置補正部１１５Ｄに出力する（Ｓｔ１３２）。
【0167】
予測部１１７は、事前の低速処理により得られた対象物Ｔｇの移動量に基づいて、次の目標位置の補正処理（ステップＳｔ１５）のタイミングまでに移動する対象物Ｔｇの予測位置を予測する（Ｓｔ１４１）。予測部１１７は、予測された対象物Ｔｇの予測位置情報を目標位置補正部１１５Ｄに出力する（Ｓｔ１４２）。
【0168】
目標位置補正部１１５Ｄは、予測部１１７から出力された予測位置情報に基づく目標位置の補正量に、平滑化部１１６から出力された一定比率を乗じて得られる平滑補正量を算出する。目標位置補正部１１５Ｄは、算出された平滑補正量と、動き計測部１１１から出力された第１目標位置情報に基づく目標位置の補正量とに基づいて、サーボ制御部１３に出力される制御指令に含まれるサーボモータ１５Ａの目標位置の補正量を算出する（Ｓｔ１１５Ｄ）。
【0169】
以上により、実施の形態１の変形例３における高速ビジョン処理部１１Ｄは、対象物Ｔｇの予測位置に基づく目標位置の補正を平滑化することで、対象物Ｔｇの位置の予測精度が外れた場合であってもサーボモータ１５Ａのトルクの急激な変化を抑制しながらサーボモータ１５Ａの位置を補正できる。また、高速ビジョン処理部１１Ｄは、予測位置に基づく目標位置の補正により対象物Ｔｇの位置と、サーボモータ１５Ａに基づく高速度カメラ１４の位置との差を徐々に解消させることができる。
【0170】
次に、図１７を参照して、平滑化処理あるいは予測処理の有無によるサーボモータ１５Ａの追従処理について説明する。図１７は、予測処理を説明する図である。なお、図１７に示す時刻、各制御指令の出力タイミングは、説明を分かり易くするための例であり、これに限定されないことは言うまでもない。また、図１７では対象物Ｔｇが等速直線運動する例について示す。
【0171】
図１７において、二点鎖線は、時刻ｔ２１から時刻ｔ３３への時間経過により変位する対象物Ｔｇの位置（真値）を示す。
【0172】
破線は、低速ビジョン処理装置Ｐ２により得られた目標位置の補正量に対して平滑化・予測処理を実行しない場合の対象物Ｔｇに対するサーボモータ１５Ａの追従位置を示す。また、図１７に示す破線は、各時刻におけるサーボモータ１５Ａの位置ＰＳ２１～ＰＳ３３Ａのそれぞれが重畳されている。
【0173】
実線は、平滑化・予測処理を実行した場合の対象物Ｔｇに対するサーボモータ１５Ａの追従位置を示す。また、図１７に示す実線は、各時刻におけるサーボモータ１５Ａの位置ＰＳ２１，ＰＳ２２，ＰＳ２３，ＰＳ２４，ＰＳ２５Ｄ，ＰＳ２６Ｄ，ＰＳ２７Ｄ，ＰＳ２８Ｄ，ＰＳ２９Ｄ，ＰＳ３０Ｄ，ＰＳ３１Ｄ，ＰＳ３２Ｄ，ＰＳ３３Ｄのそれぞれが重畳されている。
【0174】
図１７に示す例において、予測部１１７は、時刻ｔ２１～時刻ｔ２４の間の対象物Ｔｇの移動量、移動速度、あるいは加速度等の情報に基づいて、時刻ｔ２８における対象物Ｔｇの予測位置を算出する。予測部１１７は、対象物Ｔｇの予測位置情報を目標位置補正部１１５Ｄに出力する。
【0175】
目標位置補正部１１５Ｄは、時刻ｔ２１～時刻ｔ２４のそれぞれで、動き計測部１１１から出力された第１目標位置情報に基づく目標位置の補正量を算出し、算出された目標位置の補正量を含む制御指令ＨＳ２１～ＨＳ２４をサーボ制御部１３に出力する。
【0176】
目標位置補正部１１５Ｄは、時刻ｔ２５で、動き計測部１１１から出力された第１目標位置情報と、低速ビジョン処理装置Ｐ２から出力された第２目標位置情報とに基づく目標位置の補正を算出し、算出された目標位置の補正量を含む制御指令ＨＳ２５をサーボ制御部１３に出力する。
【0177】
目標位置補正部１１５Ｄは、低速ビジョン処理装置Ｐ２から出力された第２目標位置情報と、予測部１１７から出力された予測位置情報とに基づく目標位置の補正量に一定比率を乗じて、時刻ｔ２５～時刻ｔ２８のそれぞれで補正する平滑補正量を算出する。目標位置補正部１１５Ｄは、時刻ｔ２５で、動き計測部１１１から出力された第１目標位置情報と、算出された平滑補正量に基づく目標位置の補正を算出し、算出された目標位置の補正量を含む制御指令ＨＳ２５をサーボ制御部１３に出力する。
【0178】
目標位置補正部１１５Ｄは、時刻ｔ２６～時刻ｔ２８のそれぞれで、動き計測部１１１から出力された第１目標位置情報と、平滑補正量とに基づく目標位置の補正量を算出し、算出された目標位置の補正量を含む制御指令ＨＳ２６～ＨＳ２８をサーボ制御部１３に出力する。
【0179】
予測部１１７は、時刻ｔ２５～時刻ｔ２８の間の対象物Ｔｇの移動量、移動速度、あるいは加速度等の情報に基づいて、時刻ｔ３２における対象物Ｔｇの予測位置を算出する。予測部１１７は、対象物Ｔｇの予測位置情報を目標位置補正部１１５Ｄに出力する。
【0180】
目標位置補正部１１５Ｄは、低速ビジョン処理装置Ｐ２から出力された第２目標位置情報と、予測部１１７から出力された予測位置情報とに基づく目標位置の補正量に一定比率を乗じて、時刻ｔ２９～時刻ｔ３２のそれぞれで補正する平滑補正量を算出する。目標位置補正部１１５Ｄは、時刻ｔ２９で、動き計測部１１１から出力された第１目標位置情報と、算出された平滑補正量に基づく目標位置の補正を算出し、算出された目標位置の補正量を含む制御指令ＨＳ２９～ＨＳ３２をサーボ制御部１３に出力する。なお、図１７に示す例において、サーボモータ１５Ａの位置は、時刻ｔ３３において対象物Ｔｇの位置に追いつく。
【0181】
これにより、高速ビジョン処理部１１Ｄは、対象物Ｔｇの予測位置に基づく目標位置の補正を平滑化することで、対象物Ｔｇの位置の予測精度が外れた場合であってもサーボモータ１５Ａのトルクの急激な変化を抑制しながらサーボモータ１５Ａの位置の補正できる。また、高速ビジョン処理部１１Ｄは、予測位置に基づく目標位置の補正により対象物Ｔｇの位置と、サーボモータ１５Ａに基づく高速度カメラ１４の位置との差を徐々に解消させることができる。
【0182】
次に、図１８を参照して、平滑化処理あるいは予測処理の有無によるサーボモータ１５Ａの追従処理について説明する。図１８は、予測処理を説明する図である。なお、図１８に示す時刻、各制御指令の出力タイミングは、説明を分かり易くするための例であり、これに限定されないことは言うまでもない。また、図１８では対象物Ｔｇが等速直線運動しない例について示す。
【0183】
図１８において、二点鎖線は、時刻ｔ４１から時刻ｔ５３への時間経過により変位する対象物Ｔｇの位置（真値）を示す。
【0184】
破線は、低速ビジョン処理装置Ｐ２により得られた目標位置の補正量に対して平滑化・予測処理を実行しない場合の対象物Ｔｇに対するサーボモータ１５Ａの追従位置を示す。また、図１８に示す破線は、各時刻におけるサーボモータ１５Ａの位置ＰＳ４１～ＰＳ３５Ａのそれぞれが重畳されている。
【0185】
実線は、平滑化・予測処理を実行した場合の対象物Ｔｇに対するサーボモータ１５Ａの追従位置を示す。
【0186】
図１７に示す例において、予測部１１７は、時刻ｔ４１～時刻ｔ４４の間の対象物Ｔｇの移動量、移動速度、あるいは加速度等の情報に基づいて、時刻ｔ４８における対象物Ｔｇの予測位置を算出する。予測部１１７は、対象物Ｔｇの予測位置情報を目標位置補正部１１５Ｄに出力する。
【0187】
目標位置補正部１１５Ｄは、時刻ｔ４１～時刻ｔ４４のそれぞれで、動き計測部１１１から出力された第１目標位置情報に基づく目標位置の補正量を算出し、算出された目標位置の補正量を含む制御指令ＨＳ４１～ＨＳ４４をサーボ制御部１３に出力する。
【0188】
目標位置補正部１１５Ｄは、時刻ｔ４５で、動き計測部１１１から出力された第１目標位置情報と、低速ビジョン処理装置Ｐ２から出力された第２目標位置情報とに基づく目標位置の補正を算出し、算出された目標位置の補正量を含む制御指令ＨＳ４５をサーボ制御部１３に出力する。
【0189】
目標位置補正部１１５Ｄは、低速ビジョン処理装置Ｐ２から出力された第２目標位置情報と、予測部１１７から出力された予測位置情報とに基づく目標位置の補正量に一定比率を乗じて、時刻ｔ４５～時刻ｔ４８のそれぞれで補正する平滑補正量を算出する。目標位置補正部１１５Ｄは、時刻ｔ４５で、動き計測部１１１から出力された第１目標位置情報と、算出された平滑補正量に基づく目標位置の補正を算出し、算出された目標位置の補正量を含む制御指令ＨＳ４５をサーボ制御部１３に出力する。
【0190】
目標位置補正部１１５Ｄは、時刻ｔ４６～時刻ｔ４８のそれぞれで、動き計測部１１１から出力された第１目標位置情報と、平滑補正量とに基づく目標位置の補正量を算出し、算出された目標位置の補正量を含む制御指令ＨＳ４６～ＨＳ４８をサーボ制御部１３に出力する。
【0191】
予測部１１７は、時刻ｔ４５～時刻ｔ４８の間の対象物Ｔｇの移動量、移動速度、あるいは加速度等の情報に基づいて、時刻ｔ５２における対象物Ｔｇの予測位置を算出する。予測部１１７は、対象物Ｔｇの予測位置情報を目標位置補正部１１５Ｄに出力する。
【0192】
目標位置補正部１１５Ｄは、低速ビジョン処理装置Ｐ２から出力された第２目標位置情報と、予測部１１７から出力された予測位置情報とに基づく目標位置の補正量に一定比率を乗じて、時刻ｔ４９～時刻ｔ５２のそれぞれで補正する平滑補正量を算出する。目標位置補正部１１５Ｄは、時刻ｔ４９で、動き計測部１１１から出力された第１目標位置情報と、算出された平滑補正量に基づく目標位置の補正を算出し、算出された目標位置の補正量を含む制御指令ＨＳ４９をサーボ制御部１３に出力する。
【0193】
以上により、実施の形態１の変形例３における高速度画像処理システム１００は、サーボモータ１５Ａのトルクの急激な変動を抑制しながら、対象物Ｔｇに対するサーボモータ１５Ａの位置を補正できる。また、高速度画像処理システム１００は、対象物Ｔｇの加速度が変動したタイミング（例えば、時刻ｔ４５等）から予測位置に基づく目標位置の補正を実行するまでの間（例えば、時刻ｔ４５～時刻ｔ４８までの間）、サーボモータ１５Ａの追従が間に合わないが、対象物Ｔｇの予測位置に基づく目標位置の補正を実行することで、サーボモータ１５Ａに基づく高速度カメラ１４の位置を対象物Ｔｇの位置（真値）との位置の差を徐々に小さくすることができる。
【0194】
以上により、実施の形態１および実施の形態１の変形例１～３における演算装置Ｐ１１は、サーボモータ１５Ａ（駆動デバイスの一例）と対象物Ｔｇ（被写体の一例）を撮像する高速度カメラ１４（カメラの一例）との間で通信可能であって、高速度カメラ１４により撮像された複数のフレームを取得し、複数のフレーム間における対象物Ｔｇの第１の動き量を計測し、計測された対象物Ｔｇの第１の動き量に基づいて、サーボモータ１５Ａの位置を補正する第１補正量（つまり、高速度カメラ１４の揺れ補正量）を算出する高速ビジョン処理（並行処理ＰＡＲ１）と、高速ビジョン処理の処理周期よりも長い処理周期を有し、少なくとも１個のフレームに写る対象物Ｔｇの認識位置に基づいて、サーボモータ１５Ａの位置を補正する第２補正量（つまり、対象物Ｔｇの位置に基づくサーボモータ１５Ａの位置補正量）を算出する低速ビジョン処理（第２ループ処理ＬＰ２）と、を実行し、第１補正量および第２補正量のうち少なくとも一方に基づく制御指令を生成してサーボモータ１５Ａに出力する。
【0195】
これにより、実施の形態１および実施の形態１の変形例１～３における演算装置Ｐ１１は、２枚のフレーム間に写る対象物Ｔｇの動き量の計測処理を高速化することができ、高速度カメラ１４の揺れ等に起因する対象物Ｔｇに対するサーボモータ１５Ａの位置を補正するための補正量をリアルタイムに算出し、出力することができる。これにより、アクチュエータ１５は、画像認識処理による対象物Ｔｇを認識するまでの間、対象物Ｔｇに対する所定の作業を一時的に停止したり、作業速度を低下させたりすることなく実行できるため、作業効率を向上できる。
【0196】
以上により、実施の形態１および実施の形態１の変形例１～３における演算装置Ｐ１１は、第１補正量および第２補正量に基づく第１制御指令、または第１補正量に基づく第２制御指令を生成して、サーボモータ１５Ａに出力する。これにより、実施の形態１および実施の形態１の変形例１～３における演算装置Ｐ１１は、低速ビジョン処理装置Ｐ２の処理周期に対応する制御指令と、高速度カメラ１４のフレームレートに対応する周期に対応する制御指令とによって、サーボモータ１５Ａの位置をそれぞれ補正できるため、高速度カメラ１４の揺れをリアルタイムに除去できる。
【0197】
また、実施の形態１および実施の形態１の変形例１～３における第１制御指令は、低速ビジョン処理の処理周期に対応して出力される。第２制御指令は、高速ビジョン処理の処理周期に対応して出力される。これにより、実施の形態１および実施の形態１の変形例１～３における演算装置Ｐ１１は、高速度カメラ１４のフレームレートに対応する周期でサーボモータ１５Ａの位置を補正できるため、高速度カメラ１４の揺れを除去できる。
【0198】
また、実施の形態１および実施の形態１の変形例１～３における演算装置Ｐ１１は、演算装置Ｐ１１との間で通信可能であって、対象物Ｔｇの位置を認識可能な低速ビジョン処理装置Ｐ２（外部装置の一例）に合成画像を送信し、対象物Ｔｇの認識位置を低速ビジョン処理装置Ｐ２から取得する。これにより、実施の形態１および実施の形態１の変形例１～３における演算装置Ｐ１１は、低速ビジョン処理装置Ｐ２により合成画像を用いて、対象物Ｔｇのより高精度な位置認識を実行することができる。演算装置Ｐ１１は、低速処理で得られた対象物Ｔｇの位置と、高速処理で得られた高速度カメラ１４の揺れ量とを用いることで、より高精度にサーボモータ１５Ａの位置を補正できる。
【0199】
また、実施の形態１および実施の形態１の変形例１～３における演算装置Ｐ１１は、フレームをＫ（Ｋ：２以上の整数）個合成した合成画像を生成し（並行処理ＰＡＲ２）、合成画像に写る対象物Ｔｇの認識位置に基づいて、第２補正量を算出する。これにより、実施の形態１および実施の形態１の変形例１～３における演算装置Ｐ１１は、フレームの外乱あるいは露光時間の短さに起因する揺れ（ブラー）を効果的に除去した合成画像を生成することで、画像認識処理に適した合成画像を生成し、合成画像を低速画像処理することにより対象物Ｔｇの位置ずれを高精度に補正できる。よって、演算装置Ｐ１１は、低速ビジョン処理装置Ｐ２で実行される画像認識処理により適した画像（合成画像）を生成でき、対象物Ｔｇのより高精度な位置認識を実行することができる。
【0200】
また、実施の形態１および実施の形態１の変形例１～３における演算装置Ｐ１１は、低速ビジョン処理において、Ｋ個のフレームのそれぞれに写る対象物Ｔｇの位置を推定し、推定された対象物Ｔｇの推定位置と、対象物Ｔｇの基準位置を示す第０フレームに写る対象物Ｔｇの位置とに基づいて、第０フレームと第Ｋフレームとの間の対象物Ｔｇの第３の動き量を計測し、対象物Ｔｇの第３の動き量に基づいて、第Ｋフレームを第０フレームに合成する合成処理をＫ回繰り返し実行して、合成画像を生成する。これにより、実施の形態１および実施の形態１の変形例１～３における演算装置Ｐ１１は、画像認識処理における認識対象である対象物Ｔｇに対するブラーを優先的に除去した合成画像を生成できるため、低速ビジョン処理装置Ｐ２で実行される画像認識処理により適した画像（合成画像）を生成できる。
【0201】
また、実施の形態１および実施の形態１の変形例１～３における演算装置Ｐ１１は、低速ビジョン処理において、対象物Ｔｇの認識位置と、第３の動き量とに基づいて、第２補正量を算出する。これにより、実施の形態１および実施の形態１の変形例１～３における演算装置Ｐ１１は、対象物Ｔｇの位置に対する高速度カメラ１４（つまり、作業装置Ｐ１）の位置を算出でき、高速度カメラ１４の位置ずれ量を補正可能な第２補正量を算出できる。
【0202】
また、実施の形態１における演算装置Ｐ１１は、サーボモータ１５Ａの位置情報を取得し、低速ビジョン処理において、対象物Ｔｇの認識位置と、サーボモータ１５Ａの位置情報と、第Ｋフレームに写る対象物Ｔｇの位置とに基づいて、対象物Ｔｇの第３の動き量を計測する。これにより、実施の形態１における演算装置Ｐ１１は、対象物Ｔｇの第３の動き量をより高精度に計測できる。
【0203】
また、実施の形態１における演算装置Ｐ１１は、サーボモータ１５Ａの位置情報を取得し、高速ビジョン処理において、次に取得される最新フレームに写る対象物Ｔｇの位置を推定して、最新フレームを取得し、推定された対象物Ｔｇの推定位置と、サーボモータ１５Ａの位置情報と、最新フレームに写る対象物Ｔｇの位置とに基づいて、連続する２つのフレーム間における対象物Ｔｇの第１の動き量を計測する。これにより、実施の形態１演算装置Ｐ１１は、高速度カメラ１４の揺れ量、高速度カメラ１４の揺れの加速度等をより高精度に算出できる。
【0204】
また、実施の形態１の変形例１における演算装置Ｐ１１は、低速ビジョン処理により算出された第２補正量を、所定数（例えば、低速処理が１回実行される間に実行される高速処理の回数等）で分割した第３補正量を算出し、第２制御指令の生成を省略するとともに、第１補正量と第３補正量とに基づく第１制御指令を生成してサーボモータ１５Ａに出力する処理を所定数繰り返し実行する。これにより、実施の形態１の変形例１における演算装置Ｐ１１は、目標位置の補正量の平滑化を実行することで、サーボモータ１５Ａのトルクの急激な変化を抑制できる。また、演算装置Ｐ１１は、高速処理による高速度カメラ１４の揺れを除去するための目標位置の補正と、低速処理による移動する対象物Ｔｇを対象とする目標位置の補正とを並列して実行可能にするとともに、平滑処理により高速処理でサーボモータ１５Ａの位置補正を実行することでサーボモータ１５Ａの位置補正の低遅延化を実現できる。
【0205】
また、実施の形態１の変形例１における演算装置Ｐ１１は、第２制御指令に基づいて補正されるサーボモータ１５Ａの位置の補正上限を記憶し、低速ビジョン処理により算出された第２補正量がサーボモータ１５Ａの位置の補正上限以上であると判定した場合、第２制御指令の生成を省略するとともに、第１補正量と第３補正量とに基づく第１制御指令を生成してサーボモータ１５Ａに出力する処理を所定数繰り返し実行する。これにより、実施の形態１の変形例１における演算装置Ｐ１１は、サーボモータ１５Ａの位置補正によりサーボモータ１５Ａのトルクの急激な変化が発生しうる補正上限を超えた場合にのみ、平滑処理を実行できる。
【0206】
また、実施の形態１の変形例２における演算装置Ｐ１１は、次の低速ビジョン処理において認識される対象物Ｔｇの認識位置を推定し、少なくとも１個のフレームに写る対象物Ｔｇの認識位置と、推定された対象物Ｔｇの認識位置とに基づいて、対象物Ｔｇの第４の動き量を算出し、第１補正量と、第４の動き量とに基づいて、第１制御指令を生成する。これにより、実施の形態１の変形例２における演算装置Ｐ１１は、対象物Ｔｇの予測位置に基づく目標位置の補正を高速処理で実行することで、低速ビジョン処理装置Ｐ２から出力された第２目標位置情報に基づく目標位置の補正量をより小さくすることができ、補正時のサーボモータ１５Ａのトルクの急激な変化を抑制できる。
【0207】
また、実施の形態１の変形例３における演算装置Ｐ１１は、低速ビジョン処理により算出された第２補正量を、所定数（例えば、低速処理が１回実行される間に実行される高速処理の回数等）で分割した第３補正量を算出し、次の低速ビジョン処理において認識される対象物Ｔｇの認識位置を推定し、少なくとも１個のフレームに写る対象物Ｔｇの認識位置と、推定された対象物Ｔｇの認識位置とに基づいて、対象物Ｔｇの第４の動き量を算出し、第１補正量と、第３補正量と、第４の動き量とに基づく第１制御指令を生成してサーボモータ１５Ａに出力する処理を所定数繰り返し実行する。これにより、実施の形態１の変形例３における演算装置Ｐ１１は、対象物Ｔｇの予測位置に基づく目標位置の補正を平滑化することで、対象物Ｔｇの位置の予測精度が外れた場合であってもサーボモータ１５Ａのトルクの急激な変化を抑制しながらサーボモータ１５Ａの位置の補正できる。また、高速ビジョン処理部１１Ｄは、予測位置に基づく目標位置の補正により対象物Ｔｇの位置と、サーボモータ１５Ａに基づく高速度カメラ１４の位置との差を徐々に解消させることができる。
【0208】
以上により、実施の形態１および実施の形態１の変形例における演算装置Ｐ１１は、サーボモータ１５Ａ（駆動デバイスの一例）と対象物Ｔｇ（被写体の一例）を撮像する高速度カメラ１４（カメラの一例）との間で通信可能であって、高速度カメラ１４により撮像された複数のフレームを取得する通信部１０（取得部の一例）と、複数のフレーム間における対象物Ｔｇの動き量に基づいて、サーボモータ１５Ａの位置を補正する第１補正量（つまり、高速度カメラ１４の揺れ補正量）を算出する高速ビジョン処理（並行処理ＰＡＲ１）を実行する高速ビジョン処理部１１，１１Ｂ～１１Ｄ（高速処理部の一例）と、高速ビジョン処理の処理周期よりも長い処理周期で、対象物Ｔｇの認識位置に基づいて、サーボモータ１５Ａの位置を補正する第２補正量（つまり、対象物Ｔｇの位置に基づくサーボモータ１５Ａの位置補正量）を算出する低速ビジョン処理（第２ループ処理ＬＰ２）を実行する目標位置補正部１１５（低速処理部の一例）と、第１補正量および第２補正量の少なくとも一方に基づく制御指令を生成してサーボモータ１５Ａに出力する高速ビジョン処理部１１，１１Ｂ～１１Ｄ（制御部の一例）と、を備える。
【0209】
これにより、実施の形態１および実施の形態１の変形例１～３における演算装置Ｐ１１は、次のフレームｎ＋１に写る対象物Ｔｇの推定位置に基づいてフレームｎを変換することで、２枚のフレーム間に写る対象物Ｔｇの動き量の計測処理を高速化することができ、高速度カメラ１４の揺れ等に起因する対象物Ｔｇに対するサーボモータ１５Ａの位置を補正するための補正量をリアルタイムに算出し、出力することができる。これにより、アクチュエータ１５は、画像認識処理による対象物Ｔｇを認識するまでの間、対象物Ｔｇに対する所定の作業を一時的に停止したり、作業速度を低下させたりすることなく実行できるため、作業効率を向上できる。
【0210】
（実施の形態２）
実施の形態１に係る高速度画像処理システム１００は、フレームに写る対象物Ｔｇの位置に基づいて、高速度カメラ１４の揺れを除去したり、サーボモータ１５Ａの位置を補正したりする例について説明した。実施の形態２に係る高速度画像処理システム１００Ａは、フレームから前景と背景とを分離し、前景に写る対象物Ｔｇと、背景の特徴とに基づいて、作業装置Ｐ１（高速度カメラ１４）の位置あるいは揺れと対象物Ｔｇの位置とをそれぞれ個別に追跡し、補正する例について説明する。
実施の形態１に係る高速度画像処理システム１００は、フレームに写る対象物Ｔｇの位置に基づいて、高速度カメラ１４の揺れを除去したり、サーボモータ１５Ａの位置を補正したりする例について説明した。実施の形態２に係る高速度画像処理システム１００Ａは、フレームから前景と背景とを分離し、前景に写る対象物Ｔｇと、背景の特徴とに基づいて、作業装置Ｐ１（高速度カメラ１４）の位置あるいは揺れと対象物Ｔｇの位置とをそれぞれ個別に追跡し、補正する例について説明する。
【0211】
なお、実施の形態２に係る高速度画像処理システム１００Ａは、実施の形態１に係る高速度画像処理システム１００と同様の構成を有する。そこで、以下の実施の形態２に係る高速度画像処理システム１００Ａの説明では、実施の形態１に係る高速度画像処理システム１００と同様の構成には、同一の符号を付与することで、説明を省略する。
【0212】
実施の形態２に係る高速度画像処理システム１００Ａは、対象物Ｔｇと、作業装置Ｐ１と、外部装置の一例としての低速ビジョン処理装置Ｐ２Ａとを含む。
【0213】
作業装置Ｐ１は、通信部１０と、高速ビジョン処理部１１Ｅ（第１高速処理部、第２高速処理部、第１低速処理部、第２低速処理部、および制御部の一例）と、メモリ１２と、サーボ制御部１３と、高速度カメラ１４と、アクチュエータ１５とを含む。なお、通信部１０、高速ビジョン処理部１１Ｅ、メモリ１２、および、サーボ制御部１３は、画像処理装置の一例としての１つの演算装置Ｐ１１Ａとして構成されてよい。
【0214】
【0215】
高速ビジョン処理部１１Ｅは、第１動き計測部１１１Ｂと、第２動き計測部１１１Ｃと、追跡画像生成部１１２Ａと、合成用画像生成部１１３Ａと、フレーム合成部１１４と、目標位置補正部１１５Ｅと、領域分割部１１８とを含む。
【0216】
＜追跡画像生成処理＞
高速ビジョン処理部１１Ｅは、高速度カメラ１４から出力されたフレームを取得し、領域分割部１１８によりフレームから対象物Ｔｇを含む前景領域と、外乱（例えば、振動、あるいは風等）の影響を受けにくい景色あるいは建造物等を含む背景領域とをそれぞれ検出する。
高速ビジョン処理部１１Ｅは、高速度カメラ１４から出力されたフレームを取得し、領域分割部１１８によりフレームから対象物Ｔｇを含む前景領域と、外乱（例えば、振動、あるいは風等）の影響を受けにくい景色あるいは建造物等を含む背景領域とをそれぞれ検出する。
【0217】
高速ビジョン処理部１１Ｅは、領域分割部１１８により検出された前景領域の画素をフレームから分割した前景フレームと、検出された背景領域の画素をフレームから分割した背景フレームとをそれぞれを生成する。高速ビジョン処理部１１Ｅは、生成された前景フレームを第１動き計測部１１１Ｂに出力し、背景フレームを第２動き計測部１１１Ｃに出力する。
【0218】
高速ビジョン処理部１１Ｅは、第１動き計測部１１１Ｂによって、前景フレームｎの次に撮像される前景フレームｎ＋１に写る前景の位置を推定し、前景フレームｎ＋１に写る前景の推定位置と、フレームｎに写る前景の位置とフレームｎ＋１に写る前景の位置との動き量を計測する。
【0219】
高速ビジョン処理部１１Ｅは、第１動き計測部１１１Ｂの計測結果に基づいて、前景フレームｎに写る前景の位置を前景フレームｎ＋１に写る前景の位置に移動させる第１前景変換行列を算出する。高速ビジョン処理部１１Ｅは、算出された第１前景変換行列を用いて前景フレームｎをアフィン変換し、２枚の前景フレーム（つまり、前景フレームｎおよび前景フレームｎ＋１）間で移動する前景の位置を追跡する前景追跡画像を生成する。
【0220】
高速ビジョン処理部１１Ｅは、第２動き計測部１１１Ｃによって、背景フレームｎの次に撮像される背景フレームｎ＋１に写る背景の位置を推定し、背景フレームｎ＋１に写る背景の推定位置と、フレームｎに写る背景の位置とフレームｎ＋１に写る背景の位置との動き量を計測する。
【0221】
高速ビジョン処理部１１Ｅは、第２動き計測部１１１Ｃの計測結果に基づいて、背景フレームｎに写る背景の位置を背景フレームｎ＋１に写る背景の位置に移動させる第１背景変換行列を算出する。高速ビジョン処理部１１Ｅは、算出された第１背景変換行列を用いて背景フレームｎをアフィン変換し、２枚の背景フレーム（つまり、背景フレームｎおよび背景フレームｎ＋１）間で移動する背景の位置を追跡する背景追跡画像を生成する。
【0222】
また、高速ビジョン処理部１１Ｅは、サーボ制御部１３から出力されたサーボモータ１５Ａの位置情報（例えば、サーボモータ１５Ａの回転角度に関する情報、サーボモータ１５Ａの位置情報を示すジャイロ情報等）をさらに用いて、第１背景変換行列を算出してもよい。このような場合、高速ビジョン処理部１１Ｅは、第２動き計測部１１１Ｃにより、サーボモータ１５Ａの位置情報と、次に撮像される背景フレーム（つまり、次の背景フレームｎ＋１）に写る背景の推定位置とに基づいて、追跡画像の生成に用いられる第１背景変換行列を算出する。
【0223】
なお、高速ビジョン処理部１１Ｅは、サーボ制御部１３から出力されたサーボモータ１５Ａの位置情報（例えば、サーボモータ１５Ａの回転角度に関する情報、サーボモータ１５Ａの位置情報を示すジャイロ情報等）をさらに用いて、第１前景変換行列および第１背景変換行列のそれぞれを算出してもよい。
【0224】
＜合成用画像生成処理＞
高速ビジョン処理部１１Ｅは、合成用画像生成部１１３Ａにより高速度カメラ１４の前景フレームレート（例えば、１０００ｆｐｓ等）に対応する処理速度で、前景フレームを前景合成画像の生成に用いられる前景フレーム（以降、「前景合成用画像」と表記）を生成する。
高速ビジョン処理部１１Ｅは、合成用画像生成部１１３Ａにより高速度カメラ１４の前景フレームレート（例えば、１０００ｆｐｓ等）に対応する処理速度で、前景フレームを前景合成画像の生成に用いられる前景フレーム（以降、「前景合成用画像」と表記）を生成する。
【0225】
高速ビジョン処理部１１Ｅは、第１動き計測部１１１Ｂにより、後述する前景合成画像を生成するための前景合成用画像の合成処理において、１枚目の前景合成用画像であって、各前景合成用画像の合成基準となる前景フレーム０に映る前景の位置を計測して、記憶する。高速ビジョン処理部１１Ｅは、高速度カメラ１４から出力された前景フレームｎに写る前景の位置と、前景フレーム０に写る前景の位置との間の前景の動き量を計測する。
【0226】
高速ビジョン処理部１１Ｅは、計測された前景フレームｎと前景フレーム０との間の前景の動き量に基づいて、前景フレームｎを前景合成画像の生成に用いられる前景合成用画像に変換するための第２前景変換行列を算出する。高速ビジョン処理部１１Ｅは、合成用画像生成部１１３Ａにより算出された第２前景変換行列を用いて、前景フレームｎを前景合成用画像に変換する。これにより、高速ビジョン処理部１１Ｅは、前景フレーム０に写る前景の位置に、前景フレームｎに写る前景の位置を重ね合わせ可能な前景合成用画像を生成することができる。
【0227】
高速ビジョン処理部１１Ｅは、フレーム合成部１１４によって前景合成用画像の合成（重ね合わせ）を実行する。高速ビジョン処理部１１Ｅは、合成用画像生成部１１３Ａによる前景フレームｎに基づく前景合成用画像の生成処理と、フレーム合成部１１４Ａによる前景フレーム０～前景フレームｎ－１のそれぞれの前景合成用画像が合成された前景合成画像と、前景フレームｎに基づく前景合成用画像との合成処理と、を所定回数繰り返し実行し、所定枚数の前景合成用画像（つまり、前景フレーム）を合成した前景合成画像を生成する。高速ビジョン処理部１１Ｅは、生成された前景合成画像を通信部１０に出力し、低速ビジョン処理装置Ｐ２Ａに送信させる。
【0228】
また、高速ビジョン処理部１１Ｅは、第２動き計測部１１１Ｃにより、後述する背景合成画像を生成するための背景合成用画像の合成処理において、１枚目の背景合成用画像であって、各背景合成用画像の合成基準となる背景フレーム０に映る背景の位置を計測して、記憶する。高速ビジョン処理部１１Ｅは、高速度カメラ１４から出力された背景フレームｎに写る背景の位置と、背景フレーム０に写る背景の位置との間の背景の動き量を計測する。
【0229】
高速ビジョン処理部１１Ｅは、計測された背景フレームｎと背景フレーム０との間の背景の動き量に基づいて、背景フレームｎを背景合成画像の生成に用いられる背景合成用画像に変換するための第２背景変換行列を算出する。高速ビジョン処理部１１Ｅは、合成用画像生成部１１３Ａにより算出された第２背景変換行列を用いて、背景フレームｎを背景合成用画像に変換する。これにより、高速ビジョン処理部１１Ｅは、背景フレーム０に写る背景の位置に、背景フレームｎに写る背景の位置を重ね合わせ可能な背景合成用画像を生成することができる。
【0230】
高速ビジョン処理部１１Ｅは、フレーム合成部１１４によって背景合成用画像の合成（重ね合わせ）を実行する。高速ビジョン処理部１１Ｅは、合成用画像生成部１１３Ａによる背景フレームｎに基づく背景合成用画像の生成処理と、フレーム合成部１１４Ａによる背景フレーム０～背景フレームｎ－１のそれぞれの背景合成用画像が合成された前景合成画像と、背景フレームｎに基づく背景合成用画像との合成処理と、を所定回数繰り返し実行し、所定枚数の背景合成用画像（つまり、背景フレーム）を合成した背景合成画像を生成する。高速ビジョン処理部１１Ｅは、生成された背景合成画像を通信部１０に出力し、低速ビジョン処理装置Ｐ２Ａに送信させる。
【0231】
なお、前景合成画像および背景合成画像の生成は、必須でなく省略されてもよい。このような場合、高速ビジョン処理部１１Ｅは、いずれか１枚の前景フレームおよび背景フレームを通信部１０に出力し、低速ビジョン処理装置Ｐ２Ａに送信させる。
【0232】
次に、図２０を参照して、実施の形態２に係る高速度画像処理システム１００Ａの動作手順について説明する。図２０は、実施の形態２に係る高速度画像処理システム１００Ａの全体動作手順例を示すシーケンス図である。
【0233】
高速ビジョン処理部１１Ｅは、高速度カメラ１４により撮像されたフレームに写る前景（対象物Ｔｇ）および背景の位置を初期位置に設定する（Ｓｔ１１）。
【0234】
高速度画像処理システム１００Ａは、ステップＳｔ１１の処理の後、第１ループ処理ＬＰ１Ａと、第２ループ処理ＬＰ２Ａとを並列に実行するループ処理ＬＰＡを繰り返し実行する。
【0235】
まず、第１ループ処理ＬＰ１Ａについて説明する。第１ループ処理ＬＰ１Ａは、高速度カメラ１４のフレームレートの倍数回繰り返し実行される処理である。第１ループ処理ＬＰ１Ａは、ステップＳｔ１２～ステップＳｔ１３、ステップＳｔ１７のそれぞれの処理を実行した後、ステップＳｔ３００に示す前景追跡画像生成処理，補正量算出処理（Ｓｔ３００Ａ）と、背景追跡画像生成処理，補正量算出処理（Ｓｔ３００Ｂ）とを並列、かつ、略同時に実行し、ステップＳｔ１４Ａ～ステップＳｔ１６Ａのそれぞれの処理を実行する（ＰＡＲ１１）。また、第１ループ処理ＬＰ１Ａは、並列処理ＰＡＲ１１と並列して、ステップＳｔ４００に示す前景合成用画像生成処理（Ｓｔ４００Ａ）と、背景合成用画像生成処理（Ｓｔ４００Ｂ）とを並列、かつ、略同時に実行する（ＰＡＲ１２）。つまり、並列処理ＰＡＲ１１と、並列処理ＰＡＲ１２とは、並列に実行される処理であって、高速度カメラ１４のフレームレート（例えば、１０００ｆｐｓ）に対応する高速処理である。
【0236】
第１ループ処理ＬＰ１Ａの並列処理ＰＡＲ１１において、高速度カメラ１４は、高速（例えば、１０００ｆｐｓ）で対象物Ｔｇを含む領域を撮像し（Ｓｔ１２）、撮像されたフレーム０を高速ビジョン処理部１１Ｅに出力する（Ｓｔ１３）。
【0237】
高速ビジョン処理部１１Ｅは、高速度カメラ１４により撮像されたフレーム０から前景領域の画素と背景領域の画素とをそれぞれ検出する。高速ビジョン処理部１１Ｅは、フレームから検出された前景領域の画素および背景領域の画素のそれぞれを分離して、前景フレームと、背景フレームとをそれぞれ生成する（Ｓｔ１７）。
【0238】
高速ビジョン処理部１１Ｅは、生成（分離）された前景フレームを用いた前景追跡画像生成処理，補正量算出処理（ステップＳｔ３００Ａ）と、背景フレームを用いた背景追跡画像生成処理，補正量算出処理（ステップＳｔ３００Ｂ）とを並列に実行する（Ｓｔ３００）。
【0239】
高速ビジョン処理部１１Ｅは、前景追跡画像生成処理，補正量算出処理（ステップＳｔ３００Ａ）と、背景フレームを用いた背景追跡画像生成処理，補正量算出処理（ステップＳｔ３００Ｂ）とによって得られたサーボモータ１５Ａの目標位置の補正量をサーボ制御部１３に出力する（Ｓｔ１４Ａ）。
【0240】
サーボ制御部１３は、高速ビジョン処理部１１Ｅから出力された目標位置の補正量に基づいて、サーボモータ１５Ａの位置を補正させる制御指令を生成する（Ｓｔ１５Ａ）。サーボ制御部１３は、生成された制御指令（第２制御指令の一例）をアクチュエータ１５に出力する（Ｓｔ１６Ａ）。
【0241】
また、第１ループ処理ＬＰ１１の並列処理ＰＡＲ１２において、高速ビジョン処理部１１Ｅは、生成（分離）された前景フレームを用いた前景合成用画像生成処理（ステップＳｔ４００Ａ）と、背景フレームを用いた背景合成用画像生成処理（ステップＳｔ４００Ｂ）とを並列に実行する（Ｓｔ４００）。
【0242】
第２ループ処理ＬＰ２Ａにおいて、高速ビジョン処理部１１Ｅは、前景合成用画像生成処理（ステップＳｔ４００Ａ）により生成された前景合成画像と、背景合成用画像生成処理（ステップＳｔ４００Ｂ）により生成された背景合成画像とを低速ビジョン処理装置Ｐ２Ａに送信する（Ｓｔ２１Ａ）。なお、ステップＳｔ２１Ａの処理において、ステップＳｔ４００Ａの前景合成用画像生成処理と、ステップＳｔ４００Ｂの背景合成用画像生成処理とが省略される場合、高速ビジョン処理部１１Ｅは、高速度カメラ１４から出力されたいずれか１枚の前景フレームおよび背景フレームを、それぞれ前景合成画像，背景合成画像の代わりに低速ビジョン処理装置Ｐ２に送信する。
【0243】
低速ビジョン処理装置Ｐ２Ａは、高速ビジョン処理部１１Ｅから送信された前景合成画像，背景合成画像のそれぞれを取得する。低速ビジョン処理装置Ｐ２Ａは、取得された前景合成用画像に画像認識処理を実行して、前景合成用画像から前景の位置を検出する（Ｓｔ２２Ａ）。低速ビジョン処理装置Ｐ２Ａは、取得された背景合成用画像に画像認識処理を実行して、背景合成用画像から背景の位置を検出する（Ｓｔ２２Ａ）。低速ビジョン処理装置Ｐ２Ａは、検出された前景の位置情報と、背景の位置情報とを高速ビジョン処理部１１Ｅに送信する（Ｓｔ２３Ａ）。
【0244】
高速ビジョン処理部１１Ｅは、低速ビジョン処理装置Ｐ２Ａから送信された前景の位置情報に基づくサーボモータ１５Ａの目標位置と、背景の位置情報とに基づくサーボモータ１５Ａの目標位置を算出する。高速ビジョン処理部１１Ｅは、算出された前景の位置情報に基づくサーボモータ１５Ａの目標の補正量（第３補正量の一例）と、算出された背景の位置情報に基づくサーボモータ１５Ａの目標の補正量（第４補正量の一例）と、を算出して（Ｓｔ２４Ａ）、サーボ制御部１３に出力する（Ｓｔ２５）。
【0245】
サーボ制御部１３は、高速ビジョン処理部１１Ｅから送信された目標位置の補正量に基づいて、サーボモータ１５Ａの位置を目標位置に補正するための制御指令を生成する（Ｓｔ２６）。サーボ制御部１３は、生成された制御指令（第１制御指令の一例）をアクチュエータ１５に出力し、サーボモータ１５Ａの位置補正を実行させる（Ｓｔ２７）。
【0246】
以上により、実施の形態２に係る高速度画像処理システム１００Ａは、高速度カメラ１４のフレームレート（例えば、１０００ｆｐｓ）に対応する高速処理であって、前景フレームおよび背景フレームに基づく前景および背景の動き量の計測処理（並列処理ＰＡＲ１１）と、前景合成画像および背景合成画像の生成処理（並列処理ＰＡＲ１２）とを並列処理できる。また、高速度画像処理システム１００Ａは、並列処理ＰＡＲ１１，ＰＡＲ１２のそれぞれを含む第１ループ処理ＬＰ１Ａと、高速度カメラ１４のフレームレート（例えば、１０００ｆｐｓ）よりも低速（例えば、６０ｆｐｓ）である低速処理であって、前景合成画像および背景合成画像に基づく前景および背景の位置の認識処理を含む第２ループ処理ＬＰ２Ａとを並列に実行できる。
【0247】
これにより、実施の形態２に係る高速度画像処理システム１００Ａは、高速度カメラ１４により撮像された前景フレームおよび背景フレームをそれぞれ高速画像処理することにより、外乱による背景（基準位置）に対する作業装置Ｐ１あるいは高速度カメラ１４の揺れを除去（補正）できる。また、高速度画像処理システム１００Ａは、複数の背景フレームを合成した背景合成画像を低速画像処理することにより、背景（基準位置）に対する作業装置Ｐ１あるいは高速度カメラ１４の位置をリアルタイムに補正でき、複数の前景フレームを合成した前景合成画像を低速画像処理することにより、対象物Ｔｇ（前景）の位置をリアルタイムに補正できる。
【0248】
したがって、実施の形態２に係る高速度画像処理システム１００Ａは、作業装置Ｐ１（高速度カメラ１４およびサーボモータ１５Ａ）と、対象物Ｔｇとの間の相対位置関係を維持したり、対象物Ｔｇに対する所定の作業を実現可能な相対位置関係に補正あるいは調整したりできる。
【0249】
具体的に、作業装置Ｐ１がロボットアームを備えるドローンであって、風などの外乱がある環境で対象物Ｔｇに対して所定の作業を実行する場合、作業装置Ｐ１は、前景に関する第１目標位置情報に基づく対象物Ｔｇの揺れ量と、前景に関する第２目標位置情報に基づく対象物Ｔｇの位置とに合わせたロボットアームの制御と、背景に関する第１目標位置情報に基づく高速度カメラ１４（つまり、作業装置Ｐ１）の揺れ量と、背景に関する第２目標位置情報に基づく高速度カメラ１４（つまり、作業装置Ｐ１）の位置とに合わせた飛行制御とをそれぞれ個別に実行できる。
【0250】
次に、図２１を参照して、高速ビジョン処理部１１Ｅの前景追跡画像生成処理，補正量算出処理（ステップＳｔ３００）手順例について説明する。図２１は、実施の形態２における高速ビジョン処理部１１Ｅの前景追跡画像生成処理，補正量算出処理手順例を示すシーケンス図である。
【0251】
第１動き計測部１１１Ｂは、前景フレームｎ（つまり、ｎ番目の前景フレーム）の次に撮像される前景フレームｎ＋１（つまり、（ｎ＋１）番目の前景フレーム）に写る前景（対象物Ｔｇ）の位置を推定し、推定された前景の推定位置に基づいて、前景フレームｎと前景フレームｎ＋１との間の前景の動き量を計測する。第１動き計測部１１１Ｂは、前景フレームｎに写る前景の位置を、前景フレームｎの次に撮像される前景フレームｎ＋１に写る前景の位置に変換するための第１前景変換行列を算出して設定する（Ｓｔ３０１Ａ）。第１動き計測部１１１Ｂは、設定された第１前景変換行列を追跡画像生成部１１２に出力する（Ｓｔ３０２Ａ）。
【0252】
なお、ここで、第１動き計測部１１１Ｂは、前景に写る対象物Ｔｇあるいは作業装置Ｐ１（高速度カメラ１４）が等速直線運動をしていると仮定して、前景の推定位置を推定してもよい。このような場合、第１動き計測部１１１Ｂは、前景フレームが高速（例えば、１０００ｆｐｓ）で撮像されるため、前景フレームｎと前景フレームｎ＋１との間での対象物Ｔｇの位置の変化量と、対象物Ｔｇの加速度の情報とを取得できる。
【0253】
追跡画像生成部１１２Ａは、第１動き計測部１１１Ｂから出力された第１前景変換行列を取得する。追跡画像生成部１１２Ａにおける追跡用射影変換アドレス生成部１１２１は、取得された第１前景変換行列に基づいて、前景フレームｎの全域を変形し、前景フレームｎに写る前景を追跡するためのアドレスを生成する。追跡画像生成部１１２Ａは、アドレスに基づいて、前景フレームｎの読み出しを要求する制御指令を生成し、追跡用フレームバッファ１２Ａに送信する（Ｓｔ３０３Ａ）。
【0254】
追跡用フレームバッファ１２Ａは、追跡画像生成部１１２Ａから出力された制御指令に基づいて、格納済みの前景フレームのうちアドレスに対応する前景フレームｎを読み出す（Ｓｔ３０４Ａ）。追跡用フレームバッファ１２Ａは、読み出された前景フレームｎを追跡画像生成部１１２Ａに出力する（Ｓｔ３０５Ａ）。
【0255】
追跡画像生成部１１２Ａは、追跡用フレームバッファ１２Ａから出力された前景フレームｎを取得する。追跡画像生成部１１２Ａにおける画像変換部１１２２は、第１前景変換行列を用いて、前景フレームｎを変換する（Ｓｔ３０６Ａ）。追跡画像生成部１１２は、変換後の前景フレームｎを第１動き計測部１１１Ｂに出力する（Ｓｔ３０７Ａ）。なお、ステップＳｔ３０７Ａの処理で第１動き計測部１１１Ｂに出力される前景フレームは、前景の少なくとも一部を含む領域を切り出した画素データであってもよい。
【0256】
高速度カメラ１４は、対象物Ｔｇを撮像する（Ｓｔ３０８）。高速度カメラ１４は、フレームｎ＋１を第１動き計測部１１１Ｂに送信するともに（Ｓｔ３０９）、フレームｎ＋１から前景領域に含まれる画素データと、背景領域も含まれる画素データとをそれぞれ分離して前景フレームおよび背景フレームのそれぞれを生成する（Ｓｔ３１６）。高速度カメラ１４は、生成された前景フレームを追跡用フレームバッファ１２Ａに送信する（Ｓｔ３１７Ａ）。
【0257】
追跡用フレームバッファ１２Ａは、高速度カメラ１４から送信された前景フレームｎ＋１を書き込み、格納する（Ｓｔ３１１Ａ）。
【0258】
第１動き計測部１１１Ｂは、前景フレームｎ＋１と、変換後の前景フレームｎとを比較し、それぞれの前景フレームに写る前景の位置の差分に基づいて、前景フレームｎと前景フレームｎ＋１との間の前景の動き量（つまり、前景の位置差分）を計測する（Ｓｔ３１２Ａ）。なお、ここで、第１動き計測部１１１Ｂは、前景フレームｎを用いて推定された前景の推定位置に基づいて、前景フレームｎ＋１および変換後の前景フレームｎのそれぞれから少なくとも推定位置に対応する画素を含む領域の画素データを抽出し、抽出された画素データから前景の位置の動き量を計測してよい。
【0259】
第１動き計測部１１１Ｂは、計測された前景の動き量に基づいて、補正後のサーボモータ１５Ａの位置（以降、「第１前景目標位置」と表記）を算出する（Ｓｔ３１３Ａ）。第１動き計測部１１１Ｂは、算出された第１前景目標位置を含む第１前景目標位置情報を生成して、目標位置補正部１１５に出力する（Ｓｔ３１４Ａ）。
【0260】
目標位置補正部１１５は、第１動き計測部１１１Ｂから出力された第１前景目標位置情報に基づいて、サーボモータ１５Ａの位置を補正する補正量（第１補正量の一例）を算出する（Ｓｔ３１５Ａ）。
【0261】
以上により、実施の形態２における高速ビジョン処理部１１Ｅは、次の前景フレームｎ＋１に写る前景の推定位置に基づいて前景フレームｎを変換することで、２枚の前景フレーム間に写る前景の動き量の計測処理を高速化することができる。これにより、高速ビジョン処理部１１Ｅは、高速度カメラ１４により撮像された前景フレームを高速画像処理することができ、高速度カメラ１４の揺れ等に起因する前景に対するサーボモータ１５Ａの位置を補正するための補正量をリアルタイムに算出し、出力することができる。
【0262】
サーボ制御部１３は、高速ビジョン処理部１１Ｅにより算出された目標位置の補正量に基づいて、高速度カメラ１４の前景フレームレートよりも高いｋＨｚオーダーで駆動可能なアクチュエータ１５のサーボモータ１５Ａを駆動させることで、サーボモータ１５Ａの位置に基づく作業装置Ｐ１（高速度カメラ１４）の位置を、前景に追従可能に補正する。
【0263】
次に、図２２を参照して、高速ビジョン処理部１１Ｅの背景追跡画像生成処理，補正量算出処理（ステップＳｔ３００）手順例について説明する。図２２は、実施の形態２における高速ビジョン処理部１１Ｅの背景追跡画像生成処理，補正量算出処理手順例を示すシーケンス図である。
【0264】
第２動き計測部１１１Ｃは、背景フレームｎ（つまり、ｎ番目の背景フレーム）の次に撮像される背景フレームｎ＋１（つまり、（ｎ＋１）番目の背景フレーム）に写る背景の位置を推定し、推定された背景の推定位置に基づいて、背景フレームｎと背景フレームｎ＋１との間の背景の動き量を計測する。第２動き計測部１１１Ｃは、背景フレームｎに写る背景の位置を、背景フレームｎの次に撮像される背景フレームｎ＋１に写る背景の位置に変換するための第１背景変換行列を算出して設定する（Ｓｔ３０１Ｂ）。第２動き計測部１１１Ｃは、設定された第１背景変換行列を追跡画像生成部１１２に出力する（Ｓｔ３０２Ｂ）。
【0265】
なお、ここで、第２動き計測部１１１Ｃは、背景あるいは作業装置Ｐ１（高速度カメラ１４）が等速直線運動をしていると仮定して、背景の推定位置を推定してもよい。このような場合、第２動き計測部１１１Ｃは、背景フレームが高速（例えば、１００Ａ０ｆｐｓ）で撮像されるため、背景フレームｎと背景フレームｎ＋１との間での背景の位置（つまり、高速度カメラ１４の位置）の変化量と、背景（つまり、高速度カメラ１４）の加速度の情報とを取得できる。
【0266】
追跡画像生成部１１２Ａは、第２動き計測部１１１Ｃから出力された第１背景変換行列を取得する。追跡画像生成部１１２Ａにおける追跡用射影変換アドレス生成部１１２１は、取得された第１背景変換行列に基づいて、背景フレームｎの全域を変形し、背景フレームｎに写る背景を追跡するためのアドレスを生成する。追跡画像生成部１１２Ａは、アドレスに基づいて、背景フレームｎの読み出しを要求する制御指令を生成し、追跡用フレームバッファ１２Ａに送信する（Ｓｔ３０３Ｂ）。
【0267】
追跡用フレームバッファ１２Ａは、追跡画像生成部１１２Ａから出力された制御指令に基づいて、格納済みの背景フレームのうちアドレスに対応する背景フレームｎを読み出す（Ｓｔ３０４Ｂ）。追跡用フレームバッファ１２Ａは、読み出された背景フレームｎを追跡画像生成部１１２Ａに出力する（Ｓｔ３０５Ｂ）。
【0268】
追跡画像生成部１１２Ａは、追跡用フレームバッファ１２Ａから出力された背景フレームｎを取得する。追跡画像生成部１１２Ａにおける画像変換部１１２２は、第１背景変換行列を用いて、背景フレームｎを変換する（Ｓｔ３０６Ｂ）。追跡画像生成部１１２は、変換後の背景フレームｎを第２動き計測部１１１Ｃに出力する（Ｓｔ３０７Ｂ）。なお、ステップＳｔ３０７Ｂの処理で第２動き計測部１１１Ｃに出力される背景フレームは、背景の少なくとも一部を含む領域を切り出した画素データであってもよい。
【0269】
高速度カメラ１４は、対象物Ｔｇを撮像する（Ｓｔ３０８）。高速度カメラ１４は、フレームｎ＋１を第２動き計測部１１１Ｃに送信するともに（Ｓｔ３０９）、フレームｎ＋１から背景領域に含まれる画素データと、背景領域も含まれる画素データとをそれぞれ分離して背景フレームおよび背景フレームのそれぞれを生成する（Ｓｔ３１６）。高速度カメラ１４は、生成された背景フレームを追跡用フレームバッファ１２Ａに送信する（Ｓｔ３１７Ｂ）。
【0270】
追跡用フレームバッファ１２Ａは、高速度カメラ１４から送信された背景フレームｎ＋１を書き込み、格納する（Ｓｔ３１１Ｂ）。
【0271】
第２動き計測部１１１Ｃは、背景フレームｎ＋１と、変換後の背景フレームｎとを比較し、それぞれの背景フレームに写る背景の位置の差分に基づいて、背景フレームｎと背景フレームｎ＋１との間の背景の動き量（つまり、背景の位置差分）を計測する（Ｓｔ３１２Ｂ）。なお、ここで、第２動き計測部１１１Ｃは、背景フレームｎを用いて推定された背景の推定位置に基づいて、背景フレームｎ＋１および変換後の背景フレームｎのそれぞれから少なくとも推定位置に対応する画素を含む領域の画素データを抽出し、抽出された画素データから背景の位置の動き量を計測してよい。
【0272】
第２動き計測部１１１Ｃは、計測された背景の動き量に基づいて、補正後のサーボモータ１５Ａの位置（以降、「第１背景目標位置」と表記）を算出する（Ｓｔ３１３Ｂ）。第２動き計測部１１１Ｃは、算出された第１背景目標位置を含む第１背景目標位置情報を生成して、目標位置補正部１１５に出力する（Ｓｔ３１４Ｂ）。
【0273】
目標位置補正部１１５は、第２動き計測部１１１Ｃから出力された第１背景目標位置情報に基づいて、サーボモータ１５Ａの位置を補正する補正量（第２補正量の一例）を算出する（Ｓｔ３１５Ｂ）。
【0274】
以上により、実施の形態２における高速ビジョン処理部１１Ｅは、次の背景フレームｎ＋１に写る背景の推定位置に基づいて背景フレームｎを変換することで、２枚の背景フレーム間に写る背景の動き量の計測処理を高速化することができる。これにより、高速ビジョン処理部１１Ｅは、高速度カメラ１４により撮像された背景フレームを高速画像処理することができ、作業装置Ｐ１あるいは高速度カメラ１４の揺れ等に起因する背景（基準位置）に対するサーボモータ１５Ａの位置を補正するための補正量をリアルタイムに算出し、出力することができる。
【0275】
サーボ制御部１３は、高速ビジョン処理部１１Ｅにより算出された目標位置の補正量に基づいて、高速度カメラ１４の背景フレームレートよりも高いｋＨｚオーダーで駆動可能なアクチュエータ１５のサーボモータ１５Ａを駆動させることで、背景に対する作業装置Ｐ１の位置をリアルタイムに補正できる。
【0276】
次に、図２３を参照して、高速ビジョン処理部１１Ｅの前景合成用画像生成処理（ステップＳｔ４００Ａ）手順例について説明する。図２３は、実施の形態２における高速ビジョン処理部１１Ｅの前景合成用画像生成処理手順例を示すシーケンス図である。
【0277】
第１動き計測部１１１Ｂは、前景フレームｎに写る前景の位置に基づいて、前景フレームｎに写る前景の位置を前景フレーム０に写る前景の位置に移動させる第２前景変換行列を算出し、前景フレームｎに写る前景の位置と、前景フレーム０に写る前景の位置変換するための第２前景変換行列を算出して設定する（Ｓｔ４０１Ａ）。第１動き計測部１１１Ｂは、設定された第２前景変換行列を合成用画像生成部１１３Ａに出力する（Ｓｔ４０２Ａ）。なお、ここでいう前景フレーム０は、前景合成画像の生成に用いられる最初の前景フレームであって、合成処理により合成される前景の基準位置として設定される前景フレームである。
【0278】
合成用画像生成部１１３Ａは、第１動き計測部１１１Ｂから出力された第２前景変換行列を取得する。合成用画像生成部１１３Ａにおける画像認識用射影変換アドレス生成部１１３１は、取得された第２前景変換行列に基づいて、前景フレームｎの全域を変形し、前景フレームｎに写る前景を追跡するためのアドレスを生成する。合成用画像生成部１１３Ａは、アドレスに基づいて、前景フレームｎの読み出しを要求する制御指令を生成し、追跡用フレームバッファ１２Ａに送信する（Ｓｔ４０３Ａ）。
【0279】
追跡用フレームバッファ１２Ａは、合成用画像生成部１１３Ａから出力された制御指令に基づいて、格納済みの前景フレームのうちアドレスに対応する前景フレームｎを読み出す（Ｓｔ４０４Ａ）。追跡用フレームバッファ１２Ａは、読み出された前景フレームｎを合成用画像生成部１１３Ａに出力する（Ｓｔ４０５Ａ）。
【0280】
合成用画像生成部１１３Ａにおける画像認識用射影変換アドレス生成部１１３１は、取得された第２前景変換行列を用いて、前景フレームｎに写る前景の位置を、前景フレーム０に写る前景の位置に合わせるように前景フレームｎの全域を変形する（Ｓｔ４０６Ａ）。
【0281】
合成用画像生成部１１３Ａは、前景フレームｎに対応する前景合成用画像をフレーム合成部１１４に出力する（Ｓｔ４０７Ａ）。なお、ステップＳｔ４０７Ａの処理でフレーム合成部１１４に出力される前景合成用画像は、前景の少なくとも一部を含む領域を切り出した画素データであってもよい。
【0282】
フレーム合成部１１４は、前景フレームｎに対応する前景合成用画像と合成され、前景フレーム０～前景フレームｎ－１のそれぞれに対応する前景合成用画像が合成された前景合成用画像の読み出しを要求する制御指令を生成して、合成用フレームバッファ１２Ｂに出力する（Ｓｔ４０８Ａ）。
【0283】
なお、フレーム合成部１１４は、合成用画像生成部１１３Ａから出力された前景合成用画像が、前景フレーム０に対応する前景合成用画像の合成である場合には、この前景フレーム０に対応する前景合成用画像の書き込みを要求する制御指令を生成して、合成用フレームバッファ１２Ｂに出力する。
【0284】
合成用フレームバッファ１２Ｂは、フレーム合成部１１４から出力された制御指令に基づいて、前景合成用画像を読み出す（Ｓｔ４０９Ａ）。合成用フレームバッファ１２Ｂは、読み出された前景合成用画像をフレーム合成部１１４に出力する（Ｓｔ４１０Ａ）。
【0285】
フレーム合成部１１４は、合成用フレームバッファ１２Ｂから出力された前景合成用画像と、前景フレームｎに対応する前景合成用画像とを合成し（Ｓｔ４１１Ａ）、合成後の前景合成用画像の書き込みを要求する制御指令を生成して、前景合成画像と対応付けて合成用フレームバッファ１２Ｂに出力する（Ｓｔ４１２Ａ）。合成用フレームバッファ１２Ｂは、フレーム合成部１１４から出力された前景合成用画像の書き込みを実行する（Ｓｔ４１３Ａ）。
【0286】
フレーム合成部１１４は、前景合成用画像を所定枚数（例えば、１６枚等）合成したか否かを判定する（Ｓｔ４１４Ａ）。
【0287】
フレーム合成部１１４は、ステップＳｔ４１４Ａの処理において、前景合成用画像を所定枚数合成したと判定した場合（Ｓｔ４１４Ａ，ＹＥＳ）、所定枚数の前景合成用画像が合成された前景合成画像を低速ビジョン処理装置Ｐ２に送信させる制御指令を生成して、合成用フレームバッファ１２Ｂに出力する（Ｓｔ４１５Ａ）。
【0288】
フレーム合成部１１４は、ステップＳｔ４１４Ａの処理において、前景合成用画像を所定枚数合成していないと判定した場合（Ｓｔ４１４Ａ，ＮＯ）、所定枚数の前景合成用画像が合成された前景合成画像を低速ビジョン処理装置Ｐ２Ａに送信させる制御指令の生成を省略する。高速ビジョン処理部１１Ｅは、ステップＳｔ４０１Ａの処理に戻る。
【0289】
以上により、実施の形態２における高速ビジョン処理部１１Ｅは、高速度カメラ１４により撮像された前景フレームを、第２前景変換行列を用いて変換して合成することで、合成枚数に対応する露光時間の前景フレーム（前景合成画像）を生成できる。つまり、高速ビジョン処理部１１Ｅは、前景フレームの外乱あるいは露光時間の短さに起因する揺れ（ブラー）を効果的に除去した前景合成画像を生成できる。これにより、高速ビジョン処理部１１Ｅは、低速ビジョン処理装置Ｐ２Ａにより実行される画像認識処理に適した前景合成画像を生成できる。
【0290】
次に、図２４を参照して、高速ビジョン処理部１１Ｅの背景合成用画像生成処理（ステップＳｔ４００Ｂ）手順例について説明する。図２４は、実施の形態２における高速ビジョン処理部１１Ｅの背景合成用画像生成処理手順例を示すシーケンス図である。
【0291】
第２動き計測部１１１Ｃは、背景フレームｎに写る背景の位置に基づいて、背景フレームｎに写る背景の位置を背景フレーム０に写る背景の位置に移動させる第２背景変換行列を算出し、背景フレームｎに写る背景の位置と、背景フレーム０に写る背景の位置変換するための第２背景変換行列を算出して設定する（Ｓｔ４０１Ｂ）。第２動き計測部１１１Ｃは、設定された第２背景変換行列を合成用画像生成部１１３Ａに出力する（Ｓｔ４０２Ｂ）。なお、ここでいう背景フレーム０は、背景合成画像の生成に用いられる最初の背景フレームであって、合成処理により合成される背景の基準位置として設定される背景フレームである。
【0292】
合成用画像生成部１１３Ａは、第２動き計測部１１１Ｃから出力された第２背景変換行列を取得する。合成用画像生成部１１３Ａにおける画像認識用射影変換アドレス生成部１１３１は、取得された第２背景変換行列に基づいて、背景フレームｎの全域を変形し、背景フレームｎに写る背景を追跡するためのアドレスを生成する。合成用画像生成部１１３Ａは、アドレスに基づいて、背景フレームｎの読み出しを要求する制御指令を生成し、追跡用フレームバッファ１２Ａに送信する（Ｓｔ４０３Ｂ）。
【0293】
追跡用フレームバッファ１２Ａは、合成用画像生成部１１３Ａから出力された制御指令に基づいて、格納済みの背景フレームのうちアドレスに対応する背景フレームｎを読み出す（Ｓｔ４０４Ｂ）。追跡用フレームバッファ１２Ａは、読み出された背景フレームｎを合成用画像生成部１１３Ａに出力する（Ｓｔ４０５Ｂ）。
【0294】
合成用画像生成部１１３Ａにおける画像認識用射影変換アドレス生成部１１３１は、取得された第２背景変換行列を用いて、背景フレームｎに写る背景の位置を、背景フレーム０に写る背景の位置に合わせるように背景フレームｎの全域を変形する（Ｓｔ４０６Ｂ）。
【0295】
合成用画像生成部１１３Ａは、背景フレームｎに対応する背景合成用画像をフレーム合成部１１４に出力する（Ｓｔ４０７Ｂ）。なお、ステップＳｔ４０７Ｂの処理でフレーム合成部１１４に出力される背景合成用画像は、背景の少なくとも一部を含む領域を切り出した画素データであってもよい。
【0296】
フレーム合成部１１４は、背景フレームｎに対応する背景合成用画像と合成され、背景フレーム０～背景フレームｎ－１のそれぞれに対応する背景合成用画像が合成された背景合成用画像の読み出しを要求する制御指令を生成して、合成用フレームバッファ１２Ｂに出力する（Ｓｔ４０８Ｂ）。
【0297】
なお、フレーム合成部１１４は、合成用画像生成部１１３Ａから出力された背景合成用画像が、背景フレーム０に対応する背景合成用画像の合成である場合には、この背景フレーム０に対応する背景合成用画像の書き込みを要求する制御指令を生成して、合成用フレームバッファ１２Ｂに出力する。
【0298】
合成用フレームバッファ１２Ｂは、フレーム合成部１１４から出力された制御指令に基づいて、背景合成用画像を読み出す（Ｓｔ４０９Ｂ）。合成用フレームバッファ１２Ｂは、読み出された背景合成用画像をフレーム合成部１１４に出力する（Ｓｔ４１０Ｂ）。
【0299】
フレーム合成部１１４は、合成用フレームバッファ１２Ｂから出力された背景合成用画像と、背景フレームｎに対応する背景合成用画像とを合成し（Ｓｔ４１１Ｂ）、合成後の背景合成用画像の書き込みを要求する制御指令を生成して、背景合成画像と対応付けて合成用フレームバッファ１２Ｂに出力する（Ｓｔ４１２Ｂ）。合成用フレームバッファ１２Ｂは、フレーム合成部１１４から出力された背景合成用画像の書き込みを実行する（Ｓｔ４１３Ｂ）。
【0300】
フレーム合成部１１４は、背景合成用画像を所定枚数（例えば、１６枚等）合成したか否かを判定する（Ｓｔ４１４Ｂ）。
【0301】
フレーム合成部１１４は、ステップＳｔ４１４Ｂの処理において、背景合成用画像を所定枚数合成したと判定した場合（Ｓｔ４１４Ｂ，ＹＥＳ）、所定枚数の背景合成用画像が合成された背景合成画像を低速ビジョン処理装置Ｐ２に送信させる制御指令を生成して、合成用フレームバッファ１２Ｂに出力する（Ｓｔ４１５Ｂ）。
【0302】
フレーム合成部１１４は、ステップＳｔ４１４Ｂの処理において、背景合成用画像を所定枚数合成していないと判定した場合（Ｓｔ４１４Ｂ，ＮＯ）、所定枚数の背景合成用画像が合成された背景合成画像を低速ビジョン処理装置Ｐ２Ａに送信させる制御指令の生成を省略する。高速ビジョン処理部１１Ｅは、ステップＳｔ４０１Ｂの処理に戻る。
【0303】
以上により、実施の形態２における高速ビジョン処理部１１Ｅは、高速度カメラ１４により撮像された背景フレームを、第２背景変換行列を用いて変換して合成することで、合成枚数に対応する露光時間の背景フレーム（背景合成画像）を生成できる。つまり、高速ビジョン処理部１１Ｅは、背景フレームの外乱，露光時間の短さに起因する揺れ（ブラー）を効果的に除去した背景合成画像を生成できる。これにより、高速ビジョン処理部１１Ｅは、低速ビジョン処理装置Ｐ２Ａにより実行される画像認識処理に適した背景合成画像を生成できる。
【0304】
以上により、実施の形態２における演算装置Ｐ１１Ａは、サーボモータ１５Ａ（駆動デバイスの一例）と高速度カメラ１４（カメラの一例）との間で通信可能であって、高速度カメラ１４により撮像された複数のフレームを取得し、複数のフレームから前景（被写体の一例）を分離した複数の前景フレーム（被写体フレームの一例）と、複数のフレームから背景（カメラの基準位置の一例）を分離した複数の背景フレーム（基準フレームの一例）とをそれぞれ生成し、複数の前景フレーム間における前景の第１の動き量を計測し、計測された前景の第１の動き量に基づいて、サーボモータ１５Ａの位置を補正する第１補正量（つまり、対象物Ｔｇの揺れ補正量）を算出する第１高速ビジョン処理と、複数の背景フレーム間における背景の第２の動き量を計測し、計測された背景の第２の動き量に基づいて、サーボモータ１５Ａの位置を補正する第２補正量（つまり、高速度カメラ１４の揺れ補正量）を算出する第２高速ビジョン処理と、第１高速ビジョン処理および第２高速ビジョン処理の処理周期よりも長い処理周期を有し、少なくとも１個の前景フレームに写る前景の認識位置に基づいて、サーボモータ１５Ａの位置を補正する第３補正量（つまり、対象物Ｔｇの位置に基づくサーボモータ１５Ａの位置補正量）を算出する第１低速ビジョン処理と、少なくとも１個の背景フレームに写る背景の認識位置に基づいて、サーボモータ１５Ａの位置を補正する第４補正量（つまり、高速度カメラ１４の位置に基づくサーボモータ１５Ａの位置補正量）を算出する第２低速ビジョン処理と、を実行し、第１補正量と第２補正量と第３補正量と第４補正量とに基づく制御指令を生成してサーボモータ１５Ａに出力する。
【0305】
これにより、実施の形態２における演算装置Ｐ１１Ａは、高速度カメラ１４のフレームレート（例えば、１０００ｆｐｓ）に対応する高速処理であって、前景フレームおよび背景フレームに基づく前景および背景の動き量の計測処理（並列処理ＰＡＲ１１）と、前景合成画像および背景合成画像の生成処理（並列処理ＰＡＲ１２）とを並列処理できる。また、演算装置Ｐ１１Ａは、並列処理ＰＡＲ１１，ＰＡＲ１２のそれぞれを含む第１ループ処理ＬＰ１Ａと、高速度カメラ１４のフレームレート（例えば、１０００ｆｐｓ）よりも低速（例えば、６０ｆｐｓ）である低速処理であって、前景合成画像および背景合成画像に基づく前景および背景の位置の認識処理を含む第２ループ処理ＬＰ２Ａとを実行できる。つまり、演算装置Ｐ１１Ａは、高速度カメラ１４により撮像された前景フレームおよび背景フレームをそれぞれ高速画像処理することにより、外乱による背景（基準位置）に対する作業装置Ｐ１あるいは高速度カメラ１４の揺れを除去（補正）できる。したがって、アクチュエータ１５は、画像認識処理による対象物Ｔｇを認識するまでの間、対象物Ｔｇに対する所定の作業を一時的に停止したり、作業速度を低下させたりすることなく実行できるため、作業効率を向上できる。
【0306】
また、実施の形態２における演算装置Ｐ１１Ａは、第１補正量と第２補正量と第３補正量と第４補正量とに基づく第１制御指令、または第１補正量および第２補正量に基づく第２制御指令を生成して、サーボモータ１５Ａに出力する。これにより、実施の形態２における演算装置Ｐ１１Ａは、高速度カメラ１４のフレームレート（例えば、１０００ｆｐｓ）に対応する高速処理に基づく外乱による背景（基準位置）に対する作業装置Ｐ１および高速度カメラ１４の揺れの除去（補正）と、高速度カメラ１４のフレームレート（例えば、１０００ｆｐｓ）よりも低速（例えば、６０ｆｐｓ）の画像認識処理（つまり、低速処理）により得られた対象物Ｔｇおよび高速度カメラ１４のより高精度な位置認識に基づくサーボモータ１５Ａの位置補正を実行できる。
【0307】
また、実施の形態２における第１制御指令は、第１低速ビジョン処理および第２低速ビジョン処理の処理周期に対応して出力される。第２制御指令は、第１高速ビジョン処理および第２高速ビジョン処理の処理周期に対応して出力される。これにより、実施の形態２における演算装置Ｐ１１Ａは、高速度カメラ１４のフレームレートに対応する周期でサーボモータ１５Ａの位置を補正できるため、高速度カメラ１４の揺れを除去できる。
【0308】
また、実施の形態２における前景の第１の動き量は、第Ｎ（Ｎ：１以上の整数）前景フレームの次に撮像された第（Ｎ＋１）前景フレームにおいて、第Ｎ前景フレームに写る前景が写る位置を推定し、推定された前景の推定位置と、第（Ｎ＋１）前景フレームに写る前景の位置とに基づいて、計測される。背景の第２の動き量は、第Ｎ背景フレームの次に撮像された第（Ｎ＋１）背景フレームにおいて、第Ｎ背景フレームに写る背景を推定し、推定された背景の推定位置と、第（Ｎ＋１）背景フレームに写る背景とに基づいて、計測される。これにより、実施の形態２における演算装置Ｐ１１Ａは、高速処理において、連続して撮像された２枚の前景フレーム間における前景の第１の動き量と、連続して撮像された２枚の背景フレーム間における背景の第２の動き量との計測処理をそれぞれ高速化することができ、高速度カメラ１４の揺れ等に起因する対象物Ｔｇに対するサーボモータ１５Ａの位置を補正するための補正量をリアルタイムに算出し、出力することができる。
【0309】
また、実施の形態２における演算装置Ｐ１１Ａは、演算装置Ｐ１１Ａとの間で通信可能であって、前景および背景を認識可能な低速ビジョン処理装置Ｐ２Ａ（外部装置の一例）に少なくとも１個の前景フレームおよび少なくとも１個の背景フレームを送信し、前景の認識位置と、背景の認識位置とを低速ビジョン処理装置Ｐ２Ａから取得する。これにより、実施の形態２における演算装置Ｐ１１Ａは、低速ビジョン処理装置Ｐ２Ａにより前景合成画像を用いて、前景に含まれる対象物Ｔｇのより高精度な位置認識を実行することができる。演算装置Ｐ１１Ａは、低速処理で得られた対象物Ｔｇの位置と、高速処理で得られた高速度カメラ１４の揺れ量とを用いることで、より高精度にサーボモータ１５Ａの位置を補正できる。
【0310】
また、実施の形態２における演算装置Ｐ１１Ａは、前景フレームをＫ（Ｋ：３以上の整数）個合成した前景合成画像（被写体合成画像の一例）を生成し、前景合成画像に写る対象物Ｔｇの認識位置に基づいて、第３補正量を算出し、背景フレームをＫ個合成した背景合成画像（基準合成画像の一例）を生成し、背景合成画像に写る対象物Ｔｇの認識位置に基づいて、第４補正量を算出する。これにより、実施の形態２における演算装置Ｐ１１Ａは、複数の背景フレームを合成した背景合成画像を低速画像処理することにより、背景（基準位置）に対する作業装置Ｐ１および高速度カメラ１４の位置をリアルタイムに補正でき、複数の前景フレームを合成した前景合成画像を低速画像処理することにより、対象物Ｔｇ（前景）の位置をリアルタイムに補正できる。よって、演算装置Ｐ１１Ａは、低速ビジョン処理装置Ｐ２Ａで実行される画像認識処理により適した画像（前景合成画像および背景合成画像）を生成でき、対象物Ｔｇおよび高速度カメラ１４のより高精度な位置認識を実行することができる。
【0311】
また、実施の形態２における演算装置Ｐ１１Ａは、第１低速ビジョン処理において、Ｋ個の前景フレームのそれぞれに写る前景の位置を推定し、推定された前景の推定位置と、前景の背景を示す第０前景フレームに写る前景の位置とに基づいて、第０前景フレームと第Ｋ前景フレームとの間の前景の第３の動き量を計測し、第３の動き量に基づいて、第Ｋ前景フレームを第０前景フレームに合成する合成処理をＫ回繰り返し実行して、前景合成画像を生成し、第２低速ビジョン処理において、Ｋ個の背景フレームのそれぞれに写る背景の位置を推定し、推定された背景の推定位置と、高速度カメラ１４の背景を決定する第０背景フレームに写る背景とに基づいて、第０背景フレームと第Ｋ背景フレームとの間の背景の第４の動き量を計測し、第４の動き量に基づいて、第Ｋ背景フレームを第０フレームに合成する合成処理をＫ回繰り返し実行して、背景合成画像を生成する。これにより、実施の形態２における演算装置Ｐ１１Ａは、画像認識処理における認識対象である対象物Ｔｇに対するブラーを優先的に除去した前景合成画像および背景合成画像を生成できるため、低速ビジョン処理装置Ｐ２Ａで実行される画像認識処理により適した画像（前景合成画像および背景合成画像）を生成できる。
【0312】
また、実施の形態２における演算装置Ｐ１１Ａは、第１低速ビジョン処理において、前景の認識位置と、前景合成画像の生成に用いられたＫ個の前景フレームに対応するＫ個の第１の動き量とに基づいて、第３補正量を算出し、第２低速ビジョン処理において、背景の認識位置と、背景合成画像の生成に用いられたＫ個の背景フレームに対応するＫ個の第２の動き量とに基づいて、第４補正量を算出する。これにより、実施の形態２における演算装置Ｐ１１Ａは、背景（基準位置）に対する高速度カメラ１４の位置、高速度カメラ１４の位置に対する対象物Ｔｇの位置を算出でき、高速度カメラ１４の位置ずれ量を補正可能な第２補正量を算出できる。
【0313】
以上により、実施の形態２における演算装置Ｐ１１Ａ（画像処理装置の一例）は、サーボモータ１５Ａ（駆動デバイスの一例）と高速度カメラ１４（カメラの一例）との間で通信可能であって、高速度カメラ１４により撮像された複数のフレームを取得する通信部１０（取得部の一例）と、複数のフレームから前景（被写体の一例）を分離した前景フレームと、複数のフレームからカメラの背景（基準位置の一例）を分離した背景フレームとをそれぞれ生成する領域分割部（分離部の一例）と、複数の前景フレーム間における前景の動き量を計測し、計測された前景の動き量に基づいて、モータの位置を補正する第１補正量を算出する第１高速ビジョン処理を実行する高速ビジョン処理部１１Ｅ（第１高速処理部の一例）と、複数の背景フレーム間における背景の動き量を計測し、計測された背景の動き量に基づいて、モータの位置を補正する第２補正量を算出する第２高速ビジョン処理を実行する高速ビジョン処理部１１Ｅ（第２高速処理部の一例）と、第１高速ビジョン処理および第２高速ビジョン処理の処理周期よりも長い処理周期で、前景の認識位置に基づいて、モータの位置を補正する第３補正量を算出する第１低速ビジョン処理を実行する高速ビジョン処理部１１Ｅ（第１低速処理部の一例）と、第１高速ビジョン処理および第２高速ビジョン処理の処理周期よりも長い処理周期で、背景の認識位置に基づいて、モータの位置を補正する第４補正量を算出する第２低速ビジョン処理を実行する高速ビジョン処理部１１Ｅ（第１低速処理部の一例）と、第１高速ビジョン処理と、第２高速ビジョン処理と、第１低速ビジョン処理と、第２低速ビジョン処理とを実行し、第１補正量と第２補正量と第３補正量と第４補正量とに基づく制御指令を生成してモータに出力する高速ビジョン処理部１１Ｅ（制御部の一例）と、を備える。
【0314】
これにより、実施の形態２における演算装置Ｐ１１Ａは、高速度カメラ１４のフレームレート（例えば、１０００ｆｐｓ）に対応する高速処理であって、前景フレームおよび背景フレームに基づく前景および背景の動き量の計測処理（並列処理ＰＡＲ１１）と、前景合成画像および背景合成画像の生成処理（並列処理ＰＡＲ１２）とを並列処理できる。また、演算装置Ｐ１１Ａは、並列処理ＰＡＲ１１，ＰＡＲ１２のそれぞれを含む第１ループ処理ＬＰ１Ａと、高速度カメラ１４のフレームレート（例えば、１０００ｆｐｓ）よりも低速（例えば、６０ｆｐｓ）である低速処理であって、前景合成画像および背景合成画像に基づく前景および背景の位置の認識処理を含む第２ループ処理ＬＰ２Ａとを並列に実行できる。つまり、演算装置Ｐ１１Ａは、高速度カメラ１４により撮像された前景フレームおよび背景フレームをそれぞれ高速画像処理することにより、外乱による背景（基準位置）に対する作業装置Ｐ１および高速度カメラ１４の揺れを除去（補正）できる。したがって、アクチュエータ１５は、画像認識処理による対象物Ｔｇを認識するまでの間、対象物Ｔｇに対する所定の作業を一時的に停止したり、作業速度を低下させたりすることなく実行できるため、作業効率を向上できる。
【0315】
以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0316】
本開示は、高速度カメラを用いた対象物の高速撮像と、対象物に対するリアルタイムな作業位置の補正とを実現可能な画像処理方法および画像処理装置の提示として有用である。
【符号の説明】
【0317】
１０ 通信部
１１，１１Ｂ，１１Ｃ，１１Ｄ，１１Ｅ 高速ビジョン処理部
１２ メモリ
１２Ａ 追跡用フレームバッファ
１２Ｂ 合成用フレームバッファ
１３ サーボ制御部
１４ 高速度カメラ
１５ アクチュエータ
１５Ａ サーボモータ
１１１ 動き計測部
１１１Ｂ 第１動き計測部
１１１Ｃ 第２動き計測部
１１２，１１２Ａ 追跡画像生成部
１１３，１１３Ａ 合成用画像生成部
１１４ フレーム合成部
１１５，１１５Ｂ，１１５Ｃ，１１５Ｄ，１１５Ｅ 目標位置補正部
１１６ 平滑化部
１１７ 予測部
１１８ 領域分割部
１００，１００Ａ 高速度画像処理システム
Ｔｇ 対象物
Ｐ１ 作業装置
Ｐ２，Ｐ２Ａ 低速ビジョン処理装置
１１，１１Ｂ，１１Ｃ，１１Ｄ，１１Ｅ 高速ビジョン処理部
１２ メモリ
１２Ａ 追跡用フレームバッファ
１２Ｂ 合成用フレームバッファ
１３ サーボ制御部
１４ 高速度カメラ
１５ アクチュエータ
１５Ａ サーボモータ
１１１ 動き計測部
１１１Ｂ 第１動き計測部
１１１Ｃ 第２動き計測部
１１２，１１２Ａ 追跡画像生成部
１１３，１１３Ａ 合成用画像生成部
１１４ フレーム合成部
１１５，１１５Ｂ，１１５Ｃ，１１５Ｄ，１１５Ｅ 目標位置補正部
１１６ 平滑化部
１１７ 予測部
１１８ 領域分割部
１００，１００Ａ 高速度画像処理システム
Ｔｇ 対象物
Ｐ１ 作業装置
Ｐ２，Ｐ２Ａ 低速ビジョン処理装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】