知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024142198
(43)【公開日】2024-10-10
(54)【発明の名称】同期制御方法および同期制御システム
(51)【国際特許分類】
H04N 23/60 20230101AFI20241003BHJP
【ＦＩ】
H04N23/60
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023054259
(22)【出願日】2023-03-29
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】渕上 竜司
(72)【発明者】
【氏名】山倉 佑馬
【テーマコード（参考）】
5C122
【Ｆターム（参考）】
5C122DA03
5C122EA65
5C122EA67
5C122FA17
5C122FA18
5C122FH10
5C122FH14
5C122HA82
5C122HA88
5C122HB01
5C122HB02
(57)【要約】
【課題】カメラとサーボモータとを同期させ、対象物に対する追従精度を向上させる。
【解決手段】同期制御方法は、基準時刻による時刻合わせを実行し、基準時刻に基づいて、カメラが露光する露光期間の中央時刻を決定して、決定された中央時刻に基づいて露光して被写体を撮像する第１処理と、基準時刻に基づいて、中央時刻におけるサーボモータの位置を取得する第２処理とを実行し、中央時刻におけるサーボモータの位置と、被写体が撮像されたフレームとに基づいて、フレームから被写体を検出し、検出された被写体の位置に基づいて、サーボモータを駆動する。
【選択図】図４
【解決手段】同期制御方法は、基準時刻による時刻合わせを実行し、基準時刻に基づいて、カメラが露光する露光期間の中央時刻を決定して、決定された中央時刻に基づいて露光して被写体を撮像する第１処理と、基準時刻に基づいて、中央時刻におけるサーボモータの位置を取得する第２処理とを実行し、中央時刻におけるサーボモータの位置と、被写体が撮像されたフレームとに基づいて、フレームから被写体を検出し、検出された被写体の位置に基づいて、サーボモータを駆動する。
【選択図】図４
【特許請求の範囲】
【請求項1】
被写体を撮像する少なくともカメラから前記被写体が撮像されたフレームを取得可能な少なくとも１台の画像処理装置と、
前記画像処理装置との間で通信可能であって、前記カメラの位置を移動させるサーボモータを制御する少なくとも１台のコントローラと、を備える同期制御システムが行う同期制御方法であって、
基準時刻による時刻合わせを実行し、
前記基準時刻に基づいて、前記カメラが露光する露光期間の中央時刻を決定して、決定された前記中央時刻に基づいて露光して前記被写体を撮像する第１処理と、前記基準時刻に基づいて、前記中央時刻における前記サーボモータの位置を取得する第２処理とを実行し、
前記中央時刻における前記サーボモータの位置と、前記被写体が撮像された前記フレームとに基づいて、前記フレームから前記被写体を検出し、
検出された前記被写体の位置に基づいて、前記サーボモータを駆動する、
同期制御方法。
前記画像処理装置との間で通信可能であって、前記カメラの位置を移動させるサーボモータを制御する少なくとも１台のコントローラと、を備える同期制御システムが行う同期制御方法であって、
基準時刻による時刻合わせを実行し、
前記基準時刻に基づいて、前記カメラが露光する露光期間の中央時刻を決定して、決定された前記中央時刻に基づいて露光して前記被写体を撮像する第１処理と、前記基準時刻に基づいて、前記中央時刻における前記サーボモータの位置を取得する第２処理とを実行し、
前記中央時刻における前記サーボモータの位置と、前記被写体が撮像された前記フレームとに基づいて、前記フレームから前記被写体を検出し、
検出された前記被写体の位置に基づいて、前記サーボモータを駆動する、
同期制御方法。
【請求項2】
前記中央時刻における前記被写体の位置と、前記サーボモータの位置との差分に基づいて、前記サーボモータの位置の補正量を算出する、
請求項１に記載の同期制御方法。
請求項１に記載の同期制御方法。
【請求項3】
前記中央時刻における前記被写体の位置と、前記サーボモータの位置との差分に基づいて、前記被写体の移動速度を計測する、
請求項１に記載の同期制御方法。
請求項１に記載の同期制御方法。
【請求項4】
前記中央時刻における前記被写体の位置と、前記サーボモータの位置との差分に基づいて、前記被写体に働く外乱を計測する、
請求項１に記載の同期制御方法。
請求項１に記載の同期制御方法。
【請求項5】
前記画像処理装置あるいは前記コントローラうちいずれかが、自装置以外の前記画像処理装置あるいは前記コントローラに前記基準時刻を送信する、
請求項１に記載の同期制御方法。
請求項１に記載の同期制御方法。
【請求項6】
前記同期制御システムは、
前記画像処理装置および前記コントローラと通信可能に接続された外部装置をさらに備え、
前記外部装置は、前記画像処理装置および前記コントローラのそれぞれに前記基準時刻を送信する、
請求項１に記載の同期制御方法。
前記画像処理装置および前記コントローラと通信可能に接続された外部装置をさらに備え、
前記外部装置は、前記画像処理装置および前記コントローラのそれぞれに前記基準時刻を送信する、
請求項１に記載の同期制御方法。
【請求項7】
前記カメラのフレームレートは、９６０ｆｐｓ以上である、
請求項１に記載の同期制御方法。
請求項１に記載の同期制御方法。
【請求項8】
被写体を撮像する少なくともカメラから前記被写体が撮像されたフレームを取得可能な少なくとも１台の画像処理装置と、
前記画像処理装置との間で通信可能であって、前記カメラの位置を移動させるサーボモータを制御する少なくとも１台のコントローラと、を備える同期制御システムであって、
前記画像処理装置および前記コントローラは、
基準時刻による時刻合わせを実行し、
前記画像処理装置は、
前記基準時刻に基づいて、前記カメラが露光する露光期間の中央時刻を決定し、決定された前記中央時刻に基づいて露光して撮像されたフレームを前記カメラから取得して、前記フレームの少なくとも一部の検出画素から前記被写体を検出する第１処理を実行し、
前記コントローラは、
前記基準時刻に基づいて、前記中央時刻における前記サーボモータの位置を取得して、前記画像処理装置に送信する第２処理を実行し、
前記画像処理装置は、
前記中央時刻における前記サーボモータの位置と、前記被写体が撮像された前記フレームとに基づいて、前記フレームから前記被写体の位置を検出して前記コントローラに送信し、
前記コントローラは、
送信された前記被写体の位置に基づいて、前記サーボモータを駆動する、
同期制御システム。
前記画像処理装置との間で通信可能であって、前記カメラの位置を移動させるサーボモータを制御する少なくとも１台のコントローラと、を備える同期制御システムであって、
前記画像処理装置および前記コントローラは、
基準時刻による時刻合わせを実行し、
前記画像処理装置は、
前記基準時刻に基づいて、前記カメラが露光する露光期間の中央時刻を決定し、決定された前記中央時刻に基づいて露光して撮像されたフレームを前記カメラから取得して、前記フレームの少なくとも一部の検出画素から前記被写体を検出する第１処理を実行し、
前記コントローラは、
前記基準時刻に基づいて、前記中央時刻における前記サーボモータの位置を取得して、前記画像処理装置に送信する第２処理を実行し、
前記画像処理装置は、
前記中央時刻における前記サーボモータの位置と、前記被写体が撮像された前記フレームとに基づいて、前記フレームから前記被写体の位置を検出して前記コントローラに送信し、
前記コントローラは、
送信された前記被写体の位置に基づいて、前記サーボモータを駆動する、
同期制御システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、同期制御方法および同期制御システムに関する。
【背景技術】
【0002】
特許文献１には、ロボットの可動部のエンドポイントを移動させる第１指令値を足し合わせた第２指令値を用いて可動部を制御するロボット制御装置が開示されている。ロボット制御装置は、撮像装置から取得された画像に基づいて、目標物の追跡を実行する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１５－０７４０６３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献１の構成では、撮像装置により撮像されるフレームの撮像タイミング（撮像時刻）と、エンコーダ値の読み出しタイミング（時刻）とを揃える制御を実行していないため、撮像時刻におけるロボットのアーム位置が分からず、現在位置を目標位置に移動させる移動制御において位置ずれが発生する可能性があった。また、従来のロボット制御装置は、フレームに写るエンドポイントの位置と目標物の位置とに基づいて目標物の追跡を実行する場合も同様に、フレームの撮像タイミング（撮像時刻）と、エンコーダ値の読み出しタイミング（時刻）とを揃える制御を実行していないため、フレームに写るエンドポイントの位置と、読み出されたエンコーダ値が示すエンドポイントの位置とが異なる可能性があった。
【0005】
本開示は、上述した従来の事情に鑑みて案出され、カメラとサーボモータとを同期させ、対象物に対する追従精度を向上させる同期制御方法および同期制御システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示は、被写体を撮像する少なくともカメラから前記被写体が撮像されたフレームを取得可能な少なくとも１台の画像処理装置と、前記画像処理装置との間で通信可能であって、前記カメラの位置を移動させるサーボモータを制御する少なくとも１台のコントローラと、を備える同期制御システムが行う同期制御方法であって、基準時刻による時刻合わせを実行し、前記基準時刻に基づいて、前記カメラが露光する露光期間の中央時刻を決定して、決定された前記中央時刻に基づいて露光して前記被写体を撮像する第１処理と、前記基準時刻に基づいて、前記中央時刻における前記サーボモータの位置を取得する第２処理とを実行し、前記中央時刻における前記サーボモータの位置と、前記被写体が撮像された前記フレームとに基づいて、前記フレームから前記被写体を検出し、検出された前記被写体の位置に基づいて、前記サーボモータを駆動する、同期制御方法を提供する。
【0007】
また、本開示は、被写体を撮像する少なくともカメラから前記被写体が撮像されたフレームを取得可能な少なくとも１台の画像処理装置と、前記画像処理装置との間で通信可能であって、前記カメラの位置を移動させるサーボモータを制御する少なくとも１台のコントローラと、を備える同期制御システムであって、前記画像処理装置および前記コントローラは、基準時刻による時刻合わせを実行し、前記画像処理装置は、前記基準時刻に基づいて、前記カメラが露光する露光期間の中央時刻を決定し、決定された前記中央時刻に基づいて露光して撮像されたフレームを前記カメラから取得して、前記フレームの少なくとも一部の検出画素から前記被写体を検出する第１処理を実行し、前記コントローラは、前記基準時刻に基づいて、前記中央時刻における前記サーボモータの位置を取得して、前記画像処理装置に送信する第２処理を実行し、前記画像処理装置は、前記中央時刻における前記サーボモータの位置と、前記被写体が撮像された前記フレームとに基づいて、前記フレームから前記被写体の位置を検出して前記コントローラに送信し、前記コントローラは、送信された前記被写体の位置に基づいて、前記サーボモータを駆動する、同期制御システムを提供する。
【発明の効果】
【0008】
本開示によれば、カメラとサーボモータとを同期させ、対象物に対する追従精度を向上できる。
【図面の簡単な説明】
【0009】
【図1】実施の形態１に係るモータ制御システムの全体構成例を示すブロック図
【図2】実施の形態１における画像処理装置およびサーボコントローラの内部構成例を示すブロック図
【図3】実施の形態１に係るモータ制御システムの動作手順例を示すシーケンス図
【図4】実施の形態１における画像処理装置およびサーボコントローラの動作手順例を示すシーケンス図
【図5】実施の形態１における画像処理装置およびサーボコントローラの動作手順を示すタイムチャート
【図6】従来の画像処理装置とサーボモータとの動作処理例を説明する比較図
【図7】本開示の画像処理装置とサーボモータとの動作処理例を説明する比較図
【図8】実施の形態２に係るモータ制御システムの全体構成例を示すブロック図
【図9】実施の形態２に係るモータ制御システムの動作手順例を示すシーケンス図
【発明を実施するための形態】
【0010】
（本開示に至る経緯）
近年、カメラにより対象物を撮像し、撮像されたフレームに写る対象物の位置を計測する画像処理装置と、サーボモータを駆動させ、ロボットアーム等に対象物に対して所定の作業を実行させるモータ制御装置とを用いた制御システムがある。このような制御システムは、画像処理装置により計測された対象物の位置と、エンコーダにより読み出されたエンコーダの位置情報とに基づいて、対象物に対するロボットアームの位置を補正するためにサーボモータの移動量を算出する。制御システムは、算出されたサーボモータの移動量に基づいて、モータ制御装置によるサーボモータの駆動制御を実行することで、対象物に対して所定の作業を実現可能にする。
近年、カメラにより対象物を撮像し、撮像されたフレームに写る対象物の位置を計測する画像処理装置と、サーボモータを駆動させ、ロボットアーム等に対象物に対して所定の作業を実行させるモータ制御装置とを用いた制御システムがある。このような制御システムは、画像処理装置により計測された対象物の位置と、エンコーダにより読み出されたエンコーダの位置情報とに基づいて、対象物に対するロボットアームの位置を補正するためにサーボモータの移動量を算出する。制御システムは、算出されたサーボモータの移動量に基づいて、モータ制御装置によるサーボモータの駆動制御を実行することで、対象物に対して所定の作業を実現可能にする。
【0011】
しかし、従来のモータ制御装置は、サーボモータと、このサーボモータを制御するための専用のコントローラ（制御装置）とを用いて構成されており、コントローラにより位置情報を指定することでサーボモータが駆動する仕組みであり、指定された位置情報への移動が完了した後にサーボモータの移動完了通知が出力されるため、所定の時間におけるサーボモータの位置（エンコーダ値）を取得することが困難だった。また、従来の画像処理装置は、外部装置であるモータ制御装置から出力されるサーボモータのパラメータを用いずに画像処理を実行していた。これにより、従来のモータ制御装置は、エンコーダの位置情報が取得された実際の時刻情報が分からず、また、画像処理により得られた対象物の位置に対応する時刻情報が分からないため、モータ制御装置による対象物への追従精度が低下したり、追従が遅れたりする等の課題があった。
【0012】
よって、以下に示す各実施の形態においては、カメラとサーボモータとを同期させ、対象物に対する追従精度を向上させる同期制御方法および同期制御システムの例を説明する。
【0013】
以下、適宜図面を参照しながら、本開示に係る同期制御方法および同期制御システムの構成および作用を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0014】
なお、以降の説明において、用語「画像処理装置」は、各画像処理装置とでデータ送受信可能に接続されたカメラおよび照明を含む装置として称することがある。
【0015】
【0016】
システム，画像処理システム，同期制御システムの一例としてのモータ制御システム１００は、Ｎ（Ｎ：１以上の整数）台のサーボコントローラ（具体的に、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮ）と、Ｋ（Ｋ：１以上の整数）台の画像処理装置（具体的に、第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫ）とを含んで構成される。なお、サーボコントローラの台数Ｎと、画像処理装置の台数Ｋとは同じ値であってもよいし、異なる値であってもよい。
【0017】
モータ制御システム１００は、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮのそれぞれと、第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫのそれぞれとのうちいずれか１台の装置（つまり、サーボコントローラまたは画像処理装置）により、時刻合わせを実行する。モータ制御システム１００は、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮのそれぞれと、第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫのそれぞれとを同期時刻で同期，連携させて、第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫのそれぞれの画像処理結果（つまり、対象物の位置）に基づいて、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮのそれぞれによる対象物の追従を実行させる。
【0018】
コントローラの一例としての第１サーボコントローラＳ１～第ＮサーボコントローラＳＮのそれぞれは、自サーボコントローラ以外の他のサーボコントローラおよび第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫのそれぞれとの間でデータ送受信可能に接続される。
【0019】
各サーボモータは、エンコーダと、モータドライバと、サーボモータとを含む。つまり、モータ制御システム１００は、Ｎ台のエンコーダ（第１エンコーダＥｎ１～第ＮエンコーダＥｎＮ）と、Ｎ台のモータドライバ（第１モータドライバＭｄ１～第ＮモータドライバＭｄＮ）と、Ｎ台のサーボモータ（第１サーボモータＳｍ１～第ＮサーボモータＳｍＮ）とを含む。
【0020】
第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫのそれぞれは、自画像処理装置以外の他の画像処理装置および第１サーボコントローラＳ１～第ＮサーボコントローラＳＮのそれぞれとの間でデータ送受信可能に接続される。
【0021】
各画像処理装置は、カメラと、照明とを含む。つまり、モータ制御システム１００は、Ｋ台のカメラ（第１カメラＣ１～第ＫカメラＣＫ）と、Ｋ個の照明（第１照明Ｌ１～第Ｋ照明ＬＫ）とを含む。
【0022】
次に、図２を参照して、実施の形態１における画像処理装置およびサーボコントローラの内部構成について説明する。図２は、実施の形態１における画像処理装置およびサーボコントローラの内部構成例を示すブロック図である。なお、図２では、説明を簡単にするために、モータ制御システム１００の最小構成である第１画像処理装置Ｉｍ１および第１サーボコントローラＳ１の内部構成例について説明する。
【0023】
第１画像処理装置Ｉｍ１は、通信部１０と、プロセッサ１１と、メモリ１２とを含む。
【0024】
通信部１０は、第１カメラＣ１と、第１照明Ｌ１と、第１サーボコントローラＳ１との間でデータ送受信可能に接続される。通信部１０は、データの送受信を行うための通信インターフェース回路を用いて構成される。通信部１０は、第１カメラＣ１と、第１照明Ｌ１と、第１サーボコントローラＳ１との間を、ＣａｍｅｒａＬｉｎｋ（登録商標）ケーブル、イーサネットケーブル、ＥｔｈｅｒＣＡＴ（登録商標）等を用いて有線通信可能に接続し、データの送受信を実現する。
【0025】
プロセッサ１１は、例えばＦｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（以降、「ＦＰＧＡ」と称する）等のリアルタイムＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（以降、「ＯＳ」と称する）を用いて構成されて、メモリ１２と協働して、各種の処理および制御を行う。具体的には、プロセッサ１１は、メモリ１２に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。
【0026】
プロセッサ１１は、第１カメラＣ１の露光開始および露光終了のタイミングと、第１照明の照明ＯＮ，ＯＦＦのタイミングとを決定し、第１カメラＣ１および第１照明のそれぞれを制御する。具体的に、プロセッサ１１は、第１カメラＣ１の露光開始のタイミングから露光終了のタイミングまでの露光期間において、露光期間の半分のタイミングに対応する露光時刻（以降、「露光中央時刻」と称する）が、第１サーボコントローラＳ１から送信されるサーボモータの位置情報の読み出しタイミングと一致するように、第１カメラＣ１の露光開始および露光終了のタイミングと、第１照明の照明ＯＮ，ＯＦＦのタイミングとを決定する。
【0027】
プロセッサ１１は、第１サーボコントローラＳ１から送信された第１エンコーダＥｎ１のエンコーダの位置情報および第１サーボモータＳｍ１の駆動電値情報のそれぞれを取得する。プロセッサ１１は、第１エンコーダＥｎ１のエンコーダの位置情報を用いたカルマンフィルタにより、フレームに写る対象物の位置を推定（予測）し、推定された位置に対応する画素データを第１カメラＣ１から取得する。プロセッサ１１は、取得された画素データに山登り法（Ｈｉｌｌ Ｃｌｉｍｂｉｎｇ Ｍｅｔｈｏｄ）を用いた画像処理を実行し、対象物の位置を検出する。
【0028】
プロセッサ１１は、決定された画素データの読み出し領域の情報を第１カメラＣ１に送信する。プロセッサ１１は、第１カメラＣ１から送信された画素データを、メモリ１２に記憶せずにそのまま画像処理し、対象物の位置を計測する。プロセッサ１１は、画像処理結果である対象物の位置情報を第１サーボコントローラＳ１に送信する。これにより、プロセッサ１１は、画像処理に要する時間を短縮し、高速での画像処理を実現できる。
【0029】
メモリ１２は、例えばプロセッサ１１の各処理を実行する際に用いられるワークメモリとしてのＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（以降、「ＲＡＭ」と称する）と、プロセッサ１１の動作を規定したプログラムおよびデータを格納するＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（以降、「ＲＯＭ」と称する）とを有する。ＲＡＭには、プロセッサ１１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ１１の動作を規定するプログラムが書き込まれている。
【0030】
第１カメラＣ１は、少なくともレンズ（不図示）とイメージセンサ（不図示）とを有して構成される。イメージセンサは、例えばＣｈａｒｇｅｄ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ（以降、「ＣＣＤ」と称する）またはＣｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ（以降、「ＣＭＯＳ」と称する）の固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。第１カメラＣ１は、例えば、９６０ｆｐｓ以上の高フレームレートで対象物を撮像する。
【0031】
第１カメラは、プロセッサ１１から送信されたシャッタータイミング（露光開始指令および露光終了指令のそれぞれ）に基づいて、露光制御を実行する。また、第１カメラＣ１は、イメージセンサによる電気信号への変換処理後、プロセッサ１１により要求された読み出し領域（例えば、図５に示す読み出し領域ＡＲ１，ＡＲ２，ＡＲ３，ＡＲ４等）に含まれる画素データの読み出しと、読み出された画素データの送信とを順次実行する。
【0032】
第１照明Ｌ１は、少なくとも１つのＬｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ（以降、「ＬＥＤ」と称する）により実現される。第１照明Ｌ１は、プロセッサ１１から送信される発光開始指令および発光終了指令のそれぞれに基づいて、照明の発光開始，発光終了を制御して、対象物を照明する。
【0033】
第１サーボコントローラＳ１は、通信部２０と、プロセッサ２１と、メモリ２２と、第１モータドライバＭｄ１と、第１サーボモータＳｍ１と、第１エンコーダＥｎ１とを含む。
【0034】
通信部２０は、第１画像処理装置Ｉｍ１との間でデータ送受信可能に接続される。通信部２０は、データの送受信を行うための通信インターフェース回路を用いて構成される。通信部２０は、第１画像処理装置Ｉｍ１との間を、ＨＤＭＩ（登録商標）ケーブル等を用いて有線通信可能に接続し、データの送受信を実現する。
【0035】
プロセッサ２１は、例えばＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）、ＦＰＧＡ等を用いて構成され、メモリ２２と協働して、各種の処理および制御を行う。具体的には、プロセッサ２１は、メモリ２２に保持されたプログラムを参照し、そのプログラムを実行することにより、第１モータドライバＭｄ１，第１サーボモータＳｍ１，第１エンコーダＥｎ１等の機能を実現する。
【0036】
プロセッサ２１は、第１カメラＣ１の露光中央時刻に、第１エンコーダＥｎ１からエンコーダフィードバック情報を取得する。なお、ここでいうエンコーダフィードバック情報は、第１サーボモータＳｍ１の回転角度である。プロセッサ２１は、第１サーボモータＳｍ１の回転角度に基づいて、第１サーボモータＳｍ１の位置を計測する。
【0037】
プロセッサ２１は、第１画像処理装置Ｉｍ１から送信された画像処理結果である対象物の位置情報と、現在の第１サーボモータＳｍ１の位置情報とに基づいて、第１サーボモータＳｍ１の位置の補正量を算出する。プロセッサ２１は、算出された補正量に基づいて、第１サーボモータＳｍ１を駆動させる電流制御指令を生成し、第１モータドライバＭｄ１に出力する。
【0038】
メモリ２２は、例えばプロセッサ２１の各処理を実行する際に用いられるワークメモリとしてのＲＡＭと、プロセッサ２１の動作を規定したプログラムおよびデータを格納するＲＯＭとを有する。ＲＡＭには、プロセッサ２１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ２１の動作を規定するプログラムが書き込まれている。
【0039】
第１モータドライバＭｄ１は、プロセッサ２１から出力される電流制御指令に基づいて第１サーボモータＳｍ１を駆動（回転）させる。第１モータドライバＭｄ１は、フィードバック制御により、電流制御指令に対応する第１サーボモータＳｍ１の移動目標値と、第１モータドライバＭｄ１の実際の制御量との差分を示す電流フィードバック情報を取得する。第１モータドライバＭｄ１は、取得された電流フィードバック情報をプロセッサ２１に出力する。
【0040】
第１エンコーダＥｎ１は、第１サーボモータＳｍ１の回転角度を検出可能であって、第１サーボモータＳｍ１の回転角度の情報（エンコーダフィードバック情報）をプロセッサ２１に出力（フィードバック）する。
【0041】
【0042】
なお、図３に示す例では、第１画像処理装置Ｉｍ１が、他の画像処理装置（第２画像処理装置Ｉｍ２～第Ｋ画像処理装置ＩｍＫ）および第１サーボコントローラＳ１～第ＮサーボコントローラＳＮのそれぞれの時刻情報を同期時刻に同期させる（つまり、時計合わせを実行する）マスターとして設定されている例を示すが、マスターに設定される装置は、他のいずれか１台の装置であってよい。
【0043】
モータ制御システム１００は、ステップＳｔ１１の処理と、第１ループ処理Ｌｐ１１とを実行する。なお、第１ループ処理Ｌｐ１１のループ回数は、ステップＳｔ１１の時刻合わせ処理を実行する間隔によって任意の回数が設定されてよい。
【0044】
第１画像処理装置Ｉｍ１は、同期される同期時刻情報を他の画像処理装置（第２画像処理装置Ｉｍ２～第Ｋ画像処理装置ＩｍＫ）および第１サーボコントローラＳ１～第ＮサーボコントローラＳＮのそれぞれに送信し、各装置の時刻合わせを所定の間隔で繰り返し実行する（Ｓｔ１１）。ここで、モータ制御システム１００は、ステップＳｔ１１における時刻情報が各装置で同時受信できない場合、時刻合わせ（同期）処理が失敗したと判定して、第１ループ処理Ｌｐ１１に移行し、次のステップＳｔ１１の処理まで時刻合わせ処理を延期してよい。
【0045】
また、破線で示すように、第１サーボコントローラＳ１がマスターに設定される場合、第１サーボコントローラＳ１は、同期される同期時刻情報を第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫおよび第２サーボコントローラ（不図示）～第ＮサーボコントローラＳＮのそれぞれに送信し、各装置の時刻合わせを実行する（Ｓｔ１１Ａ）。
【0046】
第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫのそれぞれは、第１カメラＣ１～第ＫカメラＣＫおよび第１照明Ｌ１～第Ｋ照明ＬＫのそれぞれを用いて、対象物の撮像処理を実行する（Ｓｔ１００）。
【0047】
第１サーボコントローラＳ１～第ＮサーボコントローラＳＮのそれぞれは、第１カメラＣ１～第ＫカメラＣＫの露光中央時刻Ｔ０に、第１サーボモータＳｍ１～第ＮサーボモータＳｍＮのそれぞれの位置情報を取得するサーボモータ位置取得処理を実行する（Ｓｔ２００）。
【0048】
第１サーボコントローラＳ１～第ＮサーボコントローラＳＮのそれぞれは、他のサーボコントローラおよび第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫに、取得されたサーボモータの位置情報を送信する（Ｓｔ１２，Ｓｔ１３）。
【0049】
例えば、第１サーボコントローラＳ１は、第２サーボコントローラ（不図示）～第ＮサーボコントローラＳＮと、第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫとに第１サーボモータＳｍ１の位置情報を送信する（Ｓｔ１２）。
【0050】
また、例えば、第ＮサーボコントローラＳＮは、第１サーボコントローラＳ１～第（Ｎ－１）サーボコントローラ（不図示）と、第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫとのそれぞれに第ＮサーボモータＳｍＮの位置情報を送信する（Ｓｔ１３）。
【0051】
なお、図３に示すシーケンスでは、説明を分かりやすくするために、第１サーボコントローラＳ１が第１サーボモータＳｍ１の位置情報を送信する処理をステップＳｔ１２で示し、第ＮサーボコントローラＳＮが第ＮサーボモータＳｍＮの位置情報を送信する処理をステップＳｔ１３で示しているが、ステップＳｔ１２およびステップＳｔ１３の処理は、略同時刻に実行されてよい。
【0052】
モータ制御システム１００は、第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫのそれぞれによって第２ループ処理Ｌｐ２１と、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮのそれぞれによって第３ループ処理Ｌｐ２２とを並列に実行する。
【0053】
第２ループ処理Ｌｐ２１において、第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫのそれぞれは、ステップＳｔ１００の処理で撮像されたフレームと、ステップＳｔ１２～ステップＳｔ１３で取得された第１サーボモータＳｍ１～第ＮサーボモータＳｍＮのそれぞれの位置情報とに基づいて、略同時に画像処理を実行する（Ｓｔ３００）。
【0054】
第３ループ処理Ｌｐ２２において、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮのそれぞれは、第１サーボモータＳｍ１～第ＮサーボモータＳｍＮのそれぞれの駆動処理と、第１サーボモータＳｍ１～第ＮサーボモータＳｍＮのそれぞれの位置情報の取得処理とを実行する（Ｓｔ４００）。第１サーボコントローラＳ１～第ＮサーボコントローラＳＮのそれぞれは、取得されたサーボモータの位置情報を、他のサーボコントローラのそれぞれに互いに送信する（Ｓｔ１４）。
【0055】
第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫのそれぞれは、ステップＳｔ３００の画像処理により得られた画像処理結果である対象物の位置情報を、他の画像処理装置および第１サーボコントローラＳ１～第ＮサーボコントローラＳＮのそれぞれに送信する（Ｓｔ１５，Ｓｔ１６）。
【0056】
例えば、第１画像処理装置Ｉｍ１は、第１カメラＣ１により撮像されたフレーム（画素データ）を画像処理し、画像処理結果である対象物の位置情報を、第２画像処理装置（不図示）～第Ｋ画像処理装置ＩｍＫと、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮとに対象物の位置情報を送信する（Ｓｔ１５）。
【0057】
また、例えば、第Ｋ画像処理装置ＩｍＫは、第ＫカメラＣＫにより撮像されたフレーム（画素データ）を画像処理し、画像処理結果である対象物の位置情報を、第１画像処理装置Ｉｍ１～第（Ｋ－１）画像処理装置（不図示）と、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮとに対象物の位置情報を送信する（Ｓｔ１６）。
【0058】
次に、図４を参照して、画像処理装置およびサーボコントローラの動作手順例について説明する。図４は、実施の形態１における画像処理装置（具体的に、第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫ）およびサーボコントローラ（具体的に、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮ）の動作手順例を示すシーケンス図である。
【0059】
なお、図４に示す例では、図３に示す第１ループ処理Ｌｐ１１で実行される動作手順について詳細に説明する。また、図４では、説明を簡単にするために、モータ制御システム１００の最小構成である第１画像処理装置Ｉｍ１と第１サーボコントローラＳ１との間で実行される動作手順例について説明するためステップＳｔ１３，ステップＳｔ１６の処理を省略している。
【0060】
まず、ステップＳｔ１００の撮像処理について説明する。ステップＳｔ１００の撮像処理は、例えば、１ｋＨｚの周期で実行される。
【0061】
第１画像処理装置Ｉｍ１は、第１カメラＣ１の露光開始および露光終了のタイミングと、第１照明Ｌ１の発光開始および発光終了のタイミングとをそれぞれ決定する（Ｓｔ１０１）。
【0062】
なお、第１画像処理装置Ｉｍ１は、時刻合わせされた同期時刻を基準として、露光中央時刻Ｔ０と、発光開始および発光終了のタイミングとをそれぞれ決定する。例えば、露光中央時刻Ｔ０は、所定の周期（例えば、１ｋＨｚ）ごとの周期で決定されてよい。
【0063】
これにより、第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫのそれぞれは、シャッターの開閉時間等による撮像時刻のズレを防止できる。したがって、第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫのそれぞれは、すべてのカメラ（第１カメラＣ１～第ＫカメラＣＫ）の露光中央時刻Ｔ０を合わせることができる。
【0064】
第１画像処理装置Ｉｍ１は、決定された露光中央時刻Ｔ０に基づいて、第１カメラＣ１に露光開始指令を生成し、第１カメラＣ１の露光開始のタイミングに基づいて、生成された露光開始指令を第１カメラＣ１に送信する（Ｓｔ１０２）。また、第１画像処理装置Ｉｍ１は、決定された露光中央時刻Ｔ０に基づいて、第１照明Ｌ１に発光開始指令を生成し、第１照明Ｌ１の発光開始のタイミングに基づいて、生成された発光開始指令を第１照明Ｌ１に送信する（Ｓｔ１０３）。なお、ステップＳｔ１０２とステップＳｔ１０３の処理順序は、逆であってもよい。
【0065】
第１照明Ｌ１は、第１画像処理装置Ｉｍ１から送信された発光開始指令に基づいて、発光を開始する（Ｓｔ１０４）。
【0066】
第１カメラＣ１は、第１画像処理装置Ｉｍ１から送信された露光開始指令に基づいて、露光を開始する（Ｓｔ１０５）。
【0067】
第１画像処理装置Ｉｍ１は、第１カメラＣ１に露光終了指令を生成し、第１カメラＣ１の露光終了のタイミングに基づいて、生成された露光終了指令を第１カメラＣ１に送信する（Ｓｔ１０６）。第１カメラＣ１は、第１画像処理装置Ｉｍ１から送信された露光終了指令に基づいて、露光を終了する。
【0068】
また、第１画像処理装置Ｉｍ１は、第１照明Ｌ１に発光終了指令を生成し、第１照明Ｌ１の発光終了のタイミングに基づいて、生成された発光終了指令を第１照明Ｌ１に送信する（Ｓｔ１０７）。第１照明Ｌ１は、第１画像処理装置Ｉｍ１から送信された発光終了指令に基づいて、発光を終了する。
【0069】
なお、図４に示すステップＳｔ１０２およびステップＳｔ１０３の処理の順序と、ステップＳｔ１０６およびステップＳｔ１０７の処理の順序とは一例であって、これに限定されない。また、第１照明Ｌ１が発光する発光期間は、第１カメラＣ１の露光期間と略同じであってもよいし、より長い時間であってもよい。
【0070】
次に、ステップＳｔ２００のサーボモータ位置取得処理について説明する。ステップＳｔ２００のサーボモータ位置取得処理は、ステップＳｔ１００の撮像処理に対応する周期、例えば、１ｋＨｚの周期で実行される。
【0071】
第１サーボコントローラＳ１は、第１エンコーダＥｎ１に第１サーボモータＳｍ１の位置情報の取得を要求するＡ／Ｄ変換開始指令を生成して、第１エンコーダＥｎ１に出力する（Ｓｔ２０１）。
【0072】
第１エンコーダＥｎ１は、第１画像処理装置Ｉｍ１の露光中央時刻Ｔ０のタイミングで第１サーボモータＳｍ１の位置情報を示す電子信号（アナログ信号）を取得し、デジタル信号に変換する（Ｓｔ２０２）。第１エンコーダＥｎ１は、第１サーボモータＳｍ１の位置情報を第１サーボコントローラＳ１に出力する（Ｓｔ２０３）。
【0073】
これにより、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮのそれぞれも同様に、時刻合わせされた同期時刻を基準として露光中央時刻Ｔ０と同時刻のサーボモータ（第１サーボモータＳｍ１～第ＮサーボモータＳｍＮ）のそれぞれの位置情報を取得できる。つまり、モータ制御システム１００は、すべてのカメラの撮像時刻と、すべてのサーボモータの位置情報の取得時間とを同じ時刻（＝露光中央時刻Ｔ０）に合わせることができる。
【0074】
第１サーボコントローラＳ１は、第１エンコーダＥｎ１により取得された第１サーボモータＳｍ１の位置情報を第１画像処理装置Ｉｍ１に送信する（Ｓｔ１２）。
【0075】
次に、ステップＳｔ３００の画像処理について説明する。ステップＳｔ３００の画像処理は、例えば、１ｋＨｚの周期で実行される。
【0076】
第１画像処理装置Ｉｍ１は、第１カメラＣ１のフレームレートと、第１サーボコントローラＳ１から送信された第１サーボモータＳｍ１の位置情報と、１つ前のフレームで検出された対象物の位置とに基づいて、カルマンフィルタにより、１つ前のフレームの次に撮像されたフレームに写る対象物の位置を推定する。第１画像処理装置Ｉｍ１は、推定された対象物の位置に対応する少なくとも１つの画素を含む画素データの読み出しおよび送信を第１カメラＣ１に要求する。
【0077】
第１カメラＣ１は、露光中にレンズから入射した光を電気信号（アナログ信号）に置き換え、デジタル信号に変換するＡ／Ｄ変換処理を実行する。第１カメラＣ１は、画素データを読み出して、第１画像処理装置Ｉｍ１に送信する（Ｓｔ３０１）。
【0078】
第１画像処理装置Ｉｍ１は、第１カメラＣ１から送信された画素データをメモリ１２に記録する前に画像処理を実行する（Ｓｔ３０２）。第１画像処理装置Ｉｍ１は、第１カメラＣ１から送信された画素データに対して山登り法による対象物の検出処理を順次実行する。第１画像処理装置Ｉｍ１は、画素データから検出された検出部が対象物である確からしさを示す評価値を算出する。第１画像処理装置Ｉｍ１は、山登り法により、算出された評価値がより高い画素の近傍に位置する少なくとも１つの画素を含む画素データの読み出しを第１カメラＣ１に要求する。
【0079】
第１カメラＣ１は、第１画像処理装置Ｉｍ１から送信された要求に基づく画素データを読み出し、第１画像処理装置Ｉｍ１に送信する（Ｓｔ３０１）。
【0080】
第１画像処理装置Ｉｍ１は、第１カメラＣ１から送信された画素データをメモリ１２に記録する前に画像処理を実行する（Ｓｔ３０２）。第１画像処理装置Ｉｍ１は、ステップＳｔ３０１の第１カメラＣ１による画素データの読み出し処理と、ステップＳｔ３０２の第１画像処理装置Ｉｍ１による対象物の検出処理とを、山登り法による評価値の改善がなくなるまで、つまり、対象物が検出されたと判定されるまでの間、繰り返し実行する。
【0081】
第１画像処理装置Ｉｍ１は、画像処理結果である対象物が検出された位置情報を第１サーボコントローラＳ１に送信する（Ｓｔ１５）。また、第１画像処理装置Ｉｍ１は、第１カメラＣ１から取得されたフレームと、第１カメラＣ１によるフレームの撮像順番を示すアドレス番号と、検出された対象物の位置情報と、サーボモータの位置情報とを対応付けて、メモリ１２に記録する。
【0082】
これにより、第１画像処理装置Ｉｍ１は、１つ前のフレームに写る対象物の位置情報と、１つ前に撮像されたフレームの撮像時刻（＝露光中央時刻Ｔ０）における第１サーボモータＳｍ１の位置情報と、次に撮像されたフレームの撮像時刻（＝露光中央時刻Ｔ０）における第１サーボモータＳｍ１の位置情報とに基づいて、２枚のフレーム間におけるサーボモータの移動量を算出できる。第１画像処理装置Ｉｍ１は、２枚のフレーム間におけるサーボモータの移動量に基づいて、次のフレームに写る対象物の位置をより高精度に推定できる。
【0083】
したがって、第１画像処理装置Ｉｍ１は、次のフレームに写る対象物の位置を従来よりもさらに精度よく推定できるため、画像処理すべき画素を効果的に選択でき、山登り法により画像処理される画素数を減少させ、対象物の検出時間をより短縮することができる。
【0084】
また、第１画像処理装置Ｉｍ１は、高フレームレートで撮像する第１カメラＣ１により連続して撮像された２枚のフレームと、２枚のフレーム間におけるサーボモータの移動量とに基づいて、これら２枚のフレームをそれぞれステレオカメラで撮像されたフレームとして扱うことができる。したがって、第１画像処理装置Ｉｍ１は、第１カメラＣ１のイメージセンサに対して略垂直方向における対象物の位置（つまり、イメージセンサとの間の距離であって、奥行き）を計測することができる。これにより、第１画像処理装置Ｉｍ１は、第１カメラＣ１と対象物との間の距離を計測できる。
【0085】
さらに、対象物が移動している場合、第１画像処理装置Ｉｍ１は、高フレームレートで撮像する第１カメラＣ１により連続して撮像された２枚のフレームと、２枚のフレーム間におけるサーボモータの移動量とに基づいて、対象物の移動速度，移動距離を計測できる。また、対象物が移動していない場合、第１画像処理装置Ｉｍ１は、連続して撮像された２枚のフレームと、２枚のフレーム間におけるサーボモータの移動量とに基づいて、対象物に働く外乱として、対象物の移動量，移動速度等を計測（特定）できる。なお、外乱の特定については、後述する図６および図７で詳細に説明する。
【0086】
また、対象物が等速直線運動をしていない場合、第１画像処理装置Ｉｍ１は、連続して撮像された２枚のフレームと、２枚のフレーム間におけるサーボモータの移動量とに基づいて、対象物の移動量，加速度等の変化を計測できる。
【0087】
次に、ステップＳｔ４００のモータ駆動処理およびサーボモータ位置取得処理について説明する。ステップＳｔ４００のモータ駆動処理およびサーボモータ位置取得処理は、例えば、数１０ｋＨｚの周期で実行される。
【0088】
第１サーボコントローラＳ１は、電流制御指令を生成して、第１モータドライバＭｄ１に出力する（Ｓｔ４０１）。第１モータドライバＭｄ１は、第１サーボコントローラＳ１から出力された電流制御指令に基づいて、第１サーボモータＳｍ１を駆動させる（Ｓｔ４０２）。
【0089】
第１サーボコントローラＳ１は、Ａ／Ｄ変換開始指令を生成して、第１エンコーダＥｎ１に出力する（Ｓｔ４０３）。第１エンコーダＥｎ１は、第１サーボコントローラＳ１から出力されたＡ／Ｄ変換開始指令に基づいて、第１サーボモータＳｍ１の位置情報を示す電子信号（アナログ信号）を取得し、デジタル信号に変換する（Ｓｔ４０４）。第１エンコーダＥｎ１は、第１サーボモータＳｍ１の位置情報を第１サーボコントローラＳ１に出力する（Ｓｔ４０５）。
【0090】
ここで、図３に示すステップＳｔ４００の処理は、他の処理よりも早い周期で繰り返し実行される。モータ制御システム１００は、ステップＳｔ１００～ステップＳｔ３００の処理で得られた対象物の位置情報に基づいて、ステップＳｔ４００の処理で、第１サーボモータＳｍ１の現在位置を補正したり、第１サーボモータＳｍ１の位置を対象物の位置に合わせて移動（追従）させたりする。
【0091】
次に、図５を参照して、画像処理装置およびサーボコントローラの動作手順をタイムチャートで説明する。図５は、実施の形態１における画像処理装置およびサーボコントローラの動作手順を示すタイムチャートである。なお、図５に示すエンコーダの読み出し周期および回数は一例であって、これに限定されない。
【0092】
なお、図５に示す例では、説明を簡単にするために、モータ制御システム１００の最小構成である第１画像処理装置Ｉｍ１と第１サーボコントローラＳ１との間で実行される動作手順例について説明する。
【0093】
第１カメラＣ１は、露光中央時刻ｔ＝０（ゼロ）となるように露光して対象物を撮像し、第１フレームＩｍｇ１のうち読み出し領域ＡＲ１に含まれる画素データの読み出しを時刻ｔ＝ｔ１から順次実行する。第１画像処理装置Ｉｍ１は、第１カメラＣ１から読み出された画素データを取得し、順次画像処理を実行する。第１画像処理装置Ｉｍ１は、検出された対象物の位置情報を第１サーボコントローラＳ１に送信する。
【0094】
第１サーボコントローラＳ１は、第１カメラＣ１による対象物の撮像処理と、第１画像処理装置Ｉｍ１による対象物の検出処理とが実行される間、第１モータドライバＭｄ１を駆動させるとともに、第１エンコーダＥｎ１による第１サーボモータＳｍ１の位置情報の取得（読み出し）とを数１０ｋＨｚの周期で繰り返し実行する。なお、画像Ｐｓ１は、時刻ｔ＝０（ゼロ）における第１モータドライバＭｄ１の状態を示す。
【0095】
第１サーボコントローラＳ１は、露光中央時刻ｔ＝１のタイミングにおける第１サーボモータＳｍ１の位置情報を取得して、第１画像処理装置Ｉｍ１に送信する。
【0096】
第１カメラＣ１は、露光中央時刻ｔ＝１となるように露光して対象物を撮像する。第１画像処理装置Ｉｍ１は、第１フレームＩｍｇ１で検出された対象物の位置情報と、第１サーボコントローラＳ１から送信された第１サーボモータＳｍ１の位置情報に基づいて、第２フレームＩｍｇ２に写る対象物の位置を推定し、第２フレームＩｍｇ２から画素データを読み出す読み出し領域ＡＲ２を決定する。第１画像処理装置Ｉｍ１は、読み出し領域ＡＲ２の読み出しを第１カメラＣ１に要求する。
【0097】
第１カメラＣ１は、第２フレームＩｍｇ２のうち読み出し領域ＡＲ２に含まれる画素データの読み出しを時刻ｔ＝ｔ２から順次実行する。第１画像処理装置Ｉｍ１は、第１カメラＣ１から読み出された画素データを取得し、順次画像処理を実行する。第１画像処理装置Ｉｍ１は、検出された対象物の位置情報を第１サーボコントローラＳ１に送信する。
【0098】
第１サーボコントローラＳ１は、第１カメラＣ１による対象物の撮像処理と、第１画像処理装置Ｉｍ１による対象物の検出処理とが実行される間、第１フレームＩｍｇ１から検出された対象物の位置情報に基づいて、第１モータドライバＭｄ１を駆動させるとともに、第１エンコーダＥｎ１による第１サーボモータＳｍ１の位置情報の取得（読み出し）とを数１０ｋＨｚの周期で繰り返し実行する。なお、画像Ｐｓ２は、時刻ｔ＝１における第１モータドライバＭｄ１の状態を示す。
【0099】
第１サーボコントローラＳ１は、露光中央時刻ｔ＝２のタイミングにおける第１サーボモータＳｍ１の位置情報を取得して、第１画像処理装置Ｉｍ１に送信する。
【0100】
第１カメラＣ１は、露光中央時刻ｔ＝２となるように露光して対象物を撮像する。第１画像処理装置Ｉｍ１は、第１フレームＩｍｇ１，第２フレームＩｍｇ２で検出された対象物の位置情報、第１サーボコントローラＳ１から送信された各フレームに対応する第１サーボモータＳｍ１の位置情報等に基づいて、露光中央時刻ｔ＝１～２の間の対象物の移動量，移動速度、第１サーボモータＳｍ１の移動量，移動速度等をそれぞれ計測する。
【0101】
第１画像処理装置Ｉｍ１は、算出された露光中央時刻ｔ＝１～２の間の対象物の移動量，移動速度、第１サーボモータＳｍ１の移動量，移動速度等を用いて、第３フレームＩｍｇ３に写る対象物の位置を推定する。第１画像処理装置Ｉｍ１は、第３フレームＩｍｇ３から画素データを読み出す読み出し領域ＡＲ３を決定する。第１画像処理装置Ｉｍ１は、読み出し領域ＡＲ３の読み出しを第１カメラＣ１に要求する。
【0102】
第１カメラＣ１は、第３フレームＩｍｇ３のうち読み出し領域ＡＲ３に含まれる画素データの読み出しを時刻ｔ＝ｔ３から順次実行する。第１画像処理装置Ｉｍ１は、第１カメラＣ１から読み出された画素データを取得し、順次画像処理を実行する。第１画像処理装置Ｉｍ１は、検出された対象物の位置情報を第１サーボコントローラＳ１に送信する。
【0103】
第１サーボコントローラＳ１は、第１カメラＣ１による対象物の撮像処理と、第１画像処理装置Ｉｍ１による対象物の検出処理とが実行される間、第２フレームＩｍｇ２に対応する対象物の位置情報に基づいて、第１モータドライバＭｄ１を駆動させるとともに、第１エンコーダＥｎ１による第１サーボモータＳｍ１の位置情報の取得（読み出し）とを数１０ｋＨｚの周期で繰り返し実行する。なお、画像Ｐｓ３は、時刻ｔ＝２における第１モータドライバＭｄ１の状態を示す。画像Ｐｓ４は、時刻ｔ＝３における第１モータドライバＭｄ１の状態を示す。
【0104】
第１サーボコントローラＳ１は、露光中央時刻ｔ＝３のタイミングにおける第１サーボモータＳｍ１の位置情報を取得して、第１画像処理装置Ｉｍ１に送信する。
【0105】
第１カメラＣ１は、露光中央時刻ｔ＝４となるように露光して対象物を撮像する。第１画像処理装置Ｉｍ１は、第２フレームＩｍｇ２，第３フレームＩｍｇ３で検出された対象物の位置情報と、第１サーボコントローラＳ１から送信された各フレームに対応する第１サーボモータＳｍ１の位置情報に基づいて、露光中央時刻ｔ＝２～３の間の対象物の移動量，移動速度、第１サーボモータＳｍ１の移動量，移動速度等をそれぞれ算出する。
【0106】
第１画像処理装置Ｉｍ１は、算出された露光中央時刻ｔ＝２～３の間の対象物の移動量，移動速度、第１サーボモータＳｍ１の移動量，移動速度等を用いて、第４フレームＩｍｇ４に写る対象物の位置を推定する。第１画像処理装置Ｉｍ１は、第４フレームＩｍｇ４から画素データを読み出す読み出し領域ＡＲ４を決定する。第１画像処理装置Ｉｍ１は、読み出し領域ＡＲ４の読み出しを第１カメラＣ１に要求する。
【0107】
以上により、実施の形態１に係るモータ制御システム１００は、第１サーボモータＳｍ１～第ＮサーボモータＳｍＮのそれぞれにより対象物にリアルタイムに追従できる。
【0108】
次に、図６および図７のそれぞれを参照して、外乱の特定処理について説明する。図６は、従来の画像処理装置とサーボモータとの動作処理例を説明する比較図である。図７は、本開示の画像処理装置とサーボモータとの動作処理例を説明する比較図である。
【0109】
なお、図６および図７に示す例において１台のカメラは、１台のサーボモータにより駆動される台車Ｔｒに設けられる。サーボモータは、カメラにより撮像され、計測された対象物Ｔｇの位置に追従するように台車Ｔｒを移動させて、グローブＧｒで接近する対象物Ｔｇをキャッチする例について説明する。また、図６および図７に示す例では、画像処理装置、照明、サーボコントローラ、エンコーダ、サーボモータ等の図示を省略している。
【0110】
また、図６および図７に示す例において、外乱は、紙面右側に向かって吹く風であって、露光中央時刻ｔ＝１１から露光中央時刻ｔ＝１２までの間に、対象物Ｔｇを紙面右側に２０ｃｍ移動させる。また、ここでは説明を簡単にするために、外乱が対象物Ｔｇにのみ働き、台車Ｔｒには働かない例について説明する。
【0111】
まず、図６を参照して、対象物を撮像する撮像時刻（露光中央時刻ｔ＝１１，１２，１３）と、サーボモータの位置情報の取得時刻とを同期させない場合の画像処理装置とサーボモータとの動作処理について説明する。
【0112】
カメラは、露光中央時刻ｔ＝１１となるように対象物Ｔｇを撮像する。画像処理装置は、カメラにより撮像されたフレームＩｍｇ１１から対象物Ｔｇを検出する。図６に示すフレームＩｍｇ１１において、画像処理装置は、カメラの画角中心、つまり、カメラにより撮像されたフレームＩｍｇ１１の中心位置である対象物Ｔｇの推定位置Ｔｇ１１に対して紙面右側に１ｍずれた位置で対象物Ｔｇを検出する。画像処理装置は、対象物Ｔｇの位置情報をサーボコントローラに送信する。
【0113】
サーボコントローラは、画像処理装置から送信された対象物Ｔｇの位置情報に基づいて、台車Ｔｒの位置を紙面右側に１ｍ移動させるための電流制御指令を生成する。サーボコントローラは、生成された電流制御指令をモータドライバに出力する。モータドライバは、電流制御指令に基づいて、台車Ｔｒが紙面右側に１ｍ進むようにサーボモータを駆動させる。
【0114】
対象物Ｔｇは、露光中央時刻ｔ＝１１から露光中央時刻ｔ＝１２までの間に、外乱により紙面右側に２０ｃｍ移動する。
【0115】
カメラは、露光中央時刻ｔ＝１２となるように対象物Ｔｇを撮像する。画像処理装置は、カメラにより撮像されたフレームＩｍｇ１２から対象物Ｔｇを検出する。図６に示すフレームＩｍｇ１２において、画像処理装置は、対象物Ｔｇの推定位置Ｔｇ１２に対して紙面右側に７０ｃｍずれた位置で対象物Ｔｇを検出する。
【0116】
しかし、画像処理装置は、カメラが露光中央時刻ｔ＝１２の時に台車Ｔｒがどの位置まで移動したのかは不明である。したがって、従来の画像処理装置は、台車Ｔｒのサーボコントローラにどれだけ移動させるべきかという正確な情報を伝えることができない。
【0117】
露光中央時刻ｔ＝１２におけるサーボモータは、露光中央時刻ｔ＝１１で検出された対象物Ｔｇの位置に基づく台車Ｔｒの移動、つまり、紙面右側１ｍの位置への移動を継続している。
【0118】
カメラは、露光中央時刻ｔ＝１３となるように対象物Ｔｇを撮像する。画像処理装置は、カメラにより撮像されたフレームＩｍｇ１３から対象物Ｔｇを検出する。図６に示すフレームＩｍｇ１３において、画像処理装置は、対象物Ｔｇの推定位置Ｔｇ１３に対して紙面右側に２０ｃｍずれた位置で対象物Ｔｇを検出する。
【0119】
露光中央時刻ｔ＝１３におけるサーボモータは、露光中央時刻ｔ＝１１で検出された対象物Ｔｇの位置に基づく台車Ｔｒの移動、つまり、紙面右側１ｍの位置への移動が完了すると、停止する。サーボコントローラは、サーボモータによる台車Ｔｒの紙面右側１ｍの位置への移動が完了した旨の通知を生成して、画像処理装置に送信する。
【0120】
以上のように、撮像時刻（露光中央時刻ｔ＝１１，１２，１３）とサーボモータの位置情報の取得時刻とを同期させない場合、サーボコントローラは、一度画像処理装置から対象物Ｔｇの位置情報を取得すると、この対象物Ｔｇの位置情報に基づいて、台車Ｔｒの移動が完了するまでサーボモータの駆動制御を実行し続ける。しかし、対象物Ｔｇに外乱が働く場合、台車Ｔｒが移動している露光中央時刻ｔ＝１１から露光中央時刻ｔ＝１３までの間、対象物Ｔｇは、外乱によって紙面右側に２０ｃｍ移動する。
【0121】
したがって、サーボコントローラは、露光中央時刻ｔ＝１３の時点において、対象物Ｔｇが外乱により紙面右側に２０ｃｍ移動しているため、台車ＴｒおよびグローブＧｒの位置を対象物Ｔｇに追従させることが困難だった。また、画像処理装置は、露光中央時刻ｔ＝１３でサーボモータによる紙面右側１ｍの移動を完了するまでの間、サーボコントローラからサーボモータの位置情報がフィードバックされない。よって、画像処理装置は、次のフレームに写る対象物Ｔｇの位置の推定において推定精度が低下する。画像処理装置は、対象物Ｔｇの位置の推定精度が低下することで、次のフレームにおいて対象物Ｔｇを検出するための画像処理量が増え、画像処理に要する時間がより長くなる。
【0122】
次に、図７を参照して、対象物を撮像する撮像時刻（露光中央時刻ｔ＝１１，１２，１３）と、サーボモータの位置情報の取得時刻とを同期させる場合の画像処理装置とサーボモータとの動作処理について説明する。
【0123】
カメラは、露光中央時刻ｔ＝１１で対象物Ｔｇを撮像する。画像処理装置は、カメラにより撮像されたフレームＩｍｇ２１から対象物Ｔｇを検出する。図７に示すフレームＩｍｇ２１において、画像処理装置は、カメラの画角中心、つまり、カメラにより撮像されたフレームＩｍｇ２１の中心位置である対象物Ｔｇの推定位置Ｔｇ２１に対して紙面右側に１ｍずれた位置で対象物Ｔｇを検出する。画像処理装置は、対象物Ｔｇの位置情報をサーボコントローラに送信する。
【0124】
サーボコントローラは、画像処理装置から送信された対象物Ｔｇの位置情報に基づいて、台車Ｔｒの位置を紙面右側に１ｍ移動させるための電流制御指令を生成する。サーボコントローラは、生成された電流制御指令をモータドライバに出力する。モータドライバは、電流制御指令に基づいて、台車Ｔｒが紙面右側に１ｍ進むようにサーボモータを駆動させる。
【0125】
対象物Ｔｇは、露光中央時刻ｔ＝１１から露光中央時刻ｔ＝１２までの間に、外乱により紙面右側に２０ｃｍ移動する。
【0126】
カメラは、露光中央時刻ｔ＝１２に対象物Ｔｇを撮像する。画像処理装置は、カメラにより撮像されたフレームＩｍｇ２２から対象物Ｔｇを検出する。図７に示すフレームＩｍｇ２２において、画像処理装置は、対象物Ｔｇの推定位置Ｔｇ２２に対して紙面右側に７０ｃｍずれた位置で対象物Ｔｇを検出する。画像処理装置は、対象物Ｔｇの位置情報をサーボコントローラに送信する。
【0127】
サーボコントローラは、露光中央時刻ｔ＝１２でエンコーダ値をエンコーダから読み出す。サーボコントローラは、露光中央時刻ｔ＝１２で台車Ｔｒが紙面右側に５０ｃｍ進んだ旨を画像処理装置に通知する。
【0128】
また、サーボコントローラは、画像処理装置から送信された対象物Ｔｇの位置情報に基づいて、次の露光中央時刻ｔ＝１３における台車Ｔｒの位置（つまり、目標位置）を紙面右側にさらに２０ｃｍ追加する補正を実行する。サーボコントローラは、台車Ｔｒの位置を紙面右側に７０ｃｍ移動させるための電流制御指令を生成する。サーボコントローラは、生成された電流制御指令をモータドライバに出力する。モータドライバは、電流制御指令に基づいて、台車Ｔｒが紙面右側に７０ｃｍ進むようにサーボモータを駆動させる。
【0129】
カメラは、時刻ｔ＝１３に対象物Ｔｇを撮像する。画像処理装置は、カメラにより撮像されたフレームＩｍｇ２３から対象物Ｔｇを検出する。図７に示すフレームＩｍｇ２３において、画像処理装置は、対象物Ｔｇの推定位置Ｔｇ２３で対象物Ｔｇを検出する。
【0130】
時刻ｔ＝１３におけるサーボモータは、時刻ｔ＝１１で検出された対象物Ｔｇの位置に基づく台車Ｔｒの移動、つまり、紙面右側１．２ｍの位置への移動が完了すると、停止する。サーボコントローラは、サーボモータによる台車Ｔｒの紙面右側１．２ｍの位置への移動が完了した旨の通知を生成して、画像処理装置に送信する。
【0131】
以上のように、撮像時刻（露光中央時刻ｔ＝１１，１２，１３）とサーボモータの位置情報の取得時刻とを同期させる場合、サーボコントローラは、各露光中央時刻で台車Ｔｒの位置を画像処理装置に送信（通知）するとともに、画像処理装置から対象物Ｔｇの位置情報を取得する。これにより、サーボコントローラは、最新の対象物Ｔｇの位置に基づいて、台車Ｔｒの目標位置を補正できる。サーボコントローラは、補正後の台車Ｔｒの目標位置に基づいて、サーボモータを駆動制御できる。
【0132】
したがって、サーボコントローラは、対象物Ｔｇに外乱が働いた場合であっても、外乱による対象物Ｔｇの位置ずれ（紙面右側に２０ｃｍの移動）に合わせてサーボモータを駆動させることができ、台車ＴｒおよびグローブＧｒを対象物Ｔｇの動きに追従させ、グローブＧｒで対象物Ｔｇをキャッチすることができる。
【0133】
また、画像処理装置は、サーボコントローラによるエンコーダ値のフィードバックにより、エンコーダ値により連続する２つの露光中央時刻の間に移動した台車Ｔｒの移動量を算出可能であるため、外乱による対象物Ｔｇへの影響（例えば、外乱による対象物Ｔｇの移動量，移動速度，加速度等）を特定できる。画像処理装置は、外乱による対象物Ｔｇへの影響を特定することで、次のフレームに写る対象物Ｔｇの推定位置の推定精度を向上させることができる。画像処理装置は、推定位置の推定精度が向上することで、次のフレームのうち対象物Ｔｇを検出するための画像処理範囲をより減少させることができ、画像処理に要する時間をより短縮できる。
【0134】
（実施の形態１の変形例）
実施の形態１に係るモータ制御システム１００は、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮまたは第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫのいずれか１台の装置がマスターとして設定されて、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮおよび第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫの時刻合わせを実行する例について示した。実施の形態１の変形例に係るモータ制御システム２００は、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮおよび第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫのそれぞれと通信可能に接続された外部マスターＭ１がマスターとして設定されて、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮおよび第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫの時刻合わせを実行する例について説明する。
実施の形態１に係るモータ制御システム１００は、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮまたは第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫのいずれか１台の装置がマスターとして設定されて、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮおよび第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫの時刻合わせを実行する例について示した。実施の形態１の変形例に係るモータ制御システム２００は、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮおよび第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫのそれぞれと通信可能に接続された外部マスターＭ１がマスターとして設定されて、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮおよび第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫの時刻合わせを実行する例について説明する。
【0135】
なお、実施の形態１の変形例に係るモータ制御システム２００は、実施の形態１に係るモータ制御システム１００と略同様の構成を有する。そこで、以下の実施の形態１の変形例に係るモータ制御システム２００の説明では、実施の形態１に係るモータ制御システム１００と同様の構成には、同一の符号を付与して、説明を省略する。
【0136】
【0137】
モータ制御システム２００は、外部マスターＭ１と、Ｎ台のサーボコントローラ（具体的に、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮ）と、Ｋ台の画像処理装置（具体的に、第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫ）とを含んで構成される。
【0138】
モータ制御システム２００は、外部マスターＭ１により時刻合わせを実行する。モータ制御システム２００は、外部マスターＭ１による時刻合わせによって、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮのそれぞれと、第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫのそれぞれとを同期，連携させて、第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫのそれぞれの画像処理結果（つまり、対象物の位置）に基づいて、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮのそれぞれによる対象物の追従を実行させる。
【0139】
第１サーボコントローラＳ１～第ＮサーボコントローラＳＮのそれぞれは、外部マスターＭ１と、自サーボコントローラ以外の他のサーボコントローラおよび第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫのそれぞれとの間でデータ送受信可能に接続される。
【0140】
第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫのそれぞれは、外部マスターＭ１と、自画像処理装置以外の他の画像処理装置および第１サーボコントローラＳ１～第ＮサーボコントローラＳＮのそれぞれとの間でデータ送受信可能に接続される。
【0141】
外部装置の一例としての外部マスターＭ１は、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮおよび第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫのそれぞれとの間でデータ送受信可能に接続され、同時刻に、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮおよび第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫのそれぞれに同期時刻情報を送信して、時刻合わせを実行する。
【0142】
次に、図９を参照して、実施の形態１の変形例に係るモータ制御システム２００の動作手順例について説明する。図９は、実施の形態１の変形例に係るモータ制御システム２００の動作手順例を示すシーケンス図である。なお、図９に示すモータ制御システム２００の動作手順は、図３に示すモータ制御システム１００の動作手順と略同様であるため、異なる処理（ステップＳｔ２１）についてのみ説明する。
【0143】
モータ制御システム２００は、ステップＳｔ２１の処理と、第１ループ処理Ｌｐ１１とを実行する。なお、第１ループ処理Ｌｐ１１のループ回数は、ステップＳｔ２１の時刻合わせ処理を実行する間隔によって任意の回数が設定されてよい。
【0144】
外部マスターＭ１は、同期される同期時刻情報を他の画像処理装置（第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫ）および第１サーボコントローラＳ１～第ＮサーボコントローラＳＮのそれぞれに送信し、各装置の時刻合わせを所定の間隔で繰り返し実行する（Ｓｔ２１）。ここで、モータ制御システム２００は、ステップＳｔ２１における同期時刻情報が各装置で同時受信できない場合、時刻合わせ（同期）処理が失敗したと判定して、第１ループ処理Ｌｐ１１に移行し、次のステップＳｔ２１の処理まで時刻合わせ（同期）処理を延期してよい。
【0145】
以上により、実施の形態１の変形例に係るモータ制御システム２００は、第１サーボモータＳｍ１～第ＮサーボモータＳｍＮのそれぞれにより対象物にリアルタイムに追従できる。
【0146】
以上により、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００（同期制御システムの一例）は、対象物（被写体の一例）を撮像する少なくともカメラ（第１カメラＣ１～第ＫカメラＣＫ）から対象物が撮像されたフレームを取得可能な少なくとも１台の画像処理装置（第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫ）と、画像処理装置との間で通信可能であって、カメラの位置を移動させるサーボモータ（第１サーボモータＳｍ１～第ＮサーボモータＳｍＮ）を制御する少なくとも１台のサーボコントローラと、を備え、同期時刻による時刻合わせを実行し、同期時刻に基づいて、カメラが露光する露光期間の露光中央時刻（中央時刻の一例）を決定して、決定された露光中央時刻に基づいて対象物を撮像する第１処理と、同期時刻に基づいて、中央時刻におけるサーボモータの位置を取得する第２処理とを実行し、中央時刻におけるサーボモータの位置と、対象物が撮像されたフレームとに基づいて、フレームから対象物を検出し、検出された対象物の位置に基づいて、サーボモータを駆動する。
【0147】
これにより、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００は、ブラーが発生しているフレームであっても、フレームの中央位置で撮像された対象物の撮像時刻と、対象物の撮像時刻におけるサーボモータの位置とを取得できるため、対象物の位置をより高精度に計測できる。また、モータ制御システム１００，２００は、計測された対象物の位置に基づいて、サーボモータを対象物に追従可能に制御できる。
【0148】
また、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００は、中央時刻における対象物の位置と、サーボモータの位置との差分に基づいて、サーボモータの位置の補正量を算出する。これにより、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００は、対象物の撮像時刻におけるサーボモータの位置に対するサーボモータの位置の補正量に基づいて、サーボモータを対象物に追従可能に制御できる。
【0149】
また、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００は、中央時刻における対象物の位置と、サーボモータの位置との差分に基づいて、対象物の移動速度を計測する。これにより、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００は、露光中央時刻で撮像およびサーボモータの位置を取得するため、対象物の移動速度，移動量，加速度等の情報を取得できる。よって、モータ制御システム１００，２００は、移動する対象物の位置にサーボモータを追従可能に制御できる。
【0150】
また、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００は、中央時刻における対象物の位置と、サーボモータの位置との差分に基づいて、対象物に働く外乱を計測する。これにより、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００は、露光中央時刻で撮像およびサーボモータの位置を取得するため、対象物に働く外乱による対象物の移動速度，移動量，加速度等の情報を取得できる。よって、モータ制御システム１００，２００は、対象物に外乱が働く場合であっても、対象物の位置にサーボモータを追従可能に制御できる。
【0151】
また、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００は、画像処理装置あるいはサーボコントローラうちいずれかが、自装置以外の画像処理装置あるいはサーボコントローラに同期時刻を送信する。これにより、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００は、第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫと、第１サーボモータＳｍ１～第ＮサーボモータＳｍＮとの時刻合わせ（同期）を実行できる。
【0152】
また、実施の形態１に係るモータ制御システム１００は、画像処理装置およびサーボコントローラと通信可能に接続された外部マスターＭ１（外部装置の一例）をさらに備える。外部マスターＭ１は、画像処理装置およびサーボコントローラのそれぞれに同期時刻を送信する。これにより、実施の形態１に係るモータ制御システム１００は、第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫと、第１サーボモータＳｍ１～第ＮサーボモータＳｍＮとの時刻合わせ（同期）を実行できる。
【0153】
また、実施の形態１の変形例に係るモータ制御システム２００は、カメラのフレームレートは、９６０ｆｐｓ以上である。これにより、実施の形態１の変形例に係るモータ制御システム２００は、検出された対象物の位置に基づいて、１ｋＨｚの周期でサーボモータの位置を調整できるため、サーボモータを対象物の位置に追従可能に調整できる。
【0154】
また、以上により、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００（同期制御システムの一例）は、対象物（被写体の一例）を撮像する少なくともカメラ（第１カメラＣ１～第ＫカメラＣＫ）から対象物が撮像されたフレームを取得可能な少なくとも１台の画像処理装置（第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫ）と、画像処理装置との間で通信可能であって、カメラの位置を移動させるサーボモータ（第１サーボモータＳｍ１～第ＮサーボモータＳｍＮ）を制御する少なくとも１台のサーボコントローラ（コントローラの一例であって、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮ）と、を備える。画像処理装置およびサーボコントローラは、同期時刻による時刻合わせを実行する。画像処理装置は、同期時刻に基づいて、カメラが露光する露光期間の中央時刻を決定し、決定された中央時刻に基づいて露光して撮像されたフレームをカメラから取得して、フレームの少なくとも一部の検出画素から対象物を検出する第１処理を実行する。サーボコントローラは、同期時刻に基づいて、中央時刻におけるサーボモータの位置を取得して、画像処理装置に送信する第２処理を実行する。画像処理装置は、中央時刻におけるサーボモータの位置と、対象物が撮像されたフレームとに基づいて、フレームから対象物の位置を検出してサーボコントローラに送信する。サーボコントローラは、送信された対象物の位置に基づいて、サーボモータを駆動する。
【0155】
これにより、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００は、ブラーが発生しているフレームであっても、フレームの中央位置で撮像された対象物の撮像時刻と、対象物の撮像時刻におけるサーボモータの位置とを取得できるため、対象物の位置をより高精度に計測できる。また、モータ制御システム１００，２００は、計測された対象物の位置に基づいて、サーボモータを対象物に追従可能に制御できる。
【0156】
以上により、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００（システムの一例）は、対象物（被写体の一例）を撮像する少なくともカメラ（第１カメラＣ１～第ＫカメラＣＫ）から対象物が撮像されたフレームを取得可能な少なくとも１台の画像処理装置（第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫ）と、画像処理装置との間で通信可能であって、カメラの位置を移動させるサーボモータ（第１サーボモータＳｍ１～第ＮサーボモータＳｍＮ）を制御する少なくとも１台のサーボコントローラ（コントローラの一例であって、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮ）と、を備え、同期時刻（基準時刻の一例）による時刻合わせを実行し、同期時刻に基づいて、露光中央時刻（所定の時刻の一例）で対象物を撮像し、同期時刻に基づいて、露光中央時刻におけるサーボモータの位置情報を取得し、撮像された対象物のフレームと、サーボモータの位置情報とに基づいて、フレームの少なくとも一部の画素から対象物を検出する。
【0157】
これにより、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００は、カメラにより撮像されたフレームから検出された対象物の位置と、フレーム撮像時のサーボモータの位置とに基づいて、サーボモータを対象物に追従可能に制御できる。
【0158】
また、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００は、サーボモータの位置情報に基づく少なくとも一部の画素の読み出しと、読み出された少なくとも一部の画素に基づく対象物の検出とを並列に実行する。これにより、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００は、例えば、少なくとも一部の画素から対象物を検出している間に、次に対象物を検出が実行される画素の読み出しを実行できるため、フレーム全体の画素の読み出しを待たずに対象物の検出を実行でき、対象物の検出（画像処理）に要する時間を短縮できる。また、モータ制御システム１００，２００は、サーボモータの位置情報に基づいて画素の読み出しと対象物の検出とを実行するため、対象物の検出までに画像処理される合計画素数を削減でき、対象物の検出（画像処理）に要する時間の短縮と、画像処理による処理負荷の軽減とを実現できる。
【0159】
また、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００は、フレームに対応するサーボモータの位置と、フレームと連続して撮像された１つ前のフレームに対応するサーボモータの位置との差分に基づいて、フレームに写る対象物の位置を推定し、推定された対象物の位置に基づいて、対象物の検出を行う一部の画素を決定する。これにより、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００は、連続して撮像された２フレーム間におけるサーボモータの移動量に基づいて、連続して撮像された２フレームのうち最新のフレームに写る対象物の位置をより高精度に推定できる。モータ制御システム１００，２００は、推定された対象物の位置に基づいて、対象物の検出（画像処理）が実行される画素を選定するため、対象物の検出までに画像処理される合計画素数を削減でき、対象物の検出（画像処理）に要する時間の短縮と、画像処理による処理負荷の軽減とを実現できる。
【0160】
また、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００は、画素に山登り法を用いた画像処理を実行し、画素から対象物が検出されないと判定した場合、山登り法により次に読み出される少なくとも一部の画素の決定と、次に読み出される一部の画素に基づく対象物の検出とを、対象物が検出されるまで繰り返し実行する。これにより、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００は、画像処理された画素のうち検出物が対象物である確からしさの評価がより高い画素の近傍に位置する画素を、対象物の検出（画像処理）が実行される画素として選定するため、象物の検出までに画像処理される合計画素数を削減でき、対象物の検出（画像処理）に要する時間の短縮と、画像処理による処理負荷の軽減とを実現できる。
【0161】
また、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００は、フレームに対応するサーボモータの位置と、フレームと連続して撮像された１つ前のフレームに対応するサーボモータの位置とに基づいて、カメラのイメージセンサと対象物との間の距離を計測する。これにより、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００は、連続して撮像された２つのフレームのそれぞれのサーボモータの位置に基づいて、ステレオカメラにより撮像された２つのフレームの代わりに撮像された２つのフレームを用いて、カメラのイメージセンサに対して垂直方向における対象物の位置を計測できる。
【0162】
また、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００は、画像処理装置あるいはサーボコントローラうちいずれかが、自装置以外の画像処理装置あるいはサーボコントローラに同期時刻を送信する。これにより、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００は、第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫと、第１サーボモータＳｍ１～第ＮサーボモータＳｍＮとの時刻合わせ（同期）を実行できる。
【0163】
また、実施の形態１に係るモータ制御システム１００は、画像処理装置およびサーボコントローラと通信可能に接続された外部マスターＭ１（外部装置の一例）をさらに備える。外部マスターＭ１は、画像処理装置およびサーボコントローラのそれぞれに同期時刻を送信する。これにより、実施の形態１に係るモータ制御システム１００は、第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫと、第１サーボモータＳｍ１～第ＮサーボモータＳｍＮとの時刻合わせ（同期）を実行できる。
【0164】
また、実施の形態１の変形例に係るモータ制御システム２００は、カメラのフレームレートは、９６０ｆｐｓ以上である。これにより、実施の形態１の変形例に係るモータ制御システム２００は、検出された対象物の位置に基づいて、１ｋＨｚの周期でサーボモータの位置を調整できるため、サーボモータを対象物の位置に追従可能に調整できる。
【0165】
また、以上により、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００（画像処理システムの一例）は、対象物（被写体の一例）を撮像する少なくともカメラ（第１カメラＣ１～第ＫカメラＣＫ）から対象物が撮像されたフレームを取得可能な少なくとも１台の画像処理装置（第１画像処理装置Ｉｍ１～第Ｋ画像処理装置ＩｍＫ）と、画像処理装置との間で通信可能であって、カメラの位置を移動させるサーボモータ（第１サーボモータＳｍ１～第ＮサーボモータＳｍＮ）を制御する少なくとも１台のサーボコントローラ（コントローラの一例であって、第１サーボコントローラＳ１～第ＮサーボコントローラＳＮ）と、を備える。画像処理装置およびサーボコントローラは、同期時刻（基準時刻の一例）による時刻合わせを実行する。画像処理装置は、同期時刻に基づいて、露光中央時刻（所定の時刻の一例）で対象物を撮像する。サーボコントローラは、同期時刻に基づいて、露光中央時刻におけるサーボモータの位置情報を取得して画像処理装置に送信する。画像処理装置は、撮像された被写体のフレームと、サーボモータの位置情報とに基づいて、フレームの少なくとも一部の画素から対象物の位置を検出してサーボコントローラに送信する。サーボコントローラは、送信された対象物の位置に基づいて、サーボモータを駆動させる。
【0166】
これにより、実施の形態１および実施の形態１の変形例に係るモータ制御システム１００，２００は、カメラにより撮像されたフレームから検出された対象物の位置と、フレーム撮像時のサーボモータの位置とに基づいて、サーボモータを対象物に追従可能に制御できる。
【0167】
以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0168】
本開示は、カメラとサーボモータとを同期させ、対象物に対する追従精度を向上させる同期制御方法および同期制御システムの提示として有用である。
【符号の説明】
【0169】
１０，２０ 通信部
１１，２１ プロセッサ
１２，２２ メモリ
１００，２００ モータ制御システム
Ｃ１ 第１カメラ
ＣＫ 第Ｋカメラ
Ｅｎ１ 第１エンコーダ
ＥｎＮ 第Ｎエンコーダ
Ｉｍ１ 第１画像処理装置
ＩｍＫ 第Ｋ画像処理装置
Ｌ１ 第１照明
ＬＫ 第Ｋ照明
Ｍ１ 外部マスター
Ｍｄ１ 第１モータドライバ
ＭｄＮ 第Ｎモータドライバ
Ｓ１ 第１サーボコントローラ
ＳＮ 第Ｎサーボコントローラ
Ｓｍ１ 第１サーボモータ
ＳｍＮ 第Ｎサーボモータ
１１，２１ プロセッサ
１２，２２ メモリ
１００，２００ モータ制御システム
Ｃ１ 第１カメラ
ＣＫ 第Ｋカメラ
Ｅｎ１ 第１エンコーダ
ＥｎＮ 第Ｎエンコーダ
Ｉｍ１ 第１画像処理装置
ＩｍＫ 第Ｋ画像処理装置
Ｌ１ 第１照明
ＬＫ 第Ｋ照明
Ｍ１ 外部マスター
Ｍｄ１ 第１モータドライバ
ＭｄＮ 第Ｎモータドライバ
Ｓ１ 第１サーボコントローラ
ＳＮ 第Ｎサーボコントローラ
Ｓｍ１ 第１サーボモータ
ＳｍＮ 第Ｎサーボモータ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】