特許 7400579 画像処理装置、画像処理方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-11

(45)【発行日】2023-12-19

(54)【発明の名称】画像処理装置、画像処理方法、及び、プログラム

(51)【国際特許分類】

   G01B 11/24 20060101AFI20231212BHJP

   G06T 7/00 20170101ALI20231212BHJP

   G06T 7/246 20170101ALI20231212BHJP

【ＦＩ】

G01B11/24 K

G06T7/00 610C

G06T7/246

【請求項の数】 6

(21)【出願番号】P 2020053108

(22)【出願日】2020-03-24

(65)【公開番号】P2021152482

(43)【公開日】2021-09-30

【審査請求日】2023-03-13

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100120891

【弁理士】

【氏名又は名称】林 一好

(74)【代理人】

【識別番号】100126000

【弁理士】

【氏名又は名称】岩池 満

(72)【発明者】

【氏名】加藤 芳幸

【審査官】仲野 一秀

(56)【参考文献】

【文献】特開２０１９－１３２６６８（ＪＰ，Ａ）

【文献】特開２０００－１１１３１８（ＪＰ，Ａ）

【文献】特開２０１９－４１７２４（ＪＰ，Ａ）

【文献】特許第６６４４２３１（ＪＰ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

個別に特定が可能な複数の被写体が所定の方向に配列された物体の前記所定の方向へ移動する際の画像を時間的に連続して取得する画像取得手段と、
前記画像取得手段による画像取得とともに、予め記憶された前記被写体と前記画像取得手段によって取得された複数の被写体とを順次照合し、前記被写体を個別に特定する特定処理を実行する特定手段と、
前記特定手段における特定処理の状況に基づいて、次に特定処理を行うべき被写体に対して前記画像取得手段による画像取得のタイミングで前記特定処理を実行するか否かを判定する判定手段と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記所定の方向への移動は一定の速度で周回する周回移動を含み、
前記判定手段が次の画像取得のタイミングで当該特定処理を実行しないと判定した場合、次の周で前記特定処理を実行するよう前記特定手段を制御する第１の特定制御手段を更に備えることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記判定手段が次の画像取得のタイミングで前記特定処理を実行しないと判定した場合に、前記画像取得手段が取得した複数の画像を記憶手段に記憶させる記憶制御手段と、
前記記憶制御手段によって記憶された複数の画像を時間的に連続して再生させる再生制御手段と、
前記再生制御手段によって時間的に連続して再生される複数の画像に対して前記特定処理を連続的に実行するよう前記特定手段を制御する第２の特定制御手段と、
を更に備えることを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記物体はチェーンであるとともに、前記被写体はピンであることを特徴とする請求項１乃至３の何れかに記載の画像処理装置。

【請求項5】

個別に特定が可能な複数の被写体が所定の方向に配列された物体の前記所定の方向へ移動する際の画像を時間的に連続して取得する画像取得ステップと、
前記画像取得ステップによる画像取得とともに、予め記憶された前記被写体と前記画像取得ステップによって取得された複数の被写体とを順次照合し、前記被写体を個別に特定する特定処理を実行する特定ステップと、
前記特定ステップにおける特定処理の状況に基づいて、次に特定処理を行うべき被写体に対して前記画像取得ステップによる画像取得のタイミングで前記特定処理を実行するか否かを判定する判定ステップと、
を含むことを特徴とする画像処理方法。

【請求項6】

コンピュータを、
個別に特定が可能な複数の被写体が所定の方向に配列された物体の前記所定の方向へ移動する際の画像を時間的に連続して取得する画像取得手段、
前記画像取得手段による画像取得とともに、予め記憶された前記被写体と前記画像取得手段によって取得された複数の被写体とを順次照合し、前記被写体を個別に特定する特定処理を実行する特定手段、
前記特定手段における特定処理の状況に基づいて、次に特定処理を行うべき被写体に対して前記画像取得手段による画像取得のタイミングで前記特定処理を実行するか否かを判定する判定手段、
として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、及び、プログラムに関する。

【背景技術】

【0002】

従来、コンベアチェーン等の移動する物体を撮像し、画像解析により当該物体の不具合や異常を検出する技術が知られている。この種の技術を開示するものとして例えば特許文献１がある。

【0003】

特許文献１には、走行するコンベアチェーンを撮像するタイミングを制御し、内リンクと外リンクを接続するピンの位置が定位置に来る画像を逐次取得し、当該画像を解析してチェーンの形状変化を検出する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００６－３１７３５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

画像解析の技術を利用すれば、人がノギス等の工具を使用してチェーンの結合部分の形状変化を計測することなく、チェーンの経年劣化や不具合を検出することができ、時間やコストを削減できる。しかしながら、チェーンの移動速度が速い場合、連続して撮像する画像に対する解析処理が間に合わなくなり、検出処理が有効に機能しないおそれがあった。処理効率の向上という点で従来技術には改善の余地があった。

【0006】

本発明は、所定の方向に配列された複数の被写体を個別に特定する特定処理を好適に行えるようにすることを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様の画像処理装置は、個別に特定が可能な複数の被写体が所定の方向に配列された物体の前記所定の方向へ移動する際の画像を時間的に連続して取得する画像取得手段と、前記画像取得手段による画像取得とともに、予め記憶された前記被写体と前記画像取得手段によって取得された複数の被写体とを順次照合し、前記被写体を個別に特定する特定処理を実行する特定手段と、前記特定手段における特定処理の状況に基づいて、次に特定処理を行うべき被写体に対して前記画像取得手段による画像取得のタイミングで前記特定処理を実行するか否かを判定する判定手段と、を備えることを特徴とする。

【発明の効果】

【0008】

本発明によれば、所定の方向に配列された複数の被写体を個別に特定する特定処理を好適に行うことができる。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態に係る画像処理装置を含む画像処理システムの構成を示すシステム構成図である。

【図2】本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。

【図3】本発明の一実施形態に係る画像処理装置の機能的構成のうち、画像処理を実行するための機能的構成を示す機能ブロック図である。

【図4】本発明の一実施形態に係る画像処理装置のテンプレート画像データ作成処理の流れを示すフローチャートである。

【図5】本発明の一実施形態に係る画像処理装置のテンプレート画像データ蓄積処理の流れを示すフローチャートである。

【図6】本発明の一実施形態に係る画像処理装置１のテンプレート画像蓄積処理におけるマッチング処理を説明する模式図である。

【図7】本発明の一実施形態に係る画像処理装置のターゲット画像の選別処理を説明する模式図である。

【図8】本発明の一実施形態に係る画像処理装置のリアルタイム処理を示すタイミングチャートである。

【図9】本発明の一実施形態に係る画像処理装置のリアルタイム処理の全体的な流れを示すフローチャートである。

【図10】本発明の一実施形態に係る画像処理装置のリアルタイム処理におけるコマ識別処理の流れを示すフローチャートである。

【図11】本発明の一実施形態に係る画像処理装置のリアルタイム処理におけるリアルタイム評価処理の流れを示すフローチャートである。

【図12】本発明の一実施形態に係る画像処理装置１の順次評価処理を示すタイミングチャートである。

【図13】本発明の一実施形態に係る画像処理装置１の順次評価処理の全体的な流れを示すフローチャートである。

【図14】本発明の一実施形態に係る画像処理装置１の順次評価処理における順次評価処理の流れを示すフローチャートである。

【図15】本発明の一実施形態に係る画像処理装置１の評価処理における録画処理を示すタイミングチャートである。

【図16】本発明の一実施形態に係る画像処理装置１の評価処理における再生処理を説明するタイミングチャートである。

【図17】本発明の一実施形態に係る画像処理装置１の評価処理の全体的な流れを示すフローチャートである。

【図18】本発明の一実施形態に係る画像処理装置１の評価処理における評価処理の流れを示すフローチャートである。

【図19】本発明の一実施形態に係る画像処理装置１の評価処理における動画ファイル作成・記憶処理の流れを示すフローチャートである。

【図20】本発明の一実施形態に係る画像処理装置１の評価処理における解析処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について、図面を用いて説明する。

【0011】

図１は、本発明の一実施形態に係る画像処理装置１を含む画像処理システムＳの構成を示すシステム構成図である。図１に示す画像処理システムＳは、コンベアチェーン２１の異常を画像解析により検出する。

【0012】

［計測対象］
まず、計測対象となるコンベアチェーン２１について説明する。コンベアチェーン２１は、コンベア装置のスプロケット（図示省略）に懸架される無端状部材である。コンベアチェーン２１は、スプロケット等の伝達手段を介してチェーン駆動部２２の駆動力が伝達され、所定の速度で所定のルートを周回移動する。なお、コンベアチェーン２１は、移動させる対象の用途に適応して移動速度を段階的に切り替えることができるように構成されている。

【0013】

本実施形態のコンベアチェーン２１は、一対の外リンク２３が内リンク２４を両側から挟み込んだ状態でピン２５により結合されて構成される。なお、図１中の破線の円弧は、内リンク２４の外形の一部を示している。

【0014】

ピン２５は、外リンク２３と内リンク２４の結合部分毎に設けられており、本実施形態の画像処理装置１によって個別に特定される被写体である。ピン２５は、コンベアチェーン２１の移動方向に並んでいる。なお、移動方向は図１の矢印の方向である。

【0015】

コンベアチェーン２１が有するピン２５の数をｎ個とする。上述の通り、コンベアチェーン２１は無端状部材であるため、ｎ個目のピン２５－ｎの次は１番目のピン２５－１となる。本実施形態では、後述する画像処理の際に１番目のピン２５－１を認識させるために、当該ピン２５－１にマーキング２６が施されている。マーキング２６は、周回するコンベアチェーン２１の始端位置を特定するために便宜的に設けられる目印である。マーキング２６は、例えば、１番目のピン２５－１又は当該ピン２５－１が連結する外リンク２３や内リンク２４等に付される。マーキング２６は、色、模様、形状、又はこれらの組み合わせ等により、画像処理で１番目のピン２５－１であるか否かを識別できるように構成される。例えば、点検者による色付けによってマーキング２６がコンベアチェーン２１に施される。

【0016】

以下の説明において、ピン２５を区別して説明する必要がある場合には、便宜的に１番目をピン２５－１とし、以降順番にピン２５－２、ピン２５－３、ピン２５－４、ピン２５－５、ピン２５－６、ピン２５－７・・・ピン２５－ｎとする。また、一番目のピン２５－１の中心と２番目のピン２５－２の中心とを結ぶ直線の距離をピン間距離Ｌ１とし、以降順番にピン間距離Ｌ２、ピン間距離Ｌ３・・・ピン間距離Ｌｎ－1とする。

【0017】

［システム構成］
本実施形態の画像処理システムＳの全体構成について説明する。画像処理システムＳは、撮像部１６と、照明部１７と、画像処理装置１と、を備える。

【0018】

撮像部１６は、周回するコンベアチェーン２１を一定のフレームレートで動画撮影し、画像解析のための映像を取得する撮像手段である。撮像部１６の撮像位置は、コンベアチェーン２１の構成や点検作業の作業性を考慮して適宜設定される。

【0019】

本実施形態の撮像部１６は、光学レンズ部１６１と、イメージセンサ１６２と、を主要な構成として備える。光学レンズ部１６１は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。イメージセンサ１６２はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。画像処理装置１は、撮像部１６から出力される信号からフレーム（画像）を生成する。撮像部１６から出力される信号を、以下、「フレーム」と呼ぶ。フレームデータは、画像処理装置１に適宜供給される。

【0020】

照明部１７は、撮像部１６の被写体であるコンベアチェーン２１を照明する照明手段である。照明部１７が、照度や色成分を調整してコンベアチェーン２１を照らすことにより、撮像部１６の撮像環境を一定のものにすることができる。照明部１７の照度は、外光以上であることが好ましい。照明部１７の照度を外光以上の支配的な光とすることで、後述する画像解析による異常検出をより正確なものとすることができる。

【0021】

画像処理装置１は、撮像部１６から出力されるフレームデータに基づいて画像解析処理を行ってコンベアチェーン２１の異常を検出する。画像処理装置１が検出した情報は、外部機器５に送信可能となっている。

【0022】

［ハードウェア構成］
本実施形態の画像処理装置１のハードウェア構成について説明する。図２は、本発明の一実施形態に係る画像処理装置１のハードウェアの構成を示すブロック図である。

【0023】

画像処理装置１は、図２に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等で構成されるプログラムメモリ１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成されるワークメモリ１３と、バス１４と、入出力インタフェース１５と、通信部１８と、入力部１９と、出力部２０と、記憶部３０と、を備える。

【0024】

ＣＰＵ１１は、プログラムメモリ１２に記録されているプログラム、又は、プログラムメモリ１２からワークメモリ１３にロードされたプログラムに従って各種の処理を実行する。ワークメモリ１３には、ＣＰＵ１１が画像処理を含む各種の処理を実行する上において必要なデータ等も適宜記憶される。入出力インタフェース１５には、通信部１８、入力部１９が接続されている。また、入出力インタフェース１５には、撮像部１６及び照明部１７が有線又は無線により接続されている。

【0025】

通信部１８は、インターネットを含むネットワークを介して外部機器５や他の装置（図示せず）との間で行う。通信部１８は、有線又は無線のインタフェースを介して外部機器５と通信し、撮像したフレームデータや検出結果を外部機器に送信する。

【0026】

入力部１９は、各種釦等で構成され、ユーザの指示操作を受け付け、受け付けた指示操作に応じて各種情報を入力する。出力部２０は、画像を表示するディスプレイや音声を拡声するスピーカ等を含む。尚、入力部１９にタッチパネルが含まれる場合は入力部１９と出力部２０とを一体にしてもよい。

【0027】

記憶部３０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリで構成され、各種データを記憶する。記憶部３０には、画像処理に関する各種のデータや、検出結果を示す情報等が格納される。

【0028】

［機能的構成］
図３は、本発明の一実施形態に係る画像処理装置１の機能的構成のうち、画像処理を実行するための機能的構成を示す機能ブロック図である。図３に示すように、制御部としてのＣＰＵ１１において、画像処理を実行する部分として、画像取得部３１と、記憶制御部３２と、特定部３３と、出力制御部３４と、判定部３５と、特定制御部３６と、再生制御部３７と、が機能する。

【0029】

画像取得部３１は、撮像部１６から出力されるコンベアチェーン２１を被写体として含むフレームデータ（撮像画像）を連続的に取得する。詳細には５フレームのフレームデータを１単位としたピンを含むフレームデータを取得するようにフレームレート（画像取得タイミング）を制御する。

【0030】

また、画像取得部３１は、画像解析により、マーキング２６が施されたピン２５－１を、それ以外のピン２５－２～２５－ｎと区別し、ピン２５－１を便宜的に先頭位置として周回するコンベアチェーン２１の撮影画像を取得する。例えば、ピン２５－１が認識されてから再び認識されるまでを１周とし、２周分の動画を取得する。

【0031】

記憶制御部３２は、コンベアチェーン２１を構成する複数のピン２５（ピン２５－１～２５－ｎ）の夫々を区別して記憶部３０に記憶する処理を実行する。そして、記憶制御部３２は、複数のピン２５（ピン２５－１～２５－ｎ）の夫々に対し、マッチング処理を行うためのテンプレート画像（情報画像）データを対応付けて記憶部３０に記憶させる処理を実行する更に、記憶制御部３２は、ピン間距離Ｌ（ピン間距離Ｌ１～Ｌｎ－１）についても、複数のピン２５（ピン２５－１～２５－ｎ）の位置関係とともに記憶部３０に記憶する処理を実行する。

【0032】

なお、記憶部３０に記憶されるテンプレート画像データとは、ピン２５を画像の中心を基準として切り出された矩形領域の画像データに対してＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）特徴を計算した結果を示す画像データである。ＬＢＰ特徴は、中心画素値と周辺画素値とを比較することにより得られる特徴である。

【0033】

特定部３３は、記憶部３０に記憶されているテンプレート画像データから抽出される特徴量と、撮像されて新たに取得されるフレームデータから抽出される特徴量と、を照合して類似度を取得する処理、すなわち、マッチング処理を実行する。上述の通り、本実施形態では、複数のピン２５－１～２５－ｎの夫々のテンプレート画像データが記憶部３０に記憶されているので、ピン２５－１～２５－ｎ毎にマッチング処理に用いられるテンプレート画像データは一つ一つが固有の特徴量を有することになる。

【0034】

出力制御部３４は、特定部３３によって特定された計測対象となるピン間距離Ｌを算出する。そして、記憶部３０に記憶される過去に取得されたピン間距離Ｌと比較し、比較結果を出力する。比較結果は、例えば、前回の測定時からの伸び量として出力される。なお、出力制御部３４によるピン間距離の算出には、フレーム数、フレームレート及びフレームデータ中のピン２５とピン２５の間の距離等を利用することができる。

【0035】

判定部３５は、連続撮像した画像に対してピン２５を特定する特定処理を実行するか否かを判定する。判定部３５の使用する画像か否かを判定する基準については後述する。

【0036】

次に、本実施形態の画像処理装置１による画像処理についてフローチャートを参照しながら説明する。なお、以下の説明において、各ステップは、ＣＰＵ１１がプログラムメモリ１２に記憶された制御プログラムをワークメモリ１３上にロードして実行することで実現される。

【0037】

特定制御部３６は、特定部３３がマッチング処理等の特定処理を実行するタイミングを制御する。再生制御部３７は、撮像部１６が時間的に連続して撮像した画像から動画ファイルが生成され、記憶部３０に記憶される場合において、記憶された動画ファイルを読み出して再生する処理を実行する。

【0038】

［テンプレート画像データ作成処理］
まず、テンプレート画像データの作成処理について説明する。図４は、本発明の一実施形態に係る画像処理装置１のテンプレート画像データ作成処理の流れを示すフローチャートである。

【0039】

まず、画像取得部３１により、ピン２５の位置がフレーム（画像）の中心にあるフレームデータが取得される（ステップＳ１）。本実施形態では、後述するマッチング処理の精度を向上させるため、取得タイミングが夫々異なる、ピンの位置がフレームの中心にあるフレームデータが２つ取得される。

【0040】

次に取得したフレームデータから、特定部３３がピン２５の位置が中心にある画像領域のデータを抽出するトリミング処理を実行する（ステップＳ２）。このトリミング処理では、ピン２５の位置がそのフレームの中心となる矩形の画像領域のデータが切り取られる。以下トリミング処理された画像領域のデータをトリミング画像データとして説明する。

【0041】

次に、特定部３３が取得された２枚のトリミング画像データの夫々に対してＬＢＰ計算処理が実行される。

【0042】

次に、記憶制御部３２が、ＬＢＰ計算処理が実行された結果としてのテンプレート画像（情報画像）データを記憶部３０に記憶する（ステップＳ４）。本実施形態の場合、２枚のテンプレート画像データが記憶部３０に記憶される。

【0043】

［動画撮影された複数のピンのテンプレート画像データの蓄積処理］
次に図４の処理の後に実行される、複数のピン２５－１～２５－ｎのテンプレート画像データの蓄積処理について説明する。図５は、本発明の一実施形態に係る画像処理装置のテンプレート画像データ蓄積処理の流れを示すフローチャートである。図６は、本発明の一実施形態に係る画像処理装置１のテンプレート画像蓄積処理におけるマッチング処理を説明する模式図である。図６で例示する対象のピン２５は、１番目のピン２５－１である。

【0044】

処理が開始されると、画像取得部３１がコンベアチェーン２１におけるピン２５を含むフレームデータを取得する（ステップＳ１１）。この処理では特定の番号のピン２５を含むフレームデータが取得される。例えば、マーキング２６が施されているピン２５が最初に取得するべき対象に設定されている場合は、そのピンを含むフレームデータが取得される。

【0045】

次に、特定部３３は、ピン２５を含むフレームデータからピン２５の位置が中心となる画像領域のデータを抽出するようトリミング処理し（ステップＳ１２）、当該トリミング処理された画像領域のデータに対しＬＢＰ計算処理を実行して図６に例示する対象画像６３を生成する（ステップＳ１３）。

【0046】

次に、特定部３３は、対象画像６３に対して図４の処理で取得したテンプレート画像を記憶部３０から読み出し、類似度を取得する処理、すなわち、マッチング処理を実行する（ステップＳ１４）。図６の場合、テンプレート画像６１のピン２５ａとテンプレート画像６１のピン２５ｂとは異なるピン２５である。マッチング処理では、テンプレート画像６１から抽出される特徴量と対象画像６３から抽出される特徴量との比較が行われてピン２５ａとピン２５－１の類似度が取得される。同様に、テンプレート画像６１から抽出される特徴量と対象画像６３から抽出される特徴量との比較が行われてピン２５ｂとピン２５－１の類似度が取得される。

【0047】

次に、特定部３３は、マッチング処理の結果に基づいて、今回トリミング処理された画像領域に含まれるピンが、記憶部３０に記憶されたその位置のテンプレート画像データで示されるピンと同じか否かを判定する（ステップＳ１５）。この判定処理では、類似度が予め設定される基準値以上の場合にＹｅｓと判定されて処理がステップＳ１６に進み、類似度が基準値を下回っている場合にＮｏと判定されて処理がステップＳ１９に進む。

【0048】

本実施形態では、１個の被写体について２回のマッチング処理が行われることになる。ピン２５の検出を厳密に判断する場合は、ピン２５ａとピン２５－１の類似度及びピン２５ｂとピン２５－１の類似度の両方が基準値を上回る場合にＹｅｓと判定されるように判定基準を設定することができる。

【0049】

今回トリミング処理された画像領域に含まれるピンが記憶部３０に記憶されたその位置のテンプレート画像データで示されるピンと同じと判定された場合（ステップＳ１５；Ｙｅｓ）、特定部３３は、図６に示すように、対象画像６３に対してピン２５－１及びその近傍を予め設定される領域をトリミング処理してテンプレート画像６４に対応するテンプレート画像データを生成する（ステップＳ１６）。そして、記憶制御部３２が、ピンの番号に対応付けてそのテンプレート画像データを記憶部３０に記憶・蓄積する処理を実行する（ステップＳ１７）。

【0050】

次に、特定部３３は、記憶部３０を参照し、全てのピン２５－１～２５－ｎのテンプレート画像データの蓄積が完了したか否かを判定する（ステップＳ１８）。全てのテンプレートの画像データの蓄積が完了したと判定した場合はＹｅｓと判定され、本処理は完了する。

【0051】

また、今回トリミング処理された画像領域に含まれるピンが、記憶部３０に記憶されたその位置のテンプレート画像データで示されるピンと同じでないと判定された場合（ステップＳ１５；Ｎｏ）又は全てのピンについてテンプレート画像データの蓄積が完了していないと判定された場合（ステップＳ１８；Ｎｏ）は、次に取得するべき順番のピンが特定され、処理はステップＳ１１に戻る（ステップＳ１９）。例えば、ピン２５－１に対してマッチング処理が行われた場合は、次の位置にあるピン２５－２が特定される。なお、一周目で全てのピンについてテンプレート画像データが蓄積されず欠落したピンがある場合は次の周、つまり二周目を動画撮影した時にそのピンについてテンプレート画像データの蓄積が行われることになる。

【0052】

以上説明した一連の処理により、コンベアチェーン２１の全てのピン２５のテンプレート画像データが記憶部３０に蓄積されることになる。蓄積されたテンプレート画像データは、コンベアチェーン２１の形状の変化を検出するための処理に用いられる。

【0053】

なお、テンプレート画像データは、コンベアチェーン２１に付着した潤滑剤や埃、または、経年劣化による錆の等、ピン表面が変化することを考慮すると、１つのピンに対して複数取得することが好ましい。

【0054】

［ターゲット画像の選別処理］
次に、判定部３５が実行する、ピン間距離の変化を検出するときに用いられるターゲット画像７０（情報画像）の選別処理について説明する。図７は、本発明の一実施形態に係る画像処理装置のターゲット画像７０の選別処理を説明する模式図である。

【0055】

図７に示される一連のターゲット画像７０は、ピン間距離を取得するために、２本のピン２５を含む画像を取得することを目的として撮像部１６により順次撮像され取得されたフレーム（画像）である。図７において、紙面上側のターゲット画像７０が最も過去のものであり、紙面下側に進むにつれて新しいターゲット画像７０である。フレームには左側に設定される検出枠７１ａと右側に設定される検出枠７１ｂが夫々設定され、判定部３５は、フレームにおける２本のピン２５の画像がこれらの検出枠７１ａ、７１ｂで検出できたか否かを判定することで、２本のピン２５の画像がターゲット画像７０中に入っているか否かが判定される。

【0056】

図７において、グループＡに含まれるターゲット画像７０は、何れも検出枠７１ａ内にピン２５－１の画像が収まるとともに、検出枠７１ｂ内にピン２５－２の画像が収まっている状態である。即ち、２本のピン２５－１、２５－２の画像が１枚のターゲット画像７０に含まれており、マッチング処理やピン間距離の計測に用いることができるフレームである。従って、判定部３５は、グループＡに含まれるターゲット画像７０がマッチング処理やピン間距離Ｌを測定するために使用できる画像と判定する。

【0057】

一方、グループＢに含まれるターゲット画像７０は、検出枠７１ａにピン２５－１の画像が存在しない状態となっている。したがって、判定部３５は、グループＢに含まれるターゲット画像７０は、マッチング処理やピン間距離を測定するために使用できない画像と判定する。なお、検出枠７１ａは、ピン２５－１の画像を検出できなくなると次のピン２５－２の画像を検出するために予め設定された位置に移動する。また、検出枠７１ｂは、グループＢの最新のターゲット画像７０に示されるように、所定の基準位置（例えば、中央付近）まで左側に移動する。

【0058】

グループＣに含まれるターゲット画像７０は、更に時間が経過することにより、何れも検出枠７１ａ内にピン２５－２の画像が収まるとともに、検出枠７１ｂ内にピン２５－３の画像が収まっている状態である。即ち、２本のピン２５－２、２５－３の画像が１枚のターゲット画像７０に含まれており、ピン間距離の計測に用いることができるフレームである。従って、判定部３５は、グループＣに含まれるターゲット画像７０がマッチング処理やピン間距離Ｌを測定するために使用できる画像と判定する。

【0059】

判定部３５がターゲット画像７０に２本のピン２５が含まれると判定すると、記憶制御部３２がこのターゲット画像に対応する画像データを記憶部３０に記憶する。また、記憶制御部３２は、予め設定される基準値に基づいて検出対象とするピンの画像が切り替わったか否かを判定し、ターゲット画像７０の画像データに対応させて、このターゲット画像７０に含まれるピン２５が１番目からＮ番目の何れの組なのかを特定する情報を記憶部３０に記憶する。具体的にはフレーム単位（コマ）でＯＫ１０回続いた後（グループＡ）にＮＧが４回続き（グループＢ）、再びＯＫが４回以上続いた場合に、計測対象が次のピン２５に入れ替わったと判定する。

【0060】

［特定処理の実行タイミング］
特定部３３は、正常と判断されたターゲット画像７０に対して検出箇所に不良が生じているか否かを評価する特定処理を実行する。

【0061】

本実施形態では、判定部３５が特定部３３による特定処理を実行するタイミングか否かを判定し、特定制御部３６が特定部３３による特定処理を実行するタイミングを制御する。特定処理を実行するか否かは、特定処理を完了するまでの時間とコンベアチェーン２１の移動速度に基づいて決まる。例えば、画像取得部３１が取得するピン２５－１、２５－２を含むターゲット画像７０に対する特定処理が、次の計測対象のピン２５－２、２５－３を含むターゲット画像７０の読み取りが終了するまでに完了しない場合には、ピン２５－２、２５－３を含むターゲット画像７０に対しては特定処理を行わないように判定する。

【0062】

以下、ターゲット画像７０に対して特定処理をリアルタイムで実行するリアルタイム処理と、リアルタイムで行えない場合は次の周で特定処理を行う順次評価処理と、の場合をわけて具体的な処理の例について説明する。

【0063】

［リアルタイム処理］
判定部３５によって特定処理が実行される例を説明する。図８は、本発明の一実施形態に係る画像処理装置１のリアルタイム処理を示すタイミングチャートである。図８のタイミングチャートは、紙面左から右に進むに従って時間が経過していくことが模式的に表現されている。図８のフレームデータは、撮像部１６によって連続撮像されるターゲット画像７０に対応するフレームデータである。例えば、ｆ０は最初に撮像されるターゲット画像７０であり、以降順番にｆ２、ｆ３、ｆ４、ｆ５、ｆ６、ｆ７、ｆ８、ｆ９のターゲット画像７０がコンベアチェーン２１の移動に沿って移動しながらも連続的に取得されることが模式的に示されている。

【0064】

コマは、ターゲット画像７０のピン２５ｎとピン２５ｎ+１から特定される外リンク２３と内リンク２４の最小単位である。コマ検出期間は、コマを検出する対象となるターゲット画像７０を取得できる期間である。コマ検出期間の中でも中心に位置するターゲット画像７０に基づいてコマのピン間距離Ｌが適正か否かが判定される。コマ番号は、コマが検出される期間を区別する番号である。一方、ブランキング期間は、コマ検出が行われない図７を参照して説明した選別処理でＮＧと判定されるターゲット画像７０が取得される期間である。また、ブランキング期間が開始するタイミングは、特定処理を実行する評価トリガにもなっている。

【0065】

図８の解析処理・評価処理は、これらの処理に要する時間を示す。図８の例では、１番目のピン２５－１に施されるマーキング２６が検出されたことをトリガとして解析処理・評価処理が開始される。そして、フレームｆ４のターゲット画像７０が取得されるタイミングで中心フレームｆ２のターゲット画像７０に対する解析処理・評価処理が開始され、ｆ９のターゲット画像７０が取得されるタイミングで解析処理・評価処理が終了している。また、ｎ番目に取得されるｆｎのターゲット画像７０に対する解析処理・評価処理の結果は、不良（異常有り）であることが示されている。

【0066】

図８の評価結果は、ピンが良品（異常無し）か不良（異常有り）かを区別して表示する時間を示している。ピンが良品であることを示す表示が行われるか否かは、１周目の解析処理・評価処理での評価結果に基づいて決まる。例えば、コマ０及びコマ１では良品と判定されているので、２周目のコマ０とコマ１に対して良品を示す緑色が出力部２０に表示される。一方、コマＮでは不良と判定されているので、２周目のコマＮに対して不良を示す赤色が出力部２０に表示されることになる。

【0067】

図８で説明したリアルタイム処理の流れについて説明する。図９は、本発明の一実施形態に係る画像処理装置１のリアルタイム処理の全体的な流れを示すフローチャートである。図９に示すように、まず、コマを識別する処理が実行され（ステップＳ１０１）、次に、識別されたコマに対してリアルタイムで特定処理を行って当該コマの評価を実行する（ステップＳ１０１）。

【0068】

［コマ識別処理］
次に、コマ識別処理について説明する。図１０は、本発明の一実施形態に係る画像処理装置１のリアルタイム処理におけるコマ識別処理の流れを示すフローチャートである。

【0069】

まず、撮像部１６によって順次撮像されているフレームデータについてモニタリングを開始する（ステップＳ１１１）。次に、画像取得部３１は、図８に示すマーキング検出期間に基づいて、撮像部１６が出力するターゲット画像７０を一時的に記憶部３０にバッファリングする（ステップＳ１１２）。

【0070】

次に、特定部３３は、記憶部３０にバッファリングされたターゲット画像７０を解析して、ピン間距離を計測し、その結果に従いターゲット画像７０に含まれるコマ（詳細にはコマの形状を有する画像領域）を認識する（ステップＳ１１３）。次に、特定部３３は、次のブランキング期間を検出しているか否かを判定する（ステップＳ１１４）。ブランキング期間を検出していないと判定した場合（ステップＳ１１４；Ｎｏ）、処理はステップＳ１１２へ戻り、ブランキング期間を検出したと判定した場合（ステップＳ１１４；Ｙｅｓ）、処理はステップＳ１１５に進む。

【0071】

次に、特定部３３は、記憶部３０にバッファリングしたターゲット画像７０から期間の中心のターゲット画像７０を選別する（ステップＳ１１５）。

【0072】

次に、特定部３３は、マーキング２６を検知しているかどうかを判定する（ステップＳ１１６）。マーキング２６が検知されたと判定した場合（Ｓ１１６；Ｙｅｓ）、処理はステップＳ１１７に進み、現在のコマ番号がリセットされる（Ｓ１１７）。マーキング２６が検知されなかったと判定した場合（Ｓ１１６；Ｎｏ）、処理はステップＳ１１８に進み、コマ番号をインクリメントする。

【0073】

以上、一連の処理によりコマが識別される。次に、リアルタイム評価処理について説明する。図１１は、本発明の一実施形態に係る画像処理装置１のリアルタイム処理におけるリアルタイム評価処理の流れを示すフローチャートである。

【0074】

まず、特定部３３は、撮像部１６が撮像するコンベアチェーン２１の画像が、１周目であるか否かを判定する（ステップＳ１２１）。１周目であると判定された場合（Ｓ１２１；Ｙｅｓ）、処理はステップＳ１２２に進み、不良コマの検出が行われ（ステップＳ１２２）、コマの状態情報が保存される（ステップＳ１２３）。本実施形態におけるコマの状態情報は良品か不良品である。１周目ではないと判定された場合（Ｓ１２１；Ｎｏ）、処理をステップＳ１２４に進み、コマの状態情報を参照し、可視化する。本実施形態における可視化は、良品コマを緑で表示し、不良コマを赤で表示することで実現される。例えば、撮像部１６によって撮像される映像中に、良品と評価されたコマを緑色の枠で囲み、不良品と評価されたコマを赤色の枠で囲む表示処理を行ってもよい。

【0075】

以上、特定処理がリアルタイムで行われる例を説明した。次に、コンベアチェーン２１の移動速度が速かったり、特定処理を実行する速度が遅かったりするために、リアルタイムできない例について説明する。

【0076】

［順次評価処理］
判定部３５が、上記リアルタイム処理に示すリアルタイム評価処理を実行できないと判断した場合、以下に示す第２の評価処理を開始する。図１２は、本発明の一実施形態に係る画像処理装置１の順次評価処理を示すタイミングチャートである。なお、図８で説明した項目と同じ項目についてはその説明を省略する。

【0077】

図１２には、コマ０（フレームｆ２）に対して実行した特定処理が、コマ１のコマ検出期間が終了するまでに完了しておらず、コマ１（フレームｆ９）に対する特定処理が１周目では実行されていない例が示されている。なお、コマ１（フレームｆ９）に対する特定処理は２周目で実行されている。

【0078】

図１２に示した順次評価処理の流れについて説明する。図１３は、本発明の一実施形態に係る画像処理装置１の順次評価処理の全体的な流れを示すフローチャートである。まず、特定部３３は、コマ識別処理を実行し（ステップＳ２０１）、識別したコマに対して順次評価処理を実行する（ステップＳ２０２）。なお、ステップＳ２０１のコマ識別処理は、図９で説明したステップＳ１０１のコマ識別処理と同じ処理である。

【0079】

順次評価処理の流れについて説明する。図１４は、本発明の一実施形態に係る画像処理装置１の順次評価処理における順次評価処理の流れを示すフローチャートである。まず、特定部３３は、画像取得部３１が取得したターゲット画像７０が、１周目であるか否かを判定する（ステップＳ２１１）。処理はステップＳ２１２に進み、１周目でないと判定された場合（Ｓ２１１；Ｎｏ）、処理はステップＳ２１５に進む。

【0080】

ステップＳ２１１で1週目と判定された場合について説明する（Ｓ２１１；Ｙｅｓ）。特定部３３は、特定処理を実行し、不良コマの検出を行う（ステップＳ２１２）。次に、特定部３３は、解析処理と評価処理期間中のブランキング回数Ｎを算出する（ステップＳ２１３）。ブランキング回数Ｎは、評価トリガの回数に対応する。そして、記憶制御部３２がコマの状態情報を保存し（ステップＳ２１４）、順次評価処理が一旦終了する。

【0081】

ステップＳ２１１で１周目ではないと判定された場合について説明する（Ｓ２１１；Ｎｏ）。特定部３３は、解析処理と評価処理期間中のブランキング回数Ｎ＋１周目であるか否かを判定する（ステップＳ２１５）。Ｎ＋１周目であると判定された場合（Ｓ２１５；Ｙｅｓ）、処理はステップＳ２１８に進み、Ｎ＋１周目ではないと判定された場合（Ｓ２１５；Ｎｏ）、記憶部３０に記憶させたＮコマ分のコマ数をスキップする（ステップＳ２１６）。そして、不良コマを検出する特定処理を実行する（ステップＳ２１７）。ステップＳ２１７の後、処理はステップＳ２１４に進み、コマの状態情報が保存され（ステップＳ２１４）、順次評価処理が一旦終了する。

【0082】

ステップＳ２１５で、Ｎ＋１周目であると判定された場合（Ｓ２１５：Ｙｅｓ）、記憶部３０に記憶させたコマの状態情報を参照して、良品と特定されたコマと、不良品と特定されたコマを可視化表示して（ステップＳ２１８）、順次評価処理を終了する。

【0083】

以上、リアルタイム評価処理と順次評価処理が実行される例について説明した。本実施形態の画像処理装置１による効果について説明する。

【0084】

本実施形態の画像処理装置１は、個別に特定が可能な複数のピン２５－１～２５－ｎ（被写体）が所定の方向に配列されたコンベアチェーン２１（物体）の所定の方向へ移動する際の画像を時間的に連続して取得する画像取得部３１（画像取得手段）と、画像取得部３１による画像取得とともに、予め記憶された複数のピン２５－１～２５－ｎと画像取得部３１によって取得された複数のピン２５－１～２５－ｎとを順次照合し、複数のピン２５－１～２５－ｎを個別に特定する特定処理を実行する特定部３３（特定手段）と、特定部３３における特定処理の状況に基づいて、次に特定処理を行うべき複数のピン２５－１～２５－ｎのいずれかに対して画像取得部３１による画像取得のタイミングで特定処理を実行するか否かを判定する判定部３５（判定手段）と、を備える。

【0085】

これにより、時間的に連続して取得される画像を取得するタイミングで特定処理を実行できるか否かを確実に判定して、取得する複数の被写体を個別に特定する特定処理を好適に行える。

【0086】

また、本実施形態では、所定の方向への移動は一定の速度で周回する周回移動を含み、判定部３５が次の画像取得のタイミングで当該特定処理を実行しないと判定した場合、次の周で特定処理を実行するよう特定部３３を制御する特定制御部３６（第１の特定制御手段）を更に備えることを特徴とする。

【0087】

これにより、リアルタイム評価処理で特定処理が間に合わない事態が発生したとしても２周目以降に特定処理が実行され、検出漏れを確実に防ぐことができる。

【0088】

また、上述の通り、本実施形態の物体は、コンベアチェーン２１であるとともに、計測対象はピン２５である。

【0089】

これにより、移動するコンベアチェーン２１のピン２５における良・不良を好適に判定することができる。

【0090】

以上、連続撮像しながら特定処理を行う例を示したが、本発明は上記実施形態に限定されるわけではない。次に、上記実施形態と異なる方式で特定部３３が特定処理を実行するタイミングを決定する例について説明する。

【0091】

［再生評価処理］
以下説明する画像処理装置１では、ターゲット画像７０を含む動画ファイルの記録と再生を利用して特定処理が実行される。即ち、判定部３５が、リアルタイム評価処理を実行できないと判断した場合、特定部３３が動画ファイルの作成・記録処理を実行し、これと並行して特定処理を実行するのである。

【0092】

図１５は、本発明の一実施形態に係る画像処理装置１の動画ファイル作成・記録処理を示すタイミングチャートである。図１６は、本発明の一実施形態に係る画像処理装置１の再生処理を示すタイミングチャートである。なお、図８に示したタイミングチャートと同じタイミング情報についての説明は省略する。

【0093】

図１５には、撮像部１６の撮像開始後に連続撮像したターゲット画像７０の動画ファイルが作成され、記憶部３０に記憶されていく例が示されている。本実施形態では、撮像部１６が撮像したフレームデータがワークメモリ１３にバッファリングされた後、画像取得部３１がバッファリングしたフレームデータデータから動画ファイルを作成して記憶部３０に記憶させる。また、特定部３３は、動画ファイルの作成・記憶処理と並行して特定処理を実行し、当該特定処理の開始から完了までにかかった時間を計測する。特定部３３は、計測した時間に基づいて解析処理・評価処理の処理速度を算出する。

【0094】

図１６には、再生を落として動画ファイルが再生され、当該動画ファイルに対して特定処理が実行される例が示されている。再生速度を落としているため、次のコマ検出期間が終了する以前に特定処理を完了することができる。

【0095】

以下、再生評価処理の流れについて説明する。図１７は、本発明の一実施形態に係る画像処理装置１の再生評価処理の全体的な流れを示すフローチャートである。まず、特定部３３は、動画ファイルの作成・記憶処理すべきかどうかを判定するため評価処理を実行する（ステップＳ３０１）。次に、特定部３３は、特定対象となる撮像部１６が連続撮像したターゲット画像７０を記憶部３０に記憶する処理を実行する（ステップＳ３０２）。そして、再生制御部３７は、記憶部３０に記憶された動画を再生し、当該動画に対して特定処理を実行して（ステップＳ３０３）、本処理を終了する。

【0096】

［評価処理］
評価処理について図１８を参照して説明する。図１８は、本発明の一実施形態に係る画像処理装置１の再生評価処理における評価処理の流れを示すフローチャートである。まず、特定制御部３６は再生制御部３７によって時間的に連続して再生されるターゲット画像７０に対して特定処理を実行するように特定部３３を制御し、特定部３３は、撮像部１６が撮像したターゲット画像７０に対して特定処理を実行し、ピン間距離を計測し、その結果に従いターゲット画像７０に含まれるコマを認識する（ステップＳ３１１）。次に、特定部３３は、ブランキング期間を検知するまで処理を待機する（ステップＳ３１２）。

【0097】

ブランキング期間を検知すると（ステップＳ３１２；Ｙｅｓ）、特定部３３は、ターゲット画像７０に対して特定処理を実行してピン間距離を計測し、その結果に従いターゲット画像７０に含まれるコマを認識する（ステップＳ３１３）。次に、特定部３３は、図１１に示したステップＳ１２２と同様の不良コマの検出する（ステップＳ３１４）。そして、特定部３３は、図１４に示したステップＳ２１３と同様のブランキング回数Ｎを算出する（ステップＳ３１５）。次に、特定部３３は、次のブランキング期間を検知するのを待機する（ステップＳ３１６）。次のブランキング期間を検知すると評価処理を終了する（ステップＳ３１６；Ｙｅｓ）。

【0098】

［動画ファイル生成・記憶処理］
動画ファイル生成・記憶処理について図１９を参照して説明する。図１９は、本発明の一実施形態に係る画像処理装置１の再生評価処理における動画ファイル生成・記憶処理の流れを示すフローチャートである。まず、特定部３３は、画像取得部３１が撮像部１６から取得するフレームデータのモニタリングを開始する（ステップＳ３２１）。次に、記憶制御部３２が、画像取得部３１が撮像部１６から取得するターゲット画像７０をワークメモリ１３にバッファリングする（ステップＳ３２２）。

【0099】

次に、特定部３３は、次のブランキング期間を検知しているか否かを判定する（ステップＳ３２４）、次のブランキング期間が検知されたと判定した場合（Ｓ３２４；Ｙｅｓ）、処理はステップＳ３２５に進み、次のブランキングが検知されなかったと判定した場合（Ｓ３２４；Ｎｏ）、処理はステップＳ３２２に戻る。

【0100】

ブランキングの検知をトリガとして記憶制御部３２が、ワークメモリ１３にバッファリングした時間的に連続するターゲット画像７０から動画ファイルを作成し記憶部３０に記憶する（ステップＳ３２５）。次に、特定部３３は、次のブランキング期間を検知しているか否かを判定する（ステップＳ３２６）、次のブランキング期間を検知していると判定した場合（Ｓ３２７；Ｙｅｓ）、処理はステップＳ３２７に進み録画処理が終了する（ステップＳ３２７）。次のブランキングが検知されなかったと判定した場合（Ｓ３２６；Ｎｏ）、処理はステップＳ３２２に戻ってステップＳ３２２以降の処理が再び実行される。次なお、本処理では、ステップＳ３２５で、記憶制御部３２が動画を記憶部３０に記憶する際、検出したブランキング回数Ｎも併せて記憶部３０に記憶する制御を実行する。これは、後述する解析処理における再生速度を決定するためである。

【0101】

次に、解析処理について図２０を参照して説明する。図２０は、本発明の一実施形態に係る画像処理装置１の解析処理の流れを示すフローチャートである。まず、特定部３３は、記憶部３０に保存した検出したブランキング回数Ｎを参照して、動作ファイルの再生速度を設定する（ステップＳ３３１）。次に、特定制御部３６は再生制御部３７によって時間的に連続して再生される動画ファイルのフレームとしてのターゲット画像７０に対して特定処理を実行するように特定部３３を制御する。特定部３３は再生されている動画ファイルに対して図９に示したステップＳ３３２と同様の評価処理を実行し（ステップＳ３３２）、その後解析処理を終了する。

【0102】

本実施形態の画像処理装置１は、判定部３５が次の画像取得のタイミングで特定処理を実行しないと判定した場合に、画像取得部３１が取得した複数の画像を記憶部３０（記憶手段）に記憶させる記憶制御部３２（記憶制御手段）と、記憶制御部３２によって記憶された複数の画像を時間的に連続して再生させる再生制御部３７（再生制御手段）と、再生制御部３７によって時間的に連続して再生される複数の画像に対して特定処理を連続的に実行するよう特定部３３を制御する特定制御部３６（第２の特定制御手段）と、を更に備える。

【0103】

これにより、特定処理によるコマの状態を確実に評価することができる。また、本実施形態においても移動するコンベアチェーン２１のピン２５とピン２５との間のピン間距離Ｌを精度よく測定することができ、画像解析によりピン２５間の伸び状態等を正確に評価できる。

【0104】

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

【0105】

例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。例えば、本発明は、ノート型のパーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、スマートフォン、タブレット等の各種電子装置に適用可能である。

【0106】

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

【0107】

換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されない。例えば、再生評価処理の機能を省略する場合は図3の構成から再生制御部３７を省略してもよい。

【0108】

また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

【0109】

本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

【0110】

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。

【0111】

コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

【0112】

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のプログラムメモリ１２や、図示しないハードディスク等で構成される。

【0113】

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

【0114】

また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。

【0115】

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0116】

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
個別に特定が可能な複数の被写体が所定の方向に配列された物体の前記所定の方向へ移動する際の画像を時間的に連続して取得する画像取得手段と、
前記画像取得手段による画像取得とともに、予め記憶された前記被写体と前記画像取得手段によって取得された複数の被写体とを順次照合し、前記被写体を個別に特定する特定処理を実行する特定手段と、
前記特定手段における特定処理の状況に基づいて、次に特定処理を行うべき被写体に対して前記画像取得手段による画像取得のタイミングで前記特定処理を実行するか否かを判定する判定手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記所定の方向への移動は一定の速度で周回する周回移動を含み、
前記判定手段が次の画像取得のタイミングで当該特定処理を実行しないと判定した場合、次の周で前記特定処理を実行するよう前記特定手段を制御する第１の特定制御手段を更に備えることを特徴とする付記１に記載の画像処理装置。
［付記３］
前記判定手段が次の画像取得のタイミングで前記特定処理を実行しないと判定した場合に、前記画像取得手段が取得した複数の画像を記憶手段に記憶させる記憶制御手段と、
前記記憶制御手段によって記憶された複数の画像を時間的に連続して再生させる再生制御手段と、
前記再生制御手段によって時間的に連続して再生される複数の画像に対して前記特定処理を連続的に実行するよう前記特定手段を制御する第２の特定制御手段と、
を更に備えることを特徴とする付記１に記載の画像処理装置。
［付記４］
前記物体はチェーンであるとともに、前記被写体はピンであることを特徴とする付記１乃至３の何れかに記載の画像処理装置。
［付記５］
個別に特定が可能な複数の被写体が所定の方向に配列された物体の前記所定の方向へ移動する際の画像を時間的に連続して取得する画像取得ステップと、
前記画像取得ステップによる画像取得とともに、予め記憶された前記被写体と前記画像取得ステップによって取得された複数の被写体とを順次照合し、前記被写体を個別に特定する特定処理を実行する特定ステップと、
前記特定ステップにおける特定処理の状況に基づいて、次に特定処理を行うべき被写体に対して前記画像取得ステップによる画像取得のタイミングで前記特定処理を実行するか否かを判定する判定ステップと、
を含むことを特徴とする画像処理方法。
［付記６］
コンピュータを、
個別に特定が可能な複数の被写体が所定の方向に配列された物体の前記所定の方向へ移動する際の画像を時間的に連続して取得する画像取得手段と、
前記画像取得手段による画像取得とともに、予め記憶された前記被写体と前記画像取得手段によって取得された複数の被写体とを順次照合し、前記被写体を個別に特定する特定処理を実行する特定手段と、
前記特定手段における特定処理の状況に基づいて、次に特定処理を行うべき被写体に対して前記画像取得手段による画像取得のタイミングで前記特定処理を実行するか否かを判定する判定手段と、
として機能させることを特徴とするプログラム。

【符号の説明】

【0117】

１ 画像処理装置
１６ 撮像部
２１ コンベアチェーン（物体）
２５ ピン（被写体）
３０ 記憶部（記憶手段）
３１ 画像取得部（画像取得手段）
３２ 記憶制御部（記憶制御手段）
３３ 特定部（特定手段）
３４ 出力制御部（出力制御手段）
３５ 判定部（判定手段）
３６ 特定制御部（特定制御手段）
３７ 再生制御部（再生制御手段）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】