IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社リコーの特許一覧

特開2024-101339液体塗布装置、位置検出方法およびプログラム
<>
  • 特開-液体塗布装置、位置検出方法およびプログラム 図1
  • 特開-液体塗布装置、位置検出方法およびプログラム 図2
  • 特開-液体塗布装置、位置検出方法およびプログラム 図3
  • 特開-液体塗布装置、位置検出方法およびプログラム 図4
  • 特開-液体塗布装置、位置検出方法およびプログラム 図5
  • 特開-液体塗布装置、位置検出方法およびプログラム 図6
  • 特開-液体塗布装置、位置検出方法およびプログラム 図7
  • 特開-液体塗布装置、位置検出方法およびプログラム 図8
  • 特開-液体塗布装置、位置検出方法およびプログラム 図9
  • 特開-液体塗布装置、位置検出方法およびプログラム 図10
  • 特開-液体塗布装置、位置検出方法およびプログラム 図11
  • 特開-液体塗布装置、位置検出方法およびプログラム 図12
  • 特開-液体塗布装置、位置検出方法およびプログラム 図13
  • 特開-液体塗布装置、位置検出方法およびプログラム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024101339
(43)【公開日】2024-07-29
(54)【発明の名称】液体塗布装置、位置検出方法およびプログラム
(51)【国際特許分類】
   B41J 3/28 20060101AFI20240722BHJP
   B41J 2/01 20060101ALI20240722BHJP
   B41J 21/00 20060101ALI20240722BHJP
   G06T 7/73 20170101ALI20240722BHJP
【FI】
B41J3/28
B41J2/01 451
B41J2/01 201
B41J21/00 Z
G06T7/73
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2023005278
(22)【出願日】2023-01-17
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】山崎 公晴
(72)【発明者】
【氏名】池田 孝史
(72)【発明者】
【氏名】川島 康成
(72)【発明者】
【氏名】木村 友昭
(72)【発明者】
【氏名】田中 秀郎
(72)【発明者】
【氏名】柏木 悠太
(72)【発明者】
【氏名】砂押 雅之
(72)【発明者】
【氏名】土田 頼史
【テーマコード(参考)】
2C055
2C056
2C187
5L096
【Fターム(参考)】
2C055AA00
2C055AA03
2C055AA08
2C055AA16
2C056EA07
2C056EB13
2C056EB36
2C056EC77
2C056EC79
2C056FB01
2C187AC08
2C187AD20
2C187BH17
2C187BH23
5L096AA06
5L096BA07
5L096CA04
5L096DA02
5L096FA67
5L096FA69
5L096HA08
5L096JA09
(57)【要約】
【課題】印刷をするために自身が移動する装置の移動前後の相対的なずれを高精度に検出することができる液体塗布装置、位置検出方法およびプログラムを提供する。
【解決手段】液体塗布領域を複数に分割した各印刷領域に順次移動し、各印刷領域に対応する印刷画像に基づき液体を吐出する液体塗布装置であって、撮像部により液体塗布装置の対象印刷領域への移動前に撮像された第1撮像画像、および、移動後に撮像された第2撮像画像を取得する取得部と、第1撮像画像からテンプレート画像を抽出する抽出部と、第2撮像画像とテンプレート画像との相対角度を変えるように回転処理を行う第1画像処理部と、回転処理後の第2撮像画像に対してテンプレートマッチングを行うマッチング処理部と、テンプレート画像と一致または類似する画像部分の位置に基づいて、液体塗布装置の移動前後の相対的なずれを特定する特定部と、を備える。
【選択図】図7
【特許請求の範囲】
【請求項1】
液体塗布領域を複数に分割した各印刷領域に順次移動し、それぞれの前記印刷領域に対応する印刷画像に基づき液体を吐出する液体塗布装置であって、
撮像部により前記液体塗布装置の対象印刷領域への移動前に撮像された第1撮像画像、および、前記撮像部により該液体塗布装置の前記対象印刷領域への移動後に撮像された第2撮像画像を取得する取得部と、
前記第1撮像画像からテンプレート画像を抽出する抽出部と、
前記第2撮像画像と前記テンプレート画像との相対角度を変えるように回転処理を行う第1画像処理部と、
前記回転処理後の前記第2撮像画像に対して、前記テンプレート画像を用いたテンプレートマッチングを行うマッチング処理部と、
前記回転処理後の前記第2撮像画像における、前記テンプレートマッチングにより検出された前記テンプレート画像と一致または類似する画像部分の位置に基づいて、前記液体塗布装置の移動前後の相対的なずれを特定する特定部と、
を備えた液体塗布装置。
【請求項2】
前記特定部により特定された前記ずれに基づいて、前記対象印刷領域に印刷する前記印刷画像を補正する第2画像処理部と、
前記第2画像処理部により補正された前記印刷画像に基づいて前記対象印刷領域に対して印刷する作像部と、
をさらに備えた請求項1に記載の液体塗布装置。
【請求項3】
前記特定部は、前記回転処理による回転量を、前記液体塗布装置の前記対象印刷領域の位置に対する、該液体塗布装置の移動後の前記対象印刷領域の位置の変位角とし、前記第2撮像画像に含まれる前記対象印刷領域の、該第2撮像画像で検出された前記画像部分の位置に基づいて定まる前記対象印刷領域からの変位量として特定する請求項1または2に記載の液体塗布装置。
【請求項4】
前記第1画像処理部は、前記第2撮像画像について前記回転処理を行う請求項1または2に記載の液体塗布装置。
【請求項5】
前記第1画像処理部は、前記第2撮像画像に対して複数の回転量でそれぞれ前記回転処理を行う請求項4に記載の液体塗布装置。
【請求項6】
前記抽出部は、前記第2撮像画像と重複する前記第1撮像画像の画像部分から前記テンプレート画像を抽出する請求項1または2に記載の液体塗布装置。
【請求項7】
前記抽出部は、前記第1撮像画像から、前記液体塗布装置が前記対象印刷領域へ移動する前の印刷領域に印刷された印刷画像を含まないように前記テンプレート画像を抽出する請求項6に記載の液体塗布装置。
【請求項8】
前記液体塗布装置の移動方向を特定する方向特定部を、さらに備え、
前記抽出部は、前記方向特定部により特定された前記移動方向に基づいて、前記第2撮像画像から前記テンプレート画像を抽出する請求項1または2に記載の液体塗布装置。
【請求項9】
前記取得部は、前記作像部により前記印刷画像に基づく印刷が行われた後に前記撮像部により撮像された、該印刷画像が印刷された前記印刷領域を含む前記第1撮像画像を取得する請求項2に記載の液体塗布装置。
【請求項10】
前記抽出部は、前記第1撮像画像から複数の前記テンプレート画像を抽出し、
前記マッチング処理部は、前記回転処理後の前記第2撮像画像に対して、複数の前記テンプレート画像を用いた前記テンプレートマッチングを行い、
前記特定部は、前記テンプレートマッチングによりそれぞれの前記テンプレート画像に対応する各類似度に基づいて、前記変位角を特定する請求項3に記載の液体塗布装置。
【請求項11】
前記第1画像処理部は、可変である単位回転量に基づいて前記回転処理を行う請求項1または2に記載の液体塗布装置。
【請求項12】
それぞれの前記印刷領域への前記液体塗布装置の移動を案内する位置合わせ部材を、さらに備えた請求項1または2に記載の液体塗布装置。
【請求項13】
液体塗布領域を複数に分割した各印刷領域に順次移動し、それぞれの前記印刷領域に対応する印刷画像に基づき液体を吐出する液体塗布装置の位置検出方法であって、
撮像部により前記液体塗布装置の対象印刷領域への移動前に撮像された第1撮像画像、および、前記撮像部により該液体塗布装置の前記対象印刷領域への移動後に撮像された第2撮像画像を取得する取得ステップと、
前記第1撮像画像からテンプレート画像を抽出する抽出ステップと、
前記第2撮像画像と前記テンプレート画像との相対角度を変えるように回転処理を行う画像処理ステップと、
前記回転処理後の前記第2撮像画像に対して、前記テンプレート画像を用いたテンプレートマッチングを行うマッチングステップと、
前記回転処理後の前記第2撮像画像における、前記テンプレートマッチングにより検出された前記テンプレート画像と一致または類似する画像部分の位置に基づいて、前記液体塗布装置の移動前後の相対的なずれを特定する特定ステップと、
を有する位置検出方法。
【請求項14】
液体塗布領域を複数に分割した各印刷領域に順次移動し、それぞれの前記印刷領域に対応する印刷画像に基づき液体を吐出する液体塗布装置が備えるコンピュータに、
撮像部により前記液体塗布装置の対象印刷領域への移動前に撮像された第1撮像画像、および、前記撮像部により該液体塗布装置の前記対象印刷領域への移動後に撮像された第2撮像画像を取得する取得ステップと、
前記第1撮像画像からテンプレート画像を抽出する抽出ステップと、
前記第2撮像画像と前記テンプレート画像との相対角度を変えるように回転処理を行う画像処理ステップと、
前記回転処理後の前記第2撮像画像に対して、前記テンプレート画像を用いたテンプレートマッチングを行うマッチングステップと、
前記回転処理後の前記第2撮像画像における、前記テンプレートマッチングにより検出された前記テンプレート画像と一致または類似する画像部分の位置に基づいて、前記液体塗布装置の移動前後の相対的なずれを特定する特定ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、液体塗布装置、位置検出方法およびプログラムに関する。
【背景技術】
【0002】
道路面上等に白線、文字、記号等を印刷する場合、印刷装置に搭載されたキャリッジの移動領域を超えるような大きな印刷領域となるため、印刷領域を分割し、各印刷領域に印刷装置自体を移動させて印刷し、複数の印刷画像をつなげる必要がある。それぞれの印刷領域で印刷された印刷画像を正確につなげる必要があるため、印刷装置が移動した場合の位置の精度が印刷品質に大きく影響する。この印刷装置の自己位置推定する方法として、速度検出器を用いてタイヤの向きおよび回転量から現在位置を推定する方法、および、GNSS(Global Navigation Satellite System)を使用して自己位置を推定する方法等が知られている。
【0003】
このような自己位置の推定方法のうち、速度検出器を用いた自己位置の推定方法では、路面のスリップおよび累積誤差の増加等の誤差、ならびにドライブギヤから得られる回転体の移動量では二次元的に正確な情報が得られないという問題がある。また、GNSSを使用した自己位置の推定方法では、絶対座標が得られるがその位置精度は数センチメートルとされ、複数の印刷領域を分割して大きな印刷領域で印刷をする場合では、その誤差分の連続性が問題となる。
【0004】
以上のような自己位置のずれに対する問題に対応するための技術として、例えば、半導体デバイス製造用の露光装置において、回路の微細化および高密度化に伴い、回路パターンが形成されているレチクルとそれが投影される基板とを高精度にアライメントし、基板搬送装置から基板ステージ上に送り込んだ際に発生する送り込みずれ量を検出するために、パターンマッチング手法をもちいてマークを検出して基板表面に平行な平面内におけるX、Y座標を検出する方法が開示されている(例えば特許文献1)。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の技術では、自身が移動する装置の移動前後の相対的な位置および傾きのずれを補正することは考慮されていないという問題がある。
【0006】
本発明は、上記に鑑みてなされたものであって、印刷をするために自身が移動する装置の移動前後の相対的なずれを高精度に検出することができる液体塗布装置、位置検出方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本発明は、液体塗布領域を複数に分割した各印刷領域に順次移動し、それぞれの前記印刷領域に対応する印刷画像に基づき液体を吐出する液体塗布装置であって、撮像部により前記液体塗布装置の対象印刷領域への移動前に撮像された第1撮像画像、および、前記撮像部により該液体塗布装置の前記対象印刷領域への移動後に撮像された第2撮像画像を取得する取得部と、前記第1撮像画像からテンプレート画像を抽出する抽出部と、前記第2撮像画像と前記テンプレート画像との相対角度を変えるように回転処理を行う第1画像処理部と、前記回転処理後の前記第2撮像画像に対して、前記テンプレート画像を用いたテンプレートマッチングを行うマッチング処理部と、前記回転処理後の前記第2撮像画像における、前記テンプレートマッチングにより検出された前記テンプレート画像と一致または類似する画像部分の位置に基づいて、前記液体塗布装置の移動前後の相対的なずれを特定する特定部と、を備えたことを特徴とする。
【発明の効果】
【0008】
本発明によれば、印刷をするために自身が移動する装置の移動前後の相対的なずれを高精度に検出することができる。
【図面の簡単な説明】
【0009】
図1図1は、実施形態に係る液体塗布装置の全体構成の一例を示す図である。
図2図2は、実施液体に係る液体塗布装置がキャリッジ走査範囲外へ印刷する場合の動作の概要を説明する図である。
図3図3は、実施形態に係る液体塗布装置を移動させる際に位置合わせ部材を用いて移動させる動作を説明する図である。
図4図4は、実施形態に係る液体塗布装置の全体動作の概要を説明する図である。
図5図5は、テンプレートマッチングの処理を説明する図である。
図6図6は、実施形態に係る液体塗布装置のハードウェア構成の一例を示す図である。
図7図7は、実施形態に係る液体塗布装置の機能ブロックの構成の一例を示す図である。
図8図8は、実施形態に係る液体塗布装置の印刷画像に対する補正動作の概要を説明する図である。
図9図9は、実施形態に係る液体塗布装置のテンプレートマッチング・変位量特定処理の概要を説明する図である。
図10図10は、実施形態に係る液体塗布装置のテンプレートマッチングにおける類似度について説明する図である。
図11図11は、実施形態に係る液体塗布装置の全体動作の流れの一例を示すフローチャートである。
図12図12は、実施形態に係る液体塗布装置の撮像画像に対するテンプレートマッチングを用いた全体動作の流れの一例を示すフローチャートである。
図13図13は、実施形態に係る液体塗布装置のテンプレートマッチング・変位量特定処理の流れの一例を示すフローチャートである。
図14図14は、変形例に係る液体塗布装置における複数のテンプレート画像を用いたテンプレートマッチングを説明する図である。
【発明を実施するための形態】
【0010】
以下に、図面を参照しながら、本発明に係る液体塗布装置、位置検出方法およびプログラムの実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。
【0011】
また、コンピュータソフトウェアとは、コンピュータの動作に関するプログラム、その他コンピュータによる処理の用に供する情報であってプログラムに準ずるものをいう(以下、コンピュータソフトウェアは、ソフトウェアという)。アプリケーションソフトとは、ソフトウェアの分類のうち、特定の作業を行うために使用されるソフトウェアの総称である。一方、オペレーティングシステム(OS)とは、コンピュータを制御し、アプリケーションソフト等がコンピュータ資源を利用可能にするためのソフトウェアのことである。オペレーティングシステムは、入出力の制御、メモリやハードディスク等のハードウェアの管理、プロセスの管理といった、コンピュータの基本的な管理・制御を行っている。アプリケーションソフトウェアは、オペレーティングシステムが提供する機能を利用して動作する。プログラムとは、コンピュータに対する指令であって、一の結果を得ることができるように組み合わせたものをいう。また、プログラムに準ずるものとは、コンピュータに対する直接の指令ではないためプログラムとは呼べないが、コンピュータの処理を規定するという点でプログラムに類似する性質を有するものをいう。例えば、データ構造(データ要素間の相互関係で表される、データの有する論理的構造)がプログラムに準ずるものに該当する。
【0012】
(液体塗布装置の全体構成)
図1は、実施形態に係る液体塗布装置の全体構成の一例を示す図である。図1を参照しながら、本実施形態に係る液体塗布装置の全体構成について説明する。
【0013】
図1に示す液体塗布装置1は、道路等の路面等の広範囲な液体塗布領域を複数の印刷領域に分割して各印刷領域に順次移動し、液体塗布領域に印刷するための印刷データを複数の印刷画像に分割して印刷する装置である。図1(a)は液体塗布装置1の側面図であり、図1(b)は液体塗布装置1を上方から見た平面図である。なお、「印刷」は、道路または壁面等に対するインクの塗布、または、吹き付けを行うことをいうものとする。
【0014】
図1に示すように、液体塗布装置1は、印刷ユニット21と、制御ユニット22と、を備える。なお、液体塗布装置1では、印刷ユニット21と制御ユニット22とがそれぞれ別体であるシステム構成であってもよい。
【0015】
印刷ユニット21は、移動しつつ、インクを吐出して道路等の路面等(以下、単に「路面」と称する場合がある)に印刷を行うためのユニットである。なお、「インク」は、道路等の路面に対して塗布、または、吹き付けられる液体である。印刷ユニット21は、図1に示すように、キャリッジ2と、レール3と、三次元カメラ7と、二次元カメラ8と、GNSS受信器9と、タイヤ10と、フレーム11と、構造物12と、位置合わせ部材13と、を備えている。
【0016】
キャリッジ2は、後述するインク吐出ヘッド2aを搭載し、レール3に沿って主走査方向(図1(b)に示す矢印A)に移動し、当該レール3が副走査方向(図1(b)に示す矢印B)に移動することによって副走査方向に移動する部材である。キャリッジ2は、ベルト、プーリーおよびモータ等により構成されたヘッド移動機構23(後述の図6参照)により、レール3に沿って主走査方向に往復移動する。
【0017】
レール3は、キャリッジ2を主走査方向に移動させるために支持し、副走査方向に移動可能にフレーム11に水平に支持されたレール部材である。レール3は、ベルト、プーリーおよびモータ等により構成されたレール移動機構24(後述の図6参照)により、主走査方向に直交する副走査方向にフレーム11上を往復移動する。
【0018】
すなわち、インク吐出ヘッド2aを搭載したキャリッジ2は、液体塗布装置1のフレーム11で囲われるにおける水平面上を前後方向(副走査方向)および左右方向(主走査方向)に自由に移動することができる。
【0019】
三次元カメラ7は、フレーム11の前方部分に支持され、液体塗布装置1の周囲を撮像する周囲計測用の三次元形状計測装置である。なお、三次元カメラ7は、自身に搭載しているバッテリから給電するものとしてもよく、連続運転を想定して電源供給系5から給電される方式としてもよい。
【0020】
二次元カメラ8は、路面および当該路面に印刷した印刷画像の近傍を撮像する撮像装置である。したがって、二次元カメラ8の撮像方向は、下方向となっている。二次元カメラ8は、撮像した撮像画像をコントローラユニット6へ送信する。なお、二次元カメラ8は、自身に搭載しているバッテリから給電するものとしてもよく、連続運転を想定して電源供給系5から給電される方式としてもよい。
【0021】
GNSS受信器9は、GNSSに基づき、測位衛星から地球上の現在位置を測定するための測位信号を受信する受信装置である。GNSS受信器9は、受信した測位信号をコントローラユニット6へ送信する。
【0022】
タイヤ10は、フレーム11の下部に複数取り付けられ、作業者による手押し等によって印刷ユニット21を移動させるための部材である。これによって、液体塗布装置1は、前後左右の4方向に移動させることが可能である。
【0023】
フレーム11は、印刷ユニット21の土台を構成し、レール3、三次元カメラ7、GNSS受信器9および構造物12等を下方から支持するフレーム構造体である。
【0024】
構造物12は、四角錐形状にパイプ等を組んだ構造物である。構造物12は、その頂点に二次元カメラ8を搭載している。
【0025】
位置合わせ部材13は、フレーム11の側面に支持され、印刷ユニット21の前方に向けて延伸する棒状の部材である。位置合わせ部材13の先端を、目標とする路面のマーク等に合わせることによって、液体塗布装置1の移動を案内することができる。
【0026】
制御ユニット22は、図1に示すように、インク供給系4と、電源供給系5と、コントローラユニット6と、を備えている。
【0027】
インク供給系4は、インクの流路であるパイプ4aを介してキャリッジ2のインク吐出ヘッド2aに対して、印刷に使用するインクを供給するユニットである。なお、本実施形態においては、インク供給系4は、印刷ユニット21に従動して移動するものとするが、これに限定されるものではなく、印刷ユニット21から独立して自走するものであってもよい。
【0028】
電源供給系5は、制御ユニット22、ヘッド移動機構23およびインク吐出ヘッド2a等を駆動させるための電源を供給するユニットである。
【0029】
コントローラユニット6は、液体塗布装置1の動作を制御するための制御ユニットである。コントローラユニット6は、例えば、ヘッド移動機構23、レール移動機構24およびインク吐出ヘッド2aの動作を制御したり、GNSS受信器9により受信した測位信号から液体塗布装置1の位置を推定したりする。コントローラユニット6は、三次元カメラ7により撮像された撮像画像を、画像相関等の手法を用いて主に障害物との接触回避等に使用したり、液体塗布装置1の移動量および姿勢等の推定に使用したりする。さらに、コントローラユニット6は、GNSS受信器9により受信された測位信号を、液体塗布装置1の累積移動量等のオドメトリ情報として記憶する。なお、液体塗布装置1はGNSS受信器9を複数備え、コントローラユニット6は複数のGNSS受信器9により受信された測位信号から位置情報について補正してもよい。
【0030】
なお、図1に示す液体塗布装置1は、原則として作業者による手押し等によって移動するものとして説明したが、これに限定されるものではなく、液体塗布装置1は、タイヤ10の回転制御が可能なモータ等を備えた自走式の装置であってもよい。
【0031】
(液体塗布装置の全体動作の概要)
図2は、実施液体に係る液体塗布装置がキャリッジ走査範囲外へ印刷する場合の動作の概要を説明する図である。図3は、実施形態に係る液体塗布装置を移動させる際に位置合わせ部材を用いて移動させる動作を説明する図である。図4は、実施形態に係る液体塗布装置の全体動作の概要を説明する図である。図5は、テンプレートマッチングの処理を説明する図である。図2図5を参照しながら、本実施形態に係る液体塗布装置1の全体動作の概要について説明する。
【0032】
上述したように液体塗布装置1は、前後左右の4方向に移動可能である。すなわち、インク吐出ヘッド2aを搭載したキャリッジ2は、液体塗布装置1のフレーム11で囲われるにおける水平面上を前後左右の4方向に自由に移動することができる。これによって、液体塗布装置1は、インク吐出ヘッド2aに対して走査範囲外の路面に対して印刷させる場合、図2に示すように、路面における印刷する全体領域である液体塗布領域を複数の印刷領域に分割し、当該液体塗布領域に印刷する全体の印刷データを、各印刷領域に対応する複数の印刷画像に分割し、当該液体塗布領域を前後方向および左右方向に移動しながら、各印刷画像をこれらのつなぎ目を目立ちにくくなるようにつなぎ合わせながら印刷して、印刷データに基づく全体の画像の印刷を完成させる。
【0033】
また、本実施形態に係る液体塗布装置1は、作業者により手押し等により手動で前後左右に移動可能となっており、各印刷領域への移動に際しては、路面に目印としてチョーク等により描かれたラインおよびマーク等を目印として移動する。具体的には、図3に示すように、作業者は、液体塗布装置1に設置された位置合わせ部材13の先端を、路面に描かれたチョークによる目印に合うように移動させることによって、各印刷領域でインク吐出ヘッド2aのインク吐出による印刷が行われるようにする。これによって、作業者は、液体塗布装置1の移動に際し、各印刷領域への粗い位置合わせを行うことができる。
【0034】
ただし、位置合わせ部材13による位置空合せでは、粗い位置合わせに留まり、各印刷領域で印刷された印刷画像のつなぎ目を目立ちにくくするためには、位置合わせ部材13による位置合わせの後、液体塗布装置1の位置のずれ量(変位量・変位角)を精度よく特定し、当該ずれ量により印刷する印刷画像を補正する必要がある。そこで、本実施形態に係る液体塗布装置1では、液体塗布装置1を次に印刷する印刷領域に移動させた後における液体塗布装置1の理想的な位置からのずれ量(変位量・変位角)を特定し、当該ずれ量により当該印刷領域に対応する印刷画像を補正し、補正した印刷画像によって路面に対して印刷を行う。ここで、液体塗布装置1を次に印刷する印刷領域に移動させた後に、液体塗布装置1の理想的な位置からのずれ量(変位量・変位角)を特定するためには、例えば、GNSS受信器9により受信された測定信号に基づいて推定された位置、タイヤ10の回転方向および回転量から検出される位置、または、その他のセンサにより検出・推定される液体塗布装置1の位置等に基づいて、理想的な位置からのずれ量を特定(算出)するものとすればよい。本実施形態では、上述のずれ量を特定する動作の一例として、移動前に二次元カメラ8により撮像された撮像画像上のテンプレート画像を用いた移動後の撮像画像に対するテンプレートマッチングにより、当該テンプレート画像に一致する画像部分を特定することによって、当該ずれ量を特定する動作について詳細に説明する。まず、図4および図5を参照しながら、液体塗布装置1によるテンプレートマッチングを用いた変位量・変位角の特定処理(以下、テンプレートマッチング・変位量特定処理と称する場合がある)の概要を説明する。なお、図4における説明の簡便のため、液体塗布装置1の図示は省略している。
【0035】
液体塗布装置1は、初期処理として、道路等の路面等の広範囲な液体塗布領域を複数の印刷領域に分割し、当該液体塗布領域に印刷するための印刷データを各印刷領域に対応する複数の印刷画像に分割する。なお、液体塗布装置1により印刷データが複数の印刷画像に分割されることに限定されるものではなく、例えば、外部機器30において印刷データが分割された複数の印刷画像を液体塗布装置1がI/F63を介して受信して使用するものとしてもよい。まず、図4(a)に示すように、液体塗布装置1は、初期位置に移動した場合、当該位置に対応する印刷領域に対して印刷画像PIM1の印刷を行う。ここで、上述したように、作業者は、液体塗布装置1の移動の際に、位置合わせ部材13の先端を、路面に描かれた目印に合うように移動させる。そして、液体塗布装置1は、当該印刷画像PIM1を含む二次元カメラ8の撮像領域に対して二次元カメラ8により撮像画像CIM1の撮像を行う。
【0036】
次に、液体塗布装置1は、図4(b)に示すように、撮像した撮像画像CIM1(第1撮像画像の一例)において、次の印刷領域(対象印刷領域の一例)に対応する撮像画像(後述する撮像画像CIM2)でのテンプレートマッチングを行うためのテンプレート画像TP1を抽出する。なお、テンプレート画像の抽出とは、撮像画像から実際に当該テンプレート画像をデータとして切り出すことだけでなく、当該撮像画像においてテンプレート画像の領域を特定すること等も含むものとする。ここで、撮像画像CIM1におけるテンプレート画像TP1の抽出は、当該撮像画像CIM1と、次の印刷領域に対応する撮像画像(後述する撮像画像CIM2)とのオーバーラップ領域から行われる。これは、撮像画像CIM2において、撮像画像CIM1から抽出したテンプレート画像TP1と一致または類似する画像部分をテンプレートマッチングで特定できるようにするためである。したがって、隣り合う印刷領域をそれぞれ撮像する対象となる撮像領域は、互いにオーバーラップする必要がある。図4に示す例では、液体塗布装置1を左から右へ移動させため、撮像画像CIM1の右側端部近傍領域と、図4(c)に示す撮像画像CIM2の左側近傍領域とでオーバーラップするようにしており、液体塗布装置1は、撮像画像CIM1における当該オーバーラップする領域からテンプレート画像TP1を抽出する。
【0037】
次に、作業者は、液体塗布装置1を次に印刷する印刷領域に移動させる。この際、上述したように、位置合わせ部材13による位置空合せでは粗い位置合わせに留まるため、既に印刷画像PIM1を印刷した印刷領域と、移動させた印刷領域とのつなぎ目でずれがなく一致させることは困難である。このため、液体塗布装置1では、以下のような処理を順次行う。
【0038】
液体塗布装置1は、図4(c)に示すように、次に印刷する印刷領域への移動後、当該印刷領域を含む撮像領域に対して二次元カメラ8により撮像画像CIM2(第2撮像画像の一例)の撮像を行う。この場合、上述したように、液体塗布装置1の位置合わせ部材13による位置空合せでは粗い位置合わせに留まるため、図4(c)に示す撮像画像CIM2は、図4(b)に示す撮像画像CIM1に対する理想の位置と比較して、位置がずれたり傾きが生じたりする。そこで、液体塗布装置1は、撮像画像CIM1で抽出したテンプレート画像TPと一致または類似する画像部分を撮像画像CIM2上で検出するテンプレートマッチングを行う。
【0039】
ここで、図5を参照しながら、テンプレートマッチングの動作について説明する。テンプレートマッチングとは、検出対象となる画像IMにおいて、対象となるテンプレート画像TPと一致または類似する画像部分を検出する処理である。テンプレートマッチングでは、例えば、画像IMの左上の画像部分とテンプレート画像TPとの比較から始まり、当該画像部分とテンプレート画像TPとでどれだけ類似しているかの程度を示す類似度を算出し、当該類似度が一致または類似であることを示す値であるか否かを判定する。この類似度の算出および判定を、テンプレート画像TPを、画像IM上をラスタスキャンさせながら繰り返し行う。テンプレートマッチングのアルゴリズムとしては、例えば、SSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)、NCC(Normalized Cross Correlation)、ZNCC(Zero means Normalized Cross Correlation)等があり、これらの少なくともいずれかを用いるものとすればよい。ここで、類似度は、テンプレートマッチングのアルゴリズムに応じて、算出された値が大きいほど類似の程度が高かったり、当該値が小さいほど類似の程度が高かったりするが、本実施形態では、類似度の値が大きいほど類似の程度が高いものとして説明する。また、テンプレートマッチングでは、ラスタスキャン中に、算出した類似度が所定の閾値を超えた時点で当該画像部分がテンプレート画像TPと一致する画像部分であると判定してもよく、または、画像IMのすべての画像部分に対応する類似度を算出し、そのうち最大の類似度で、かつ当該類似度が所定の閾値を超えている場合、当該類似度に対応する画像部分がテンプレート画像TPと一致する画像部分であると判定してもよい。
【0040】
図4に戻り説明を続ける。上述のように、撮像画像CIM2が理想の位置からずれたり傾きが生じている場合には、撮像画像CIM2上をそのまま、テンプレート画像TP1をラスタスキャンさせながらテンプレートマッチングを行っても、撮像画像CIM2上でテンプレート画像TP1と一致または類似する画像部分を検出することはできない。そこで、液体塗布装置1は、撮像画像CIM2を所定の角度だけ回転させながら、回転した撮像画像CIM2に対してテンプレート画像TPによるテンプレートマッチングを行う。ここで、撮像画像CIM2を回転させるためには、例えばアフィン変換等を用いればよい。これによって、図4(c)に示すように、撮像画像CIM2上でテンプレート画像TP1と一致または類似する画像部分を検出することができ、当該画像部分を比較画像TP2とする。そして、撮像画像CIM2上でテンプレート画像TP1と一致または類似する画像部分としての比較画像TP2の位置が定まると、撮像画像CIM1における印刷領域とテンプレート画像TP1との位置関係は既知であるため、撮像画像CIM2における比較画像TP2の位置に対する、撮像画像CIM2における印刷すべき理想の印刷領域(すなわち、撮像画像CIM1の印刷領域とのつなぎ目が一致する、撮像画像CIM2での印刷領域)が定まる。そして、液体塗布装置1は、撮像画像CIM2内で定まる本来の印刷対象となる印刷領域からの、上述の理想の印刷領域のずれ量(変位量・変位角)を特定(算出)する。これによって、印刷をするために液体塗布装置1の移動前後の相対的な位置および傾きのずれを高精度に検出することができる。
【0041】
なお、上述のテンプレートマッチングにおいては、撮像画像CIM2を回転させながら行うものとしたが、これに限定されるものではなく、撮像画像CIM2はそのままとしてテンプレート画像TP1を回転させながらテンプレートマッチングを行ってもよい。すなわち、撮像画像CIM2とテンプレート画像TP1との相対角度を変えながらテンプレートマッチングを行うものとすればよい。
【0042】
次に、液体塗布装置1は、特定(算出)したずれ量(変位量・変位角)に基づいて、次に印刷すべき図4(d)に示す印刷画像PIM2を、図4(e)に示すように、移動および回転させる補正を行い、印刷画像PIM2aを生成する。そして、液体塗布装置1は、図4(f)に示すように、補正した印刷画像PIM2aを用いて、路面に印刷を行う。これによって、図4(g)に示すように、前回路面に印刷した印刷画像PIM1と、今回印刷した印刷画像PIM2aとのつなぎ目を略一致させることができる。このように、特定したずれ量(変位量・変位角)に基づいて補正した印刷画像により印刷を行うことによって、印刷された各印刷画像のつなぎ目を目立たなくすることができる。
【0043】
(液体塗布装置のハードウェア構成)
図6は、実施形態に係る液体塗布装置のハードウェア構成の一例を示す図である。図6を参照しながら、本実施形態に係る液体塗布装置1のハードウェア構成について説明する。
【0044】
図6に示すように、液体塗布装置1は、キャリッジ2と、コントローラユニット6と、三次元カメラ7と、二次元カメラ8と、GNSS受信器9と、ヘッド移動機構23と、レール移動機構24と、を備えている。
【0045】
キャリッジ2は、路面にインクを吐出するインク吐出ヘッド2aを搭載し、図1に示したレール3に沿って主走査方向に移動し、当該レール3が副走査方向に移動することによって副走査方向に移動する。
【0046】
コントローラユニット6は、CPU(Central Processing Unit)61と、メモリ62と、I/F63と、ユニット制御回路64と、を有する。
【0047】
CPU61は、液体塗布装置1の動作を統括的に制御する演算装置である。CPU61は、バスを介して、メモリ62、I/F63およびユニット制御回路64とデータ通信を行う。また、CPU61は、ユニット制御回路64を介して、ヘッド移動機構23、レール移動機構24およびインク吐出ヘッド2aの駆動制御を行ったり、GNSS受信器9により受信された測位信号から液体塗布装置1の自己位置を推定したりする。
【0048】
メモリ62は、CPU61の駆動に用いられるプログラムを記憶するROM(Read Only Memory)またはRAM(Random Access Memory)等の記憶媒体である。また、メモリ62は、CPU61のワークエリアとして使用される。
【0049】
I/F63は、タブレット端末、スマートフォン、PC(Personal Computer)、サーバ、ノートPC等の各種の外部機器30を接続するための通信インタフェースである。
【0050】
ユニット制御回路64は、CPU61による制御に従って、ヘッド移動機構23、レール移動機構24およびインク吐出ヘッド2aの動作を制御する制御回路である。
【0051】
三次元カメラ7および二次元カメラ8は、それぞれ撮像した撮像画像を、コントローラユニット6のCPU61に送信する。
【0052】
GNSS受信器9は、GNSSに基づき、測位衛星から地球上の現在位置を測定するための測位信号を受信し、当該測位信号をコントローラユニット6のCPU61へ送信する。
【0053】
ヘッド移動機構23は、ベルト、プーリーおよびモータ等により構成され、ユニット制御回路64による制御に従って、レール3に沿ってキャリッジ2を主走査方向に往復移動させる機構である。
【0054】
レール移動機構24は、ベルト、プーリーおよびモータ等により構成され、ユニット制御回路64による制御に従って、レール3を主走査方向に直交する副走査方向にフレーム11上を往復移動させる機構である。これによって、レール3に支持されたキャリッジ2が、副走査方向に往復移動する。
【0055】
なお、図6に示した液体塗布装置1のハードウェア構成は一例であり、他の構成機器を備えているものとしてもよい。
【0056】
(液体塗布装置の機能ブロックの構成および動作)
図7は、実施形態に係る液体塗布装置の機能ブロックの構成の一例を示す図である。図8は、実施形態に係る液体塗布装置の印刷画像に対する補正動作の概要を説明する図である。図9は、実施形態に係る液体塗布装置のテンプレートマッチング・変位量特定処理の概要を説明する図である。図10は、実施形態に係る液体塗布装置のテンプレートマッチングにおける類似度について説明する図である。図7図10を参照しながら、本実施形態に係る液体塗布装置1の機能ブロックの構成および動作について説明する。
【0057】
液体塗布装置1は、図7に示すように、撮像部101と、取得部102と、方向特定部103と、記憶部104と、画像処理部110と、作像部120と、を有する。
【0058】
撮像部101は、液体塗布装置1が移動した各印刷領域を含むそれぞれの撮像領域を対象にして撮像する機能部である。これによって、撮像部101は、当該撮像領域を撮像した撮像画像を得る。撮像部101は、図6に示した二次元カメラ8によって実現される。
【0059】
取得部102は、撮像部101により撮像された撮像画像を取得する機能部である。取得部102は、例えば、図6に示したCPU61によりプログラムが実行されることによって実現される。
【0060】
方向特定部103は、液体塗布装置1の移動方向を特定する機能部である。方向特定部103は、例えば、固定の方向(例えば図1に示す三次元カメラ7の撮像方向である前方方向等)を特定してもよく、作業者による液体塗布装置1に対する操作に応じて移動方向を特定するものとしてもよく、タイヤ10の向きおよび回転方向を検出することによって特定するものとしてもよく、または、GNSS受信器9により受信された測位信号により推定される液体塗布装置1の位置の移動方向を特定するものとしてもよい。方向特定部103は、例えば、図6に示したCPU61によりプログラムが実行されることによって実現される。
【0061】
記憶部104は、印刷データ、当該印刷データを分割した複数の印刷画像、後述する最大回転量θmax、所定回転量Δθ、ならびに画像処理部110により特定(算出)された変位量Dx、Dyおよび変位角Dθ等の情報を記憶する機能部である。記憶部104は、図6に示したメモリ62によって実現される。
【0062】
画像処理部110は、例えば、GNSS受信器9により受信された測定信号に基づいて推定された位置、タイヤ10の回転方向および回転量から検出される位置、その他のセンサにより検出・推定される液体塗布装置1の位置、または、撮像部101により撮像された撮像画像に対する画像処理等によって、理想的な位置からのずれ量を特定(算出)し、当該ずれ量により印刷領域に対応する印刷画像を補正する機能部である。本実施形態では、画像処理部110は、特に、撮像部101により撮像された撮像画像に対するテンプレートマッチングを含む画像処理によって、当該ずれ量を特定(算出)する動作について説明する。
【0063】
このように撮像画像に基づくずれ量(変位量・変位角)について図8を用いて説明する液体塗布装置1を、位置合わせ部材13を用いて移動させることにより、次の移動位置として理想的な位置に移動することができた場合に、撮像部101により撮像される理想的な撮像領域を撮像領域CAR_Iとし、当該撮像領域CAR_Iにより定まる印刷領域を印刷領域PAR_Iとする。すなわち、移動前に印刷画像が印刷された印刷領域に対して、ずれがなくつながる印刷領域が印刷領域PAR_Iである。したがって、液体塗布装置1により印刷領域PAR_Iに対して、対応する印刷画像を印刷すれば、直前に印刷した印刷画像とつなぎ目が目立たない態様での印刷が可能となる。しかしながら、実際には、液体塗布装置1を理想的な位置に移動させることは困難であるため、図8に示すように、実際に撮像部101により撮像される撮像領域CAR_Rは、理想的な撮像領域CAR_Iよりも位置および傾きのずれが生じている。その場合の撮像領域CAR_Rに対応する印刷領域が印刷領域PAR_Rである。そこで、画像処理部110は、画像処理部110により撮像された撮像画像に対するテンプレートマッチングを含む画像処理により、図8に示すように、印刷領域PAR_Rの印刷領域PAR_Iに対する傾きのずれ量である変位角Dθを特定(算出)し、印刷領域PAR_Rの印刷領域PAR_Iに対する位置のずれ量である変位量Dx、Dy(以下、変位量(Dx、Dy)と称する場合がある)を特定(算出)する。ここで、図8において、印刷領域PAR_Rを変位角Dθだけ回転させた印刷領域を印刷領域PAR_Pとして示している。そして、印刷領域PAR_Pを変位量(Dx,Dy)だけ移動させた印刷領域が印刷領域PAR_Iに一致する。
【0064】
画像処理部110は、図7に示すように、テンプレート抽出部111(抽出部)と、マッチング処理部112と、判定部113と、撮像画像処理部114(第1画像処理部)と、変位量特定部115(特定部)と、印刷画像処理部116(第2画像処理部)と、を有する。画像処理部110は、例えば、図6に示したCPU61によりプログラムが実行されることによって実現される。
【0065】
テンプレート抽出部111は、作像部120により印刷画像が印刷された印刷領域に対して画像処理部110により撮像された撮像画像から、マッチング処理部112でのテンプレートマッチングで使用されるテンプレート画像を抽出する機能部である。例えば、図9に示すように、テンプレート抽出部111は、特定の撮像画像での印刷領域PAR1に対応する画像部分(すなわち印刷画像の部分)に接する画像部分をテンプレート画像TP11として抽出する。この場合、テンプレート抽出部111は、特定の撮像画像での印刷領域に対応する画像部分(すなわち印刷画像の部分)における、方向特定部103により特定された液体塗布装置1の移動方向側の端部(辺)に接する画像部分であって、かつ、上述したように撮像画像同士のオーパーラップ領域に含まれる画像部分を、テンプレート画像として抽出する。このように、方向特定部103により特定された移動方向に基づいてテンプレート画像を抽出する場合、当該テンプレート画像を抽出する範囲を限定できるので、計算時間を短縮することができる。
【0066】
なお、特定の撮像画像におけるオーバーラップ領域からテンプレート画像を抽出する場合に、必ずしも当該撮像画像での印刷領域に対応する画像部分に接した画像部分をテンプレート画像として抽出することに限定されるものではない。ただし、当該オーバーラップ領域から抽出するテンプレート画像には、印刷領域に印刷された印刷画像が含まれないようにすることが望ましい。これは、路面(印刷領域)に印刷された印刷画像について時間の経過によって色合いまたは乾燥具合の状態が変化し、テンプレートマッチングが実行されるときに、当該印刷画像の一部を含むテンプレート画像と一致する画像部分を、テンプレートマッチングの対象となる撮像画像から検出することができなくなる可能性があるからである。
【0067】
マッチング処理部112は、液体塗布装置1が次に印刷する印刷領域に移動され、撮像部101により当該印刷領域に対して撮像された撮像画像(以下、移動後撮像画像と称する場合がある)(第2撮像画像)に対して、テンプレート抽出部111により液体塗布装置1の移動前の撮像画像(以下、移動前撮像画像と称する場合がある)(第1撮像画像)から抽出されたテンプレート画像を用いてテンプレートマッチングを実行する機能部である。この場合、マッチング処理部112は、上述した理由から、撮像画像処理部114により移動後撮像画像を単位回転量である所定回転量Δθずつ回転されながら、回転された移動後撮像画像に対してテンプレート画像によるテンプレートマッチングを行う。ここで、マッチング処理部112は、テンプレートマッチングにおいて、移動後撮像画像に対してテンプレート画像をラスタスキャンしながら、一致または類似するか否かを比較する移動後撮像画像の画像部分と、当該テンプレート画像との類似度Dpを算出する。
【0068】
判定部113は、撮像画像処理部114により回転量θだけ回転された移動後撮像画像に対するマッチング処理部112によるテンプレートマッチングにおいて、マッチング処理部112により算出された類似度Dpが所定の閾値Dp0より大きいか否かを判定する機能部である。ここで、マッチング処理部112により算出される類似度Dpは、撮像画像処理部114により回転量θだけ回転された移動後撮像画像における各画像部分と、テンプレート画像との各類似度のうち最大のものとすればよい。そして、判定部113は、図10に示すように、当該類似度Dpが閾値Dp0よりも大きいと判定した場合、当該類似度Dpに対応する回転量θだけ回転した移動後撮像画像において、テンプレート画像と一致または類似する画像部分が検出されたものと判定する。図9では、撮像画像処理部114によって回転された移動後撮像画像(撮像領域CARにおける撮像画像)において、移動前撮像画像から抽出されたテンプレート画像TP11と一致または類似する画像部分として比較画像TP12が検出された例を示している。
【0069】
撮像画像処理部114は、マッチング処理部112におけるテンプレートマッチングの際に、移動後撮像画像について所定回転量Δθずつ回転処理を行う機能部である。この場合、撮像画像処理部114は、例えばアフィン変換等によって移動後撮像画像を回転させればよい。
【0070】
なお、所定回転量Δθは、固定であることに限定されず、可変であってもよい。この場合、例えば、液体塗布装置1が備える図示しない操作手段により所定回転量Δθが可変に設定操作が可能であってもよく、または、外部機器30において可変に設定された所定回転量Δθを液体塗布装置1がI/F63を介して受信して使用するものとしてもよい。これによって、所定回転量Δθを可変とすることによって、例えば、所定回転量Δθを小さくすることにより高精度なテンプレートマッチングが可能となる反面、演算時間が増大し、所定回転量Δθを大きくすることによりテンプレートマッチングが低精度になる反面、演算時間を低減させることができる等、用途に合わせて調整することが可能となる。
【0071】
変位量特定部115は、判定部113により移動後撮像画像においてテンプレート画像と一致または類似する画像部分が検出されたものと判定された場合に、図10に示すように、当該移動後撮像画像が撮像画像処理部114により回転された回転量θを変位角Dθとして特定する機能部である。また、上述のように、移動後撮像画像においてテンプレート画像と一致または類似する画像部分の位置が定まると、移動前撮像画像における印刷領域とテンプレート画像との位置関係は既知であるため、移動後撮像画像における当該画像部分の位置に対する、移動後撮像画像における印刷すべき理想の印刷領域(すなわち、移動前撮像画像の印刷領域とのつなぎ目が一致する、移動後撮像画像での印刷領域)が定まる。図9の例では、撮像領域CARの撮像画像(移動後撮像画像)においてテンプレート画像TP11と一致または類似する画像部分である比較画像TP12の位置が定まると、移動前撮像画像における印刷領域PAR1とテンプレート画像との位置関係は既知であるため、撮像領域CARの撮像画像(移動後撮像画像)における比較画像TP12の位置に対する、撮像領域CARの撮像画像(移動後撮像画像)における印刷すべき理想の印刷領域PAR2が定まる。そして、変位量特定部115は、撮像領域CARの撮像画像(移動後撮像画像)内で定まる本来の印刷領域からの、上述の理想の印刷領域PAR2の変位量(Dx,Dy)を特定する。この場合、変位量特定部115は、撮像領域CARの撮像画像(移動後撮像画像)内で定まる本来の印刷領域の中心(撮像領域CARの中心)から、印刷領域PAR2の中心の変位量を変位量(Dx,Dy)として特定できる。変位量特定部115により特定された変位角Dθおよび変位量(Dx,Dy)は、液体塗布装置1の移動前後の相対的なずれとして特定されるものである。
【0072】
印刷画像処理部116は、変位量特定部115により特定(算出)された変位量(Dx,Dy)および変位角Dθに基づいて、液体塗布装置1の移動後撮像画像が撮像された位置において印刷する印刷画像に対して、移動および回転させる補正をする機能部である。この場合、印刷画像処理部116による補正は、例えばアフィン変換等によって行われればよい。そして、作像部120によって、印刷画像処理部116により補正された印刷画像を用いて、路面に印刷が行われる。これによって、前回路面に印刷した印刷画像と、今回印刷した印刷画像とのつなぎ目を略一致させることができる。このように、変位量特定部115により特定された変位量(Dx,Dy)および変位角Dθに基づいて補正した印刷画像により印刷を行うことによって、印刷された各印刷画像のつなぎ目を目立たなくすることができる。
【0073】
なお、印刷画像処理部116により補正された印刷画像は、前回路面に印刷された印刷画像の端部に合わせて印刷されることに限定されるものではなく、前回路面に印刷された印刷画像に一部オーバーラップした状態で印刷されるものとしてもよい。
【0074】
作像部120は、キャリッジ2を主走査方向および副走査方向に移動させながら、印刷画像処理部116により補正された印刷画像に基づいてインク吐出ヘッド2aからのインクの吐出制御を行うことにより、路面に当該印刷画像の印刷を行う機能部である。作像部120は、図6に示したユニット制御回路64によって実現される。なお、ユニット制御回路64は、図6においでハードウェア回路として示しているが、これに限定されるものではなく、CPU61によりプログラムが実行されることによって実現されるものとしてもよい。この場合、作像部120は、図6に示したCPU61によりプログラムが実行されることによって実現されることになる。作像部120は、図7に示すように、キャリッジ制御部121と、吐出制御部122と、を有する。
【0075】
キャリッジ制御部121は、ヘッド移動機構23およびレール移動機構24を制御することによって、インク吐出ヘッド2aを搭載したキャリッジ2の主走査方向および副走査方向の往復移動を制御する機能部である。キャリッジ制御部121は、印刷画像処理部116により補正された印刷画像に基づいて、キャリッジ2を移動させる。
【0076】
吐出制御部122は、インク吐出ヘッド2aのインクの吐出動作を制御する機能部である。吐出制御部122は、印刷画像処理部116により補正された印刷画像に基づいて、インク吐出ヘッド2aからインクを吐出させる。
【0077】
なお、取得部102、方向特定部103、テンプレート抽出部111、マッチング処理部112、判定部113、撮像画像処理部114、変位量特定部115および印刷画像処理部116の機能部の一部または全部は、ソフトウェアであるプログラムではなく、FPGA(Field-Programmable Gate Array)またはASIC(Application Specific Integrated Circuit)等のハードウェア回路(集積回路)によって実現されてもよい。
【0078】
また、図7に示す液体塗布装置1の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図7に示す液体塗布装置1で独立した機能部として図示した複数の機能部を、1つの機能部として構成してもよい。一方、図7に示す液体塗布装置1で1つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。
【0079】
(液体塗布装置の全体動作)
図11は、実施形態に係る液体塗布装置の全体動作の流れの一例を示すフローチャートである。図12は、実施形態に係る液体塗布装置の撮像画像に対するテンプレートマッチングを用いた全体動作の流れの一例を示すフローチャートである。図13は、実施形態に係る液体塗布装置のテンプレートマッチング・変位量特定処理の流れの一例を示すフローチャートである。図11図13を参照しながら、本実施形態に係る液体塗布装置1の全体動作の流れについて説明する。
【0080】
<ステップS11>
液体塗布装置1の画像処理部110は、初期処理として、道路等の路面等の広範囲な液体塗布領域を複数の印刷領域に分割し、当該液体塗布領域に印刷するための印刷データを各印刷領域に対応する複数の印刷画像に分割する。そして、ステップS12へ移行する。
【0081】
<ステップS12>
作業者は、液体塗布装置1の位置合わせ部材13の先端を、路面に描かれた目印に合うように、液体塗布装置1を初期位置まで移動させる。そして、ステップS13へ移行する。
【0082】
<ステップS13>
液体塗布装置1の作像部120は、初期位置において、当該初期位置に対応する印刷画像に基づいてインク吐出ヘッド2aからのインクの吐出制御を行うことにより、路面に当該印刷画像の印刷を行う。そして、ステップS14へ移行する。
【0083】
<ステップS14>
作業者は、液体塗布装置1の位置合わせ部材13の先端を、路面に描かれた目印に合うように、液体塗布装置1を次に印刷する印刷領域に移動させる。そして、ステップS15へ移行する。
【0084】
<ステップS15>
画像処理部110は、例えば、GNSS受信器9により受信された測定信号に基づいて推定された位置、タイヤ10の回転方向および回転量から検出される位置、その他のセンサにより検出・推定される液体塗布装置1の位置、または、撮像部101により撮像された撮像画像に対する画像処理等によって、理想的な位置からのずれ量を特定(算出)する。そして、ステップS16へ移行する。
【0085】
<ステップS16>
画像処理部110は、特定(算出)したずれ量に基づいて、移動した印刷領域にする印刷画像を移動および回転させる補正を行う。そして、ステップS17へ移行する。
【0086】
<ステップS17>
液体塗布装置1の作像部120は、キャリッジ2を主走査方向および副走査方向に移動させながら、画像処理部110により補正された印刷画像に基づいてインク吐出ヘッド2aからのインクの吐出制御を行うことにより、路面に当該印刷画像の印刷を行う。そして、ステップS18へ移行する。
【0087】
<ステップS18>
画像処理部110は、分割したすべての印刷領域について最終の印刷領域まで印刷が完了したか否かを確認する。最終の印刷領域まで印刷が完了していない場合(ステップS18:No)、ステップS14へ戻り、最終の印刷領域まで印刷が完了している場合(ステップS18:Yes)、液体塗布装置1の全体動作(印刷動作)を終了する。
【0088】
次に、図12を参照しながら、移動前に二次元カメラ8により撮像された撮像画像上のテンプレート画像を用いた移動後の撮像画像に対するテンプレートマッチングにより、当該テンプレート画像に一致する画像部分を特定することによって、液体塗布装置1の移動後のずれ量を特定し、当該ずれ量に基づいて印刷画像を補正して、印刷を行う動作の流れについて説明する。
【0089】
<ステップS21>
液体塗布装置1の画像処理部110は、初期処理として、道路等の路面等の広範囲な液体塗布領域を複数の印刷領域に分割し、当該液体塗布領域に印刷するための印刷データを各印刷領域に対応する複数の印刷画像に分割する。そして、ステップS22へ移行する。
【0090】
<ステップS22>
作業者は、液体塗布装置1の位置合わせ部材13の先端を、路面に描かれた目印に合うように、液体塗布装置1を初期位置まで移動させる。この場合、液体塗布装置の方向特定部103は、液体塗布装置1の移動方向を特定する。そして、ステップS23へ移行する。
【0091】
<ステップS23>
液体塗布装置1の作像部120は、初期位置において、当該初期位置に対応する印刷画像に基づいてインク吐出ヘッド2aからのインクの吐出制御を行うことにより、路面に当該印刷画像の印刷を行う。ここで、印刷画像とは、上述したように印刷データを分割したデータである。そして、ステップS24へ移行する。
【0092】
<ステップS24>
液体塗布装置1の撮像部101は、作像部120により印刷画像が印刷された印刷領域を含む撮像範囲に対して撮像し、撮像画像(移動前撮像画像)を得る。そして、液体塗布装置1の取得部102は、撮像部101により撮像された移動前撮像画像を取得する。そして、画像処理部110のテンプレート抽出部111は、取得部102により取得された移動前撮像画像から、マッチング処理部112でのテンプレートマッチングで使用されるテンプレート画像を抽出する。この場合、テンプレート抽出部111は、方向特定部103に特定された液体塗布装置1の移動方向に基づいて、移動前撮像画像からテンプレート画像を抽出する。ここで、撮像部101が、作像部120により印刷画像が印刷される前ではなく、印刷された後の印刷領域を含む撮像範囲を撮像して撮像画像(移動前撮像画像)を得るのは、作像部120による印刷動作により液体塗布装置1の位置がずれてしまう場合があるため、印刷動作後の確定した位置で撮像を行うためである。
【0093】
なお、テンプレート画像の抽出対象としては、上述のように、印刷後に撮像された移動前撮像画像としているが、これに限定されるものではない。すなわち、上述のような印刷動作による位置ずれが許容できる程度のものであれば、当該印刷領域で印刷される前に撮像された撮像画像からテンプレート画像を抽出するものとしてもよい。
【0094】
そして、ステップS25へ移動する。
【0095】
<ステップS25>
作業者は、液体塗布装置1の位置合わせ部材13の先端を、路面に描かれた目印に合うように、液体塗布装置1を次に印刷する印刷領域に移動させる。そして、ステップS26へ移行する。
【0096】
<ステップS26>
そして、撮像部101は、移動した印刷領域を含む撮像範囲に対して撮像し、撮像画像(移動後撮像画像)を得る。取得部102は、撮像部101により撮像された移動後撮像画像を取得する。そして、ステップS27へ移行する。
【0097】
<ステップS27>
そして、画像処理部110は、図13に示すテンプレートマッチング・変位量特定処理を実行する。以下、図13を参照しながら、テンプレートマッチング・変位量特定処理の流れを説明する。
【0098】
<<ステップS271>>
方向特定部103は、液体塗布装置1の移動方向を特定する。そして、ステップS272へ移行する。
【0099】
<<ステップS272>>
画像処理部110は、記憶部104に記憶された最大回転量θmaxおよび所定回転量Δθを取得する。そして、ステップS273へ移行する。
【0100】
<<ステップS273>>
画像処理部110は、移動後撮像画像を特定の回転方向に回転させる場合に生成される、回転された移動後撮像画像の画像数Nを、最大回転量θmax/所定回転量Δθにより算出する。そして、ステップS274へ移行する。
【0101】
<<ステップS274>>
画像処理部110は、カウンタ変数i、および移動後撮像画像を回転させる量を示す回転量θを0にリセットする。そして、ステップS275へ移行する。
【0102】
<<ステップS275>>
画像処理部110のマッチング処理部112は、移動後撮像画像に対して、テンプレート抽出部111により抽出されたテンプレート画像を用いてテンプレートマッチングを実行する。この場合、ステップS283を経由している場合、マッチング処理部112は、撮像画像処理部114により回転量θだけ回転された移動後撮像画像に対して、テンプレート画像を用いてテンプレートマッチングを実行する。ここで、マッチング処理部112は、テンプレートマッチングにおいて、移動後撮像画像に対してテンプレート画像をラスタスキャンしながら、一致または類似するか否かを比較する移動後撮像画像の画像部分と、当該テンプレート画像との類似度Dpを算出する。ここで、マッチング処理部112により算出される類似度Dpは、撮像画像処理部114により回転量θだけ回転された移動後撮像画像における各画像部分と、テンプレート画像との各類似度のうち最大のものとすればよい。そして、ステップS276へ移行する。
【0103】
<<ステップS276>>
画像処理部110の判定部113は、移動後撮像画像に対するマッチング処理部112によるテンプレートマッチングにおいて、マッチング処理部112により算出された類似度Dpが所定の閾値Dp0より大きいか否かを判定する。類似度Dpが閾値Dp0よりも大きい場合(ステップS276:Yes)、判定部113は、当該類似度Dpに対応する回転量θだけ回転した移動後撮像画像において、テンプレート画像と一致または類似する画像部分が検出されたものと判定し、ステップS277へ移行する。一方、類似度Dpが閾値Dp0以下である場合(ステップS276:No)、ステップS278へ移行する。
【0104】
<<ステップS277>>
画像処理部110の変位量特定部115は、判定部113により移動後撮像画像においてテンプレート画像と一致または類似する画像部分が検出されたものと判定された場合に、当該移動後撮像画像が撮像画像処理部114により回転された回転量θを変位角Dθとして特定する。また、移動後撮像画像においてテンプレート画像と一致または類似する画像部分の位置が定まると、移動前撮像画像における印刷領域とテンプレート画像との位置関係は既知であるため、移動後撮像画像における当該画像部分の位置に対する、移動後撮像画像における印刷すべき理想の印刷領域(すなわち、移動前撮像画像の印刷領域とのつなぎ目が一致する、移動後撮像画像での印刷領域)が定まる。そして、変位量特定部115は、移動後撮像画像内で定まる本来の印刷領域からの、上述の理想の印刷領域の変位量(Dx,Dy)を特定する。そして、テンプレートマッチング・変位量特定処理を終了する。
【0105】
<<ステップS278>>
画像処理部110は、回転量θに-1を乗じることによって、回転量θの正負を反転させる。そして、ステップS279へ移行する。
【0106】
<<ステップS279>>
その結果、画像処理部110は、回転量θが0以上であるか否かを判定する。回転量θが0以上である場合(ステップS279:Yes)、ステップS280へ移行し、回転量θが0未満である場合、すなわち回転量θが負数である場合(ステップS279:No)、ステップS283へ移行する。
【0107】
<<ステップS280>>
画像処理部110は、カウンタ変数iをインクリメントする。そして、ステップS281へ移行する。
【0108】
<<ステップS281>>
画像処理部110は、カウンタ変数iが画像数N未満であるか否かを判定する。すなわち、画像処理部110は、最大回転量θmaxまで双方向に回転した状態の移動後撮像画像まで、まだテンプレートマッチングが終了していないか否かを判定する。カウンタ変数iが画像数N未満である場合(ステップS281:Yes)、ステップS282へ移行し、カウンタ変数iが画像数N以上である場合(ステップS281:No)、ステップS284へ移行する。
【0109】
<<ステップS282>>
画像処理部110は、所定回転量Δθにカウンタ変数iを乗じた値を、回転量θに設定する。そして、ステップS283へ移行する。
【0110】
<<ステップS283>>
画像処理部110の撮像画像処理部114は、移動後撮像画像を回転量θだけ回転する画像処理を行う。この場合、撮像画像処理部114は、例えばアフィン変換等によって移動後撮像画像を回転させればよい。そして、ステップS275へ戻る。
【0111】
このように、撮像画像処理部114は、回転量θ=0の状態(回転なしの状態)から、θ=Δθ,-Δθ,2Δθ,-2Δθ,3Δθ、-3Δθの順となるように、すなわち、回転方向を反転しながら、かつ、回転量θの絶対値が徐々に増加する順番で、複数の回転量で移動後撮像画像を回転させて、マッチング処理部112によるテンプレートマッチングに使用されるようにしている。これによって、移動後撮像画像においてテンプレート画像と一致または類似する画像部分を早期に検出することが可能となる。
【0112】
<<ステップS284>>
カウンタ変数iが画像数N以上である場合、画像処理部110は、最大回転量θmaxまで双方向に回転した状態の移動後撮像画像までテンプレートマッチングを行っても、移動後撮像画像においてテンプレート画像と一致または類似する画像部分が検出できなかったものとして、エラー処理を行う。画像処理部110は、エラー処理として、例えば、液体塗布装置1に備えられた図示しない表示手段(例えば表示灯等)にエラー表示をさせ、または、I/F63を介して外部機器30へエラーの旨を含む情報を送信する等の処理を行う。これによって、作業者に対して液体塗布装置1の位置の見直しを促すことができる。また、上述のように、移動後撮像画像の双方向の回転について最大回転量θmaxまでに制限を設けているのは、360度すべてにおいて所定回転量Δθごとに移動後撮像画像を回転してテンプレートマッチングを行うには演算負荷が大きく計算時間が長くなってしまうためである。そして、テンプレートマッチング・変位量特定処理を終了する。
【0113】
そして、画像処理部110によるテンプレートマッチング・変位量特定処理の終了後、ステップS28へ移行する。ここでは、移動後撮像画像においてテンプレート画像と一致または類似する画像部分が検出され、変位量特定部115によって変位量(Dx,Dy)および変位角Dθが特定されたものとして説明する。
【0114】
<ステップS28>
画像処理部110の印刷画像処理部116は、変位量特定部115により特定(算出)された変位量(Dx,Dy)および変位角Dθに基づいて、移動後撮像画像が撮像された位置において印刷する印刷画像に対して、移動および回転させる補正をする。そして、ステップS29へ移行する。
【0115】
<ステップS29>
作像部120は、移動後撮像画像が撮像された位置において、キャリッジ2を主走査方向および副走査方向に移動させながら、印刷画像処理部116により補正された印刷画像に基づいてインク吐出ヘッド2aからのインクの吐出制御を行うことにより、路面に当該印刷画像の印刷を行う。そして、ステップS30へ移行する。
【0116】
<ステップS30>
画像処理部110は、分割したすべての印刷領域について最終の印刷領域まで印刷が完了したか否かを確認する。最終の印刷領域まで印刷が完了していない場合(ステップS30:No)、ステップS24へ戻り、最終の印刷領域まで印刷が完了している場合(ステップS30:Yes)、液体塗布装置1の全体動作(印刷動作)を終了する。
【0117】
以上のように、本実施形態に係る液体塗布装置1では、取得部102は、撮像部101により液体塗布装置1の対象印刷領域への移動前に撮像された移動前撮像画像、および、撮像部101により液体塗布装置1の対象印刷領域への移動後に撮像された移動後撮像画像を取得し、テンプレート抽出部111は、移動前撮像画像からテンプレート画像を抽出し、撮像画像処理部114は、移動後撮像画像とテンプレート画像との相対角度を変えるように回転処理を行い、マッチング処理部112は、回転処理後の移動後撮像画像に対して、テンプレート画像を用いたテンプレートマッチングを行い、変位量特定部115は、回転処理後の移動後撮像画像における、テンプレートマッチングにより検出されたテンプレート画像と一致または類似する画像部分の位置に基づいて、液体塗布装置1の移動前後の相対的なずれを特定するものとしている。これによって、印刷をするために自身が移動する液体塗布装置1の移動前後の相対的なずれを高精度に検出することができる。
【0118】
また、本実施形態に係る液体塗布装置1では、印刷画像処理部116は、変位量特定部115により特定されたずれに基づいて、対象印刷領域に印刷する印刷画像を補正し、作像部120は、印刷画像処理部116により補正された印刷画像に基づいて対象印刷領域に対して印刷するものとしている。これによって、印刷された各印刷画像のつなぎ目を目立たなくすることができる。
【0119】
(変形例)
変形例に係る液体塗布装置1について、上述の実施形態に係る液体塗布装置1と相違する点を中心に説明する。上述の実施形態では、移動前撮像画像から1のテンプレート画像を抽出して、当該テンプレート画像によりテンプレートマッチングを実行する動作について説明した。本変形例では、移動前撮像画像から複数のテンプレート画像を抽出して、当該複数のテンプレート画像によりテンプレートマッチングを実行する動作について説明する。なお、本変形例に係る液体塗布装置1の全体構成、ハードウェア構成および機能ブロックの構成は、上述の実施形態に係る液体塗布装置1と同様である。
【0120】
図14は、変形例に係る液体塗布装置における複数のテンプレート画像を用いたテンプレートマッチングを説明する図である。図14を参照しながら、本変形例に係る液体塗布装置1でのテンプレートマッチング・変位量特定処理について説明する。
【0121】
テンプレート抽出部111は、作像部120により印刷画像が印刷された印刷領域に対して画像処理部110により撮像された撮像画像(移動前撮像画像)から、マッチング処理部112でのテンプレートマッチングで使用される複数のテンプレート画像を抽出する。この場合、テンプレート抽出部111は、移動前撮像画像での印刷領域に対応する画像部分(すなわち印刷画像の部分)における、方向特定部103により特定された液体塗布装置1の移動方向側の端部(辺)に接する画像領域であって、かつ、上述したように撮像画像同士のオーパーラップ領域に含まれる画像領域(テンプレート画像領域)から、複数のテンプレート画像として抽出する。例えば、図14に示すように、撮像領域CARを移動前撮像画像とし、方向特定部103により特定された液体塗布装置1の移動方向が図14の紙面視上方向である場合、テンプレート抽出部111は、撮像領域CARに含まれる印刷領域の上側端部(上辺)に接する画像領域であるテンプレート画像領域TPARから、複数のテンプレート画像TP_MLを抽出する。
【0122】
なお、図14に示す例では、テンプレート抽出部111によりテンプレート画像領域TPARから互いにオーバーラップ(重複)しない複数のテンプレート画像TP_MLが抽出されているが、これに限定されるものではなく、複数のテンプレート画像TP_MLのうち少なくとも一部がオーバーラップした画像であってもよい。
【0123】
マッチング処理部112は、液体塗布装置1が次に印刷する印刷領域に移動され、撮像部101により当該印刷領域に対して撮像された移動後撮像画像に対して、テンプレート抽出部111により移動前撮像画像から抽出された複数のテンプレート画像を用いてテンプレートマッチングを実行する。この場合、マッチング処理部112は、撮像画像処理部114により移動後撮像画像を所定の角度である所定回転量Δθずつ回転されながら、回転された移動後撮像画像に対して複数のテンプレート画像によるテンプレートマッチングを行う。ここで、マッチング処理部112は、テンプレートマッチングにおいて、移動後撮像画像に対して複数のテンプレート画像をそれぞれラスタスキャンしながら、一致または類似するか否かを比較する移動後撮像画像の画像部分と、複数のテンプレート画像との類似度Dpをそれぞれ算出する。この場合、マッチング処理部112は、特定の回転量θだけ回転した移動後撮像画像について算出された複数のテンプレート画像に対応するそれぞれの類似度Dpのうち、例えば、中央値、最小値、最大値または平均値等のうちいずれかを、当該特定の回転量θだけ回転した移動後撮像画像に対応する類似度Dpとして決定する。
【0124】
判定部113は、撮像画像処理部114により回転量θだけ回転された移動後撮像画像に対するテンプレートマッチングにおいて、マッチング処理部112により当該回転量θだけ回転された移動後撮像画像に対応するものとして決定された類似度Dpが所定の閾値Dp0より大きいか否かを判定する。そして、判定部113は、当該類似度Dpが閾値Dp0よりも大きいと判定した場合、当該類似度Dpに対応する回転量θだけ回転した移動後撮像画像において、複数のテンプレート画像のうちいずれかのテンプレート画像と一致または類似する画像部分が検出されたものと判定する。
【0125】
撮像画像処理部114は、マッチング処理部112におけるテンプレートマッチングの際に、移動後撮像画像を所定回転量Δθずつ回転する画像処理を行う。この場合、撮像画像処理部114は、例えばアフィン変換等によって移動後撮像画像を回転させればよい。
【0126】
変位量特定部115は、判定部113により移動後撮像画像において複数のテンプレート画像のうちいずれかのテンプレート画像と一致または類似する画像部分が検出されたものと判定された場合に、当該移動後撮像画像が撮像画像処理部114により回転された回転量θを変位角Dθとして特定する。また、上述のように、移動後撮像画像においていずれかのテンプレート画像と一致または類似する画像部分の位置が定まると、移動前撮像画像における印刷領域とテンプレート画像との位置関係は既知であるため、移動後撮像画像における当該画像部分の位置に対する、移動後撮像画像における印刷すべき理想の印刷領域(すなわち、移動前撮像画像の印刷領域とのつなぎ目が一致する、移動後撮像画像での印刷領域)が定まる。図9の例では、撮像領域CARの撮像画像(移動後撮像画像)においてテンプレート画像TP11と一致または類似する画像部分である比較画像TP12の位置が定まると、移動前撮像画像における印刷領域PAR1とテンプレート画像との位置関係は既知であるため、撮像領域CARの撮像画像(移動後撮像画像)における比較画像TP12の位置に対する、撮像領域CARの撮像画像(移動後撮像画像)における印刷すべき理想の印刷領域PAR2が定まる。そして、変位量特定部115は、移動後撮像画像内で定まる本来の印刷領域からの、理想の印刷領域の変位量(Dx,Dy)を特定する。この場合、変位量特定部115は、移動後撮像画像内で定まる本来の印刷領域の中心(撮像領域CARの中心)から、理想の印刷領域の中心の変位量を変位量(Dx,Dy)として特定できる。
【0127】
印刷画像処理部116は、変位量特定部115により特定(算出)された変位量(Dx,Dy)および変位角Dθに基づいて、液体塗布装置1の移動後撮像画像が撮像された位置において印刷する印刷画像に対して、移動および回転させる補正をする。この場合、印刷画像処理部116による補正は、例えばアフィン変換等によって行われればよい。そして、作像部120によって、印刷画像処理部116により補正された印刷画像を用いて、路面に印刷が行われる。
【0128】
撮像部101(二次元カメラ8)により撮像される撮像画像には、異物の混入による写り込み、または、二次元カメラ8のレンズの収差等による誤差が含まれたりすることがある。そこで、上述のように、テンプレート抽出部111により移動前撮像画像のテンプレート画像領域から複数のテンプレート画像が抽出され、マッチング処理部112により当該複数のテンプレート画像を用いたテンプレートマッチングすることにより、変位量(Dx,Dy)および変位角Dθを特定し、これに基づいて印刷画像を補正して印刷するものとしている。これによって、上述の誤差の影響を低減することができる。
【0129】
なお、上述の実施形態および変形例において、液体塗布装置1の機能の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ROM等に予め組み込まれて提供される。また、上述の実施形態および変形例において、液体塗布装置1で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでCD-ROM(Compact Disc Read Only Memory)、フレキシブルディスク(FD)、CD-R(Compact Disk-Recordable)、またはDVD(Digital Versatile Disc)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施形態および変形例において、液体塗布装置1で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態および変形例において、液体塗布装置1で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施形態および変形例において、液体塗布装置1で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはCPUが上述の記憶装置からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置上にロードされて生成されるようになっている。
【0130】
本発明の態様は、以下の通りである。
<1>液体塗布領域を複数に分割した各印刷領域に順次移動し、それぞれの前記印刷領域に対応する印刷画像に基づき液体を吐出する液体塗布装置であって、
撮像部により前記液体塗布装置の対象印刷領域への移動前に撮像された第1撮像画像、および、前記撮像部により該液体塗布装置の前記対象印刷領域への移動後に撮像された第2撮像画像を取得する取得部と、
前記第1撮像画像からテンプレート画像を抽出する抽出部と、
前記第2撮像画像と前記テンプレート画像との相対角度を変えるように回転処理を行う第1画像処理部と、
前記回転処理後の前記第2撮像画像に対して、前記テンプレート画像を用いたテンプレートマッチングを行うマッチング処理部と、
前記回転処理後の前記第2撮像画像における、前記テンプレートマッチングにより検出された前記テンプレート画像と一致または類似する画像部分の位置に基づいて、前記液体塗布装置の移動前後の相対的なずれを特定する特定部と、
を備えた液体塗布装置である。
<2>前記特定部により特定された前記ずれに基づいて、前記対象印刷領域に印刷する前記印刷画像を補正する第2画像処理部と、
前記第2画像処理部により補正された前記印刷画像に基づいて前記対象印刷領域に対して印刷する作像部と、
をさらに備えた前記<1>に記載の液体塗布装置である。
<3>前記特定部は、前記回転処理による回転量を、前記液体塗布装置の前記対象印刷領域の位置に対する、該液体塗布装置の移動後の前記対象印刷領域の位置の変位角とし、前記第2撮像画像に含まれる前記対象印刷領域の、該第2撮像画像で検出された前記画像部分の位置に基づいて定まる前記対象印刷領域からの変位量として特定する前記<1>または<2>に記載の液体塗布装置である。
<4>前記第1画像処理部は、前記第2撮像画像について前記回転処理を行う前記<1>~<3>のいずれか一項に記載の液体塗布装置である。
<5>前記第1画像処理部は、前記第2撮像画像に対して複数の回転量でそれぞれ前記回転処理を行う前記<4>に記載の液体塗布装置である。
<6>前記抽出部は、前記第2撮像画像と重複する前記第1撮像画像の画像部分から前記テンプレート画像を抽出する前記<1>~<5>のいずれか一項に記載の液体塗布装置である。
<7>前記抽出部は、前記第1撮像画像から、前記液体塗布装置が前記対象印刷領域へ移動する前の印刷領域に印刷された印刷画像を含まないように前記テンプレート画像を抽出する前記<6>に記載の液体塗布装置である。
<8>前記液体塗布装置の移動方向を特定する方向特定部を、さらに備え、
前記抽出部は、前記方向特定部により特定された前記移動方向に基づいて、前記第2撮像画像から前記テンプレート画像を抽出する前記<1>~<7>のいずれか一項に記載の液体塗布装置である。
<9>前記取得部は、前記作像部により前記印刷画像に基づく印刷が行われた後に前記撮像部により撮像された、該印刷画像が印刷された前記印刷領域を含む前記第1撮像画像を取得する前記<2>に記載の液体塗布装置である。
<10>前記抽出部は、前記第1撮像画像から複数の前記テンプレート画像を抽出し、
前記マッチング処理部は、前記回転処理後の前記第2撮像画像に対して、複数の前記テンプレート画像を用いた前記テンプレートマッチングを行い、
前記特定部は、前記テンプレートマッチングによりそれぞれの前記テンプレート画像に対応する各類似度に基づいて、前記変位角を特定する前記<3>に記載の液体塗布装置である。
<11>前記第1画像処理部は、可変である単位回転量に基づいて前記回転処理を行う前記<1>~<10>のいずれか一項に記載の液体塗布装置である。
<12>それぞれの前記印刷領域への前記液体塗布装置の移動を案内する位置合わせ部材を、さらに備えた前記<1>~<11>のいずれか一項に記載の液体塗布装置である。
<13>液体塗布領域を複数に分割した各印刷領域に順次移動し、それぞれの前記印刷領域に対応する印刷画像に基づき液体を吐出する液体塗布装置の位置検出方法であって、
撮像部により前記液体塗布装置の対象印刷領域への移動前に撮像された第1撮像画像、および、前記撮像部により該液体塗布装置の前記対象印刷領域への移動後に撮像された第2撮像画像を取得する取得ステップと、
前記第1撮像画像からテンプレート画像を抽出する抽出ステップと、
前記第2撮像画像と前記テンプレート画像との相対角度を変えるように回転処理を行う画像処理ステップと、
前記回転処理後の前記第2撮像画像に対して、前記テンプレート画像を用いたテンプレートマッチングを行うマッチングステップと、
前記回転処理後の前記第2撮像画像における、前記テンプレートマッチングにより検出された前記テンプレート画像と一致または類似する画像部分の位置に基づいて、前記液体塗布装置の移動前後の相対的なずれを特定する特定ステップと、
を有する位置検出方法である。
<14>液体塗布領域を複数に分割した各印刷領域に順次移動し、それぞれの前記印刷領域に対応する印刷画像に基づき液体を吐出する液体塗布装置が備えるコンピュータに、
撮像部により前記液体塗布装置の対象印刷領域への移動前に撮像された第1撮像画像、および、前記撮像部により該液体塗布装置の前記対象印刷領域への移動後に撮像された第2撮像画像を取得する取得ステップと、
前記第1撮像画像からテンプレート画像を抽出する抽出ステップと、
前記第2撮像画像と前記テンプレート画像との相対角度を変えるように回転処理を行う画像処理ステップと、
前記回転処理後の前記第2撮像画像に対して、前記テンプレート画像を用いたテンプレートマッチングを行うマッチングステップと、
前記回転処理後の前記第2撮像画像における、前記テンプレートマッチングにより検出された前記テンプレート画像と一致または類似する画像部分の位置に基づいて、前記液体塗布装置の移動前後の相対的なずれを特定する特定ステップと、
を実行させるためのプログラムである。
【符号の説明】
【0131】
1 液体塗布装置
2 キャリッジ
2a インク吐出ヘッド
3 レール
4 インク供給系
4a パイプ
5 電源供給系
6 コントローラユニット
7 三次元カメラ
8 二次元カメラ
9 GNSS受信器
10 タイヤ
11 フレーム
12 構造物
13 位置合わせ部材
21 印刷ユニット
22 制御ユニット
23 ヘッド移動機構
24 レール移動機構
30 外部機器
61 CPU
62 メモリ
63 I/F
64 ユニット制御回路
101 撮像部
102 取得部
103 方向特定部
104 記憶部
110 画像処理部
111 テンプレート抽出部
112 マッチング処理部
113 判定部
114 撮像画像処理部
115 変位量特定部
116 印刷画像処理部
120 作像部
121 キャリッジ制御部
122 吐出制御部
CAR、CAR_I、CAR_R 撮像領域
CIM1、CIM2 撮像画像
Dp 類似度
Dp0 閾値
Dx、Dy 変位量
Dθ 変位角
IM 画像
PAR、PAR1、PAR2、PAR_I、PAR_P、PAR_R 印刷領域
PIM1、PIM2、PIM2a 印刷画像
TP、TP1、TP11、TP11a テンプレート画像
TP2、TP12 比較画像
TP_ML テンプレート画像
TPAR テンプレート画像領域
θ 回転量
Δθ 所定回転量
【先行技術文献】
【特許文献】
【0132】
【特許文献1】特開2020-201336号公報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14