特許 7100532 計測用カメラのキャリブレーション装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-05

(45)【発行日】2022-07-13

(54)【発明の名称】計測用カメラのキャリブレーション装置

(51)【国際特許分類】

   B66F 9/24 20060101AFI20220706BHJP

【ＦＩ】

B66F9/24 L

【請求項の数】 5

(21)【出願番号】P 2018151903

(22)【出願日】2018-08-10

(65)【公開番号】P2020026339

(43)【公開日】2020-02-20

【審査請求日】2021-05-21

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(73)【特許権者】

【識別番号】000003218

【氏名又は名称】株式会社豊田自動織機

(74)【代理人】

【識別番号】110000110

【氏名又は名称】弁理士法人 快友国際特許事務所

(72)【発明者】

【氏名】田中 稔

(72)【発明者】

【氏名】津坂 祐司

(72)【発明者】

【氏名】藤井 亮暢

(72)【発明者】

【氏名】野々垣 保紀

【審査官】今野 聖一

(56)【参考文献】

【文献】米国特許第０５９３８７１０（ＵＳ，Ａ）

【文献】米国特許出願公開第２０１１／０２８６００７（ＵＳ，Ａ１）

【文献】特開２００６－０９６４５７（ＪＰ，Ａ）

【文献】米国特許第０４９２９１４５（ＵＳ，Ａ）

【文献】米国特許第０６１３５７０１（ＵＳ，Ａ）

【文献】実開平０２－０８０６９８（ＪＰ，Ｕ）

【文献】登録実用新案第３１６９２０５（ＪＰ，Ｕ）

【文献】特開２００９－１４３７２２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６６Ｆ ９／００ － １１／０４

(57)【特許請求の範囲】

【請求項1】

フォークリフトに取り付けられた計測用カメラのキャリブレーション装置であり、
前記フォークリフトのフォークに取り付け可能な台座と、
前記台座を前記フォークに固定する固定手段と、
前記台座に取り付けられている校正用パターンボードと、
を備えている、キャリブレーション装置。

【請求項2】

前記台座は、前記フォークに嵌め込み可能である、請求項１に記載のキャリブレーション装置。

【請求項3】

前記校正用パターンボードは前記台座に対して着脱可能である、請求項１または２に記載のキャリブレーション装置。

【請求項4】

前記台座は、前記フォークの先端に当接して前記フォークの長手方向に対する位置を規定するストッパを備えている、請求項１から３のいずれか１項に記載のキャリブレーション装置。

【請求項5】

前記校正用パターンボードは、前記フォークリフトに正対するように、前記台座に対して回転可能である、請求項１から４のいずれか１項に記載のキャリブレーション装置。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書が開示する技術は、フォークリフトに取り付けられた計測用カメラのキャリブレーション装置に関する。

【背景技術】

【0002】

車載カメラの普及に伴い、カメラをフォークリフトに搭載することが検討されている（例えば特許文献１）。特許文献１では、画像を目視で確認するためにカメラをフォークリフトに取り付ける。一方、物流の自動化がさらに進むと、フォークリフトを自律的に動作させ、荷役（又は荷積みや荷降ろし、又は荷物の運搬作業）を行わせることが考えられる。その場合、カメラの画像から運搬対象物の位置を正確に計測する必要がある。画像計測を行う上では、カメラの正確なキャリブレーション（外部パラメータと内部パラメータの特定）が必要になる。例えば特許文献２には、キャリブレーション装置の一例が開示されている。特許文献２は、車両のバックカメラ用のキャリブレーション装置を開示している。特許文献２に開示された技術では、カメラ校正板を車両から離して設置する。カメラ校正板（校正用パターンボード）は、既知の模様（パターン）が描かれた板であり、カメラでそのパターンを撮影し、撮影された画像上のパターン形状と実際のパターンの幾何学的関係から、カメラの内部パラメータと外部パラメータを特定する。カメラの内部パラメータと外部パラメータが正確に特定できると、対象物の画像上での位置と形状から対象物の三次元空間における位置と姿勢が計測できる。そのためには、一般に、カメラ固定の座標系から所定の座標系への変換行列が用いられる。その変換行列は、カメラの内部パラメータと外部パラメータから得られる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１３２２９８号公報

【文献】特開２０１０－１０３７３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像計測をフォークリフトに応用する場合も、先に述べたキャリブレーションが必要になる。フォークリフトでは、フォークに対する運搬対象物の位置が重要になる。一方、カメラは、フォークではなく、例えば、ヘッドガードやバックレストなどに固定される。そこで、カメラに固定された座標系からフォークに固定された座標系への座標変換が重要になる。本明細書は、フォークリフトの構造を利用し、カメラに固定された座標系からフォークに固定された座標系への変換行列を比較的に容易に得ることのできるキャリブレーション装置を提供する。

【課題を解決するための手段】

【0005】

本明細書が開示するキャリブレーション装置は、フォークリフトのフォークに取り付け可能な台座と、台座をフォークに固定する固定手段と、台座に取り付けられている校正用パターンボードと、を備えている。このキャリブレーション装置は、キャリブレーション用の校正用パターンボードをフォークに取り付ける。カメラと校正板との関係は、内部および外部パラメータ推定で算出され、校正板とフォーク先端中央との関係は、設計・制作・調整により（精度が）確定している、あるいは、簡単に計測できる。それゆえ、フォークへ校正用パターンボードを取り付けることで、カメラに固定された座標系からフォークに固定された座標系への変換行列を定めるパラメータ（外部パラメータと内部パラメータ）を容易に正確に得ることができる。台座は、フォークに嵌め込み可能であると、フォークに対する位置決めが容易に行える。

【0006】

台座は、フォークの先端に当接してフォークの長手方向における位置を規定するストッパを備えているとよい。ストッパを備えることで、フォークの長手方向における、フォークに対する校正用パターンボードの位置が容易に正確に定まる。

【0007】

本明細書が開示する技術の詳細とさらなる改良は以下の「発明を実施するための形態」にて説明する。

【図面の簡単な説明】

【0008】

【図1】フォークリフトと運搬対象物の関係を示す図である。

【図2】キャリブレーション装置を取り付けたフォークリフトの図である（斜め前方からみた図）。

【図3】キャリブレーション装置を取り付けたフォークリフトの図である（斜め後方から見た図）。

【図4】キャリブレーション処理のフローチャートである。

【図5】第１変形例のキャリブレーション装置を取り付けたフォークリフトの斜視図である。

【図6】第２変形例のキャリブレーション装置を取り付けたフォークリフトの側面図である。

【発明を実施するための形態】

【0009】

実施例のキャリブレーション装置を説明する前に、フォークリフトと運搬対象物の関係を説明する。図１は、フォークリフト２と運搬対象物（パレットＰａ）を描いた図である。なお、パレットＰａの下部にはフォークを差し込む隙間が設けられているが、図では隙間の図示は省略した。

【0010】

良く知られているように、一般的なフォークリフト２は、マスト３と、バックレスト４と、フォーク５（ツメ）を備えている。フォーク５は、一般的には、平行に延びる一対の梁である。フォーク５の上面は平坦であり、フォーク５の先端には丸みが付けられている。なお、一対のフォーク５の夫々は、一本の鋼材をくの字に曲げて作られており、個別に取り付けられている。フォーク５が、パレットＰａに接してこれを持ち上げる。フォーク５は、バックレスト４に固定されている。バックレスト４は、マスト３に支持されている。バックレスト４は、上下方向に移動可能にマスト３に支持されている。

【0011】

フォークリフト２は、チルト用アクチュエータ（不図示）を備えており、車体９に対してマスト３（即ち、フォーク５）をピッチ軸回りに揺動させることができる。ここで、ピッチ軸とは、車幅方向に延びる軸を意味する。また、フォークリフト２はリフト用アクチュエータ（不図示）を備えており、マスト３に対してバックレスト４（即ち、フォーク５）を上下に移動することができる。なお、フォークリフト２は、バックレスト４を左右方向にシフトさせるアクチュエータを備えていても良い。

【0012】

運搬対象物（パレットＰａ）の運搬工程は、概ね、次の通りである。（１）フォーク５の先端が地面に接するように（あるいは地面から僅かの高さに位置するように）フォーク５の位置を制御する。（２）車体９を移動させ、フォーク５をパレットＰａの下に差し入れる。（３）リフト用アクチュエータを動かし、パレットＰａを持ち上げる。（４）チルト用アクチュエータを動かし、フォーク５をピッチ軸回りに揺動させ、フォーク５の先端を上げる。（５）車体９を目的の位置まで移動させる。目的の位置まで移動させた後は、（４）から（１）の工程を逆にたどればよい。

【0013】

パレットＰａの運搬を自律的に行う場合、上記の工程から明らかな通り、フォーク５に対するパレットＰａの正確な位置の計測が重要となる。フォークリフト２にカメラを搭載し、画像処理によって周囲の状況を認識し、自律的な動作をフォークリフト２に行わせる場合、カメラ７の画像に基づいて、フォーク５に対するパレットＰａの正確な位置を特定することになる。

【0014】

図１に示すフォークリフト２は、カメラ７を備えている。カメラ７は、バックレスト４に固定された補助マスト６に取り付けられている。即ち、カメラ７は、バックレスト４に対する位置関係が固定される。先に述べたように、フォーク５はバックレスト４に固定されている。即ち、カメラ７とフォーク５の相対位置関係が固定される。ただし、その相対位置関係は、後にキャリブレーションにより特定される。なお、位置の特定は、それぞれの物体に固定の座標系の間の変換行列で表すことができる。

【0015】

以下では、説明の便宜上、カメラ７に固定された座標系、パレットＰａに固定された座標系、フォーク５に固定された座標系をそれぞれ、カメラ座標系Ｃ_cam、パレット座標系Ｃ_pa、フォーク座標系Ｃ_fと称する（図１参照）。なお、フォーク座標系Ｃ_fの原点は、一対のフォーク５の上面先端の中間点に設定される。

【0016】

また、カメラ座標系Ｃ_camからパレット座標系Ｃ_paへの変換行列を記号［^camＴ_pa］で表す。カメラ座標系Ｃ_camからフォーク座標系Ｃ_fへの変換行列を、記号［^camＴ_f］で表し、フォーク座標系Ｃ_fからパレット座標系Ｃ_paへの変換行列を記号［^fＴ_pa］で表す（図１参照）。

【0017】

上記の定義に基づくと、次の（数式１）が成立する。

【0018】

［^camＴ_pa］＝［^camＴ_f］×［^fＴ_pa］ （数式１）

【0019】

（数式１）は、（数式２）に変換できる。

【0020】

［^fＴ_pa］＝［^camＴ_f］^－１×［^camＴ_pa］ （数式２）

【0021】

先に述べたように、自律的な動作をフォークリフト２に行わせる場合、カメラ７の画像に基づいて、フォーク５に対するパレットＰａの正確な位置を特定することになる。別言すれば、フォーク座標系Ｃ_fからパレット座標系Ｃ_paへの変換行列［^fＴ_pa］が正確に把握できればよい。即ち、（数式２）の右辺が正確に把握できればよい。

【0022】

（数式２）の右辺第２項（カメラ座標系Ｃ_camからパレット座標系Ｃ_ｐａへの変換行列［^camＴ_pa］）は、公知の画像処理技術によって得ることができる。公知の画像処理とは、例えば、パレットＰａに取り付けられた二次元マーカ（ＡＲマーカ）をカメラ７で撮影し、その画像からパレットＰａの三次元位置／姿勢情報を得る方法、あるいは、既知のパレットＰａの形状とカメラ７の画像とのマッチングからパレットＰａの三次元位置／姿勢情報を得る方法、などがある。

【0023】

（数式２）の右辺第１項を正確に特定するには、カメラ座標系Ｃ_camからフォーク座標系Ｃ_fへの変換行列［^camＴ_f］を正確に特定すればよい。以下で説明するキャリブレーション装置１０は、変換行列［^camＴ_f］を容易に正確に特定することができる。

【0024】

図２に、校正用パターンボード１４を含むキャリブレーション装置１０をフォーク５に固定したフォークリフト２を斜め前方から見た図を示す。図３に、キャリブレーション装置１０をフォーク５に固定したフォークリフト２を斜め後方から見た図を示す。図２では、校正用パターンボード１４に固定された座標系（パターンボード座標系）を記号Ｃ_calで表している。

【0025】

キャリブレーション装置１０は、フォーク５に嵌め込まれる台座１２と、台座１２をフォーク５に固定するクランプ１３と、白黒のチェックパターンが描かれたパターンボード（校正用パターンボード１４）を備えている。台座１２の裏面には、フォーク５を嵌め込む溝が設けられている。台座１２は着脱可能である。クランプ１３は、台座１２が動かないように、フォーク５に固定する治具（固定手段）である。校正用パターンボード１４は、台座１２から着脱可能に取り付けられている。校正用パターンボード１４と台座１２は、校正用パターンボード１４に固定された座標系（パターンボード座標系Ｃ_cal）からフォーク座標系Ｃ_fへの変換行列［^calＴ_f］（図２参照）が容易に特定できるように設計・製造・調整されている。あるいは、校正用パターンボード１４と台座１２は、予め定められた変換行列［^calＴ_f］（図２参照）が実現されるように設計・製造・調整されている。図２に示すように、カメラ座標系Ｃ_camからパターンボード座標系Ｃ_calへの変換行列を記号［^camＴ_cal］で表すと、次の（数式３）の関係が成立する。

【0026】

［^camＴ_f］＝［^camＴ_cal］×［^calＴ_f］ （数式３）
（数式２）と（数式３）から、次の（数式４）が得られる。

【0027】

［^fＴ_pa］＝（［^camＴ_cal］×［^calＴ_f］）^－１×［^camＴ_pa］ （数式４）

【0028】

（数式４）は、荷役時に、キャリブレーション結果を適用して、パレットＰａの位置・姿勢をフォーク座標系Ｃ_fで表現するのに用いられる。先に述べたように、変換行列［^calＴ_f］は、パターンボード座標系Ｃ_calからフォーク座標系Ｃ_fへの変換行列であり、前もって特定しておくことができる。カメラ座標系Ｃ_camからパレット座標系Ｃ_ｐａへの変換行列［^camＴ_pa］は、公知の画像処理技術によって得られる。キャリブレーション装置１０によってカメラ座標系Ｃ_camからパターンボード座標系Ｃ_calへの変換行列［^camＴ_cal］が正確に特定できれば、フォーク座標系Ｃ_fからパレット座標系Ｃ_ｐａへの変換行列［^fＴ_pa］が正確に求まることになり、荷役等の作業が正確に行えるようになる。

【0029】

キャリブレーション装置１０は、台座１２、クランプ１３、校正用パターンボード１４を備える。キャリブレーション装置１０を使っての変換行列［^camＴ_cal］の特定は、フォークリフト２の車体９に収容されているコンピュータ１５によって実施される。コンピュータ１５は、カメラ７を制御し、様々な位置での校正用パターンボード１４の画像を撮影し、撮影した画像から、変換行列［^camＴ_cal］を特定する。

【0030】

図４に、キャリブレーション処理のフローチャートを示す。図４のフローチャートの中で、ステップＳ４、Ｓ６－Ｓ９は、コンピュータ１５が実施する。ステップＳ２、Ｓ３、Ｓ５は、作業者が行う処理である。図４を参照しつつ、キャリブレーション処理を説明する。

【0031】

まず、作業者が校正用パターンボード１４（キャリブレーション装置１０）を、フォーク５に取り付ける（ステップＳ２）。作業者は、クランプ１３で台座１２をフォーク５に固定する。次に、作業者が、校正用パターンボード１４に固定された座標系（パターンボード座標系Ｃ_cal）からフォーク座標系Ｃ_fへの変換行列［^calＴ_f］を特定する（ステップＳ３）。変換行列［^calＴ_f］は、いくつかの箇所で校正用パターンボード１４とフォーク５の間の距離を測定すれば、特定することができる。なお、先に述べたように、変換行列［^calＴ_f］は、予め特定されていてもよい。

【0032】

次に、カメラ７を使って、フォーク５に取り付けられている校正用パターンの画像を取得する（ステップＳ４）。なお、校正用パターンとは、校正用パターンボード１４に描かれている白黒のチェックパターンである。

【0033】

次に、作業者が、校正用パターンボード１４をフォーク５から外す（ステップＳ５）。なお、校正用パターンボード１４は、台座１２に対して着脱自在に取り付けられており、作業者は、台座１２をフォーク５に残したまま、校正用パターンボード１４を外す。次に、カメラ７の視野内で幾つかの位置に校正用パターンボード１４を持っていき、その位置で校正用パターンの画像を取得する（ステップＳ６）。そして、コンピュータ１５が、撮影した画像に基づいて、カメラ７の内部パラメータを特定する（ステップＳ７）。カメラ７の内部パラメータは、三次元のカメラ座標系Ｃ_camから、カメラ７で撮影した二次元のイメージ画像へ正確に射影変換するのに必要な値である。カメラ７の内部パラメータには、具体的には、カメラ７の焦点距離、光学的中心、せん断係数、及び、歪み係数が含まれる。なお、光学的中心は、「主点」とも呼ばれる。コンピュータ１５には、校正用パターンボード１４に描かれている白黒のチェックパターンの幾何学データが記憶されている。コンピュータ１５は、その幾何学データと、画像中のチェックパターンの位置と形状から、内部パラメータを特定する。内部パラメータの特定には、例えば、Zhangの方法など、公知の技術を利用すればよい。

【0034】

次に、コンピュータ１５が、カメラ７の外部パラメータを特定する（ステップＳ８）。各画像毎に、カメラ座標系Ｃ_camから校正板座標系Ｃ_calへの変換行列は異なるが、ここでは、フォーク上に校正板が固定された状態の画像（最初の画像）に対して求められた変換行列を、外部パラメータとして適用する。

【0035】

カメラ座標系Ｃ_camからパターンボード座標系Ｃ_calへの変換行列［^camＴ_cal］と、校正用パターンボード１４に固定された座標系（パターンボード座標系Ｃ_cal）からフォーク座標系Ｃ_fへの変換行列［^calＴ_f］が特定されると、カメラ座標系Ｃ_camからフォーク座標系Ｃ_fへの変換行列［^camＴ_f］が特定できる（ステップＳ９）。こうして、キャリブレーション処理が終了する。なお、ステップＳ９の処理は、（数式４）の右辺の要素「（［^camＴ_cal］×［^calＴ_f］）^－１」を求める処理であってもよい。

【0036】

変換行列［^camＴ_f］が特定できると、（数式２）により、カメラ７で撮影したパレットＰａの画像から、フォーク５に対するパレットＰａの位置（即ち、変換行列［^fＴ_pa］）が得られるようになる。

【0037】

以上説明したキャリブレーション装置に関する留意点を述べる。実施例のキャリブレーション装置１０は、フォーク５に取り付けられる台座１２と、台座１２をフォーク５に固定するクランプ１３と、台座１２に取り付けられる校正用パターンボード１４備えている。フォーク５に校正用パターンボード１４を固定することで、校正用パターンに固定された座標系（パターンボード座標系Ｃ_cal）からフォーク座標系Ｃ_fへの変換行列［^calＴ_f］を正確に求めることが容易になる。

【0038】

実施例で説明したように、カメラ７は、フォーク５に対して相対位置が固定している部材（実施例では、バックレスト４に固定された補助マスト６）に固定されているとよい。フォーク５の上下動や揺動を経てもフォーク５とカメラ７の位置関係が保持されるからである。

【0039】

（第１変形例）図５に、第１変形例のキャリブレーション装置１０ａを取り付けたフォークリフト２の斜視図を示す。図５に示すように、校正用パターンボード１４あるいは、台座１２は、台座１２に対して校正用パターンボード１４を回転させる回転機構２１を備えている。回転機構２１は、鉛直軸ＶＬの回りに校正用パターンボード１４を回転させることができる。回転機構２１を用いて、フォーク上面の長手方向に正対するように、校正用パターンボード１４の角度を定める。その姿勢で校正用パターンを撮影した画像を利用することで、カメラ座標系Ｃ_camからパターンボード座標系Ｃ_calへの変換行列［^camＴ_cal］を一層正確に求めることができる。なお、回転機構２１は、鉛直軸と水平軸の２軸回りに回転可能であってもよい。その場合は、カメラ７に正対するように、校正用パターンボード１４の位置を定めるとよい。

【0040】

パターンボード座標系Ｃ_calからフォーク座標系Ｃ_fへの変換行列［^calＴ_f］を正確に定めるには、パターンボード１４とフォーク５に直角定規などを当てて、フォーク５とパターンボード１４の関係を所定の関係に固定する手段や、角度を計測するための目盛などが備えられているとよい。あるいは、巻尺や傾斜計、下げ振りなどを用いた計測により、変換行列［^calＴ_f］を求めてもよい。

【0041】

（第２変形例）図６に、第２変形例のキャリブレーション装置１０ｂを取り付けたフォークリフト２の側面図を示す。図６の下方には、台座１２の先端とフォーク５の先端の断面図を示してある。キャリブレーション装置１０ｂの台座１２の裏面には、フォーク５を嵌め込む溝１２１が設けられている。フォーク５の先端が溝の先端面１２２に当接するようにフォーク５を嵌め込むと、フォーク５の長手方向におけるフォーク５に対する台座１２（校正用パターンボード１４）の位置関係が一意に定まる。この場合、パターンボード座標系Ｃ_calからフォーク座標系Ｃ_fへの変換行列［^calＴ_f］を一層容易に得ることができる。溝１２１の先端面１２２は、長手方向におけるフォーク５の先端に対する台座１２の位置を規定するストッパに相当する。

【0042】

その他の留意点を述べる。カメラを運転席など、フォークリフトの車体側に取り付けると、車体からみたフォーク先端の位置・姿勢を精度よく測ることができなくなる。これは、計測結果が、フォーク５の上下動／左右動／ピッチ軸回りの揺動における計測誤差や、フォークを動かすためのアクチュエータの計測データの時間遅れ、さらには継手のガタツキなどの影響を受けるからである。それゆえ、カメラは、フォークに対して相対位置が固定されている部材（実施例ではバックレスト４に固定された補助マスト６）に取り付けるのがよい。

【0043】

フォークリフトの自律的な運転を実現するには、車両は、フォークの先端を、認識した運搬対象物の所定の位置（パレットの下部の溝（フォークポケット））へ正確に移動させる必要がある。カメラを用いてそのような制御を実施するには、フォークからみたパレットの位置を正確に特定する必要がある。

【0044】

カメラがフォークと一体化し、両者の位置関係が正確に定められていれば、フォーク先端と目標位置との位置偏差を高精度に求めることができるため、フォークリフトの自律的な動作における位置精度を高めることができる。

【0045】

以上、本発明の具体例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成し得るものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

【符号の説明】

【0046】

２：フォークリフト
３：マスト
４：バックレスト
５：フォーク
６：補助マスト
７：カメラ
９：車体
１０、１０ａ、１０ｂ：キャリブレーション装置
１２：台座
１３：クランプ（固定手段）
１４：校正用パターンボード
１５：コンピュータ
２１：回転機構
１２１：溝
１２２：先端面
Ｐａ：パレット

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】