IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 川崎重工業株式会社の特許一覧

特許7538944作業情報投影システム及び相対情報較正方法
<>
  • 特許-作業情報投影システム及び相対情報較正方法 図1
  • 特許-作業情報投影システム及び相対情報較正方法 図2
  • 特許-作業情報投影システム及び相対情報較正方法 図3
  • 特許-作業情報投影システム及び相対情報較正方法 図4
  • 特許-作業情報投影システム及び相対情報較正方法 図5
  • 特許-作業情報投影システム及び相対情報較正方法 図6
  • 特許-作業情報投影システム及び相対情報較正方法 図7
  • 特許-作業情報投影システム及び相対情報較正方法 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-14
(45)【発行日】2024-08-22
(54)【発明の名称】作業情報投影システム及び相対情報較正方法
(51)【国際特許分類】
   H04N 5/74 20060101AFI20240815BHJP
【FI】
H04N5/74 D
【請求項の数】 10
(21)【出願番号】P 2023504947
(86)(22)【出願日】2021-03-10
(86)【国際出願番号】 JP2021009471
(87)【国際公開番号】W WO2022190240
(87)【国際公開日】2022-09-15
【審査請求日】2023-09-05
(73)【特許権者】
【識別番号】000000974
【氏名又は名称】川崎重工業株式会社
(74)【代理人】
【識別番号】100118784
【弁理士】
【氏名又は名称】桂川 直己
(72)【発明者】
【氏名】江口 雅大
(72)【発明者】
【氏名】岡田 大貴
(72)【発明者】
【氏名】中川 厚輝
【審査官】益戸 宏
(56)【参考文献】
【文献】特開2017-162401(JP,A)
【文献】特表2016-509394(JP,A)
【文献】特開2008-158419(JP,A)
【文献】特開2001-320652(JP,A)
【文献】特開2017-158042(JP,A)
【文献】特開2019-032584(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/74
H04N 9/31
(57)【特許請求の範囲】
【請求項1】
作業を補助する補助画像を作業場に投影するプロジェクタと、
前記作業場を撮像するカメラと、
前記補助画像を作成して前記プロジェクタへ送信する制御装置と、
を備え、
前記カメラと前記プロジェクタの相対的な位置関係を示す相対情報を較正する較正処理時において、
前記カメラは、前記プロジェクタが較正治具に投影した較正画像を反射部材を介して撮像し、
前記制御装置は、前記カメラが撮像した前記較正画像に基づいて、前記相対情報を較正する較正処理を行い、
前記作業場に前記補助画像を投影する作業時において、
前記カメラの光軸は、前記プロジェクタが投影光を投影可能な範囲から外れており、
前記制御装置は、前記カメラが撮像した画像に基づいて前記カメラの位置を推定し、
前記制御装置は、前記相対情報と、前記カメラの位置と、に基づいて、前記プロジェクタの位置を推定し、
前記制御装置は、前記プロジェクタの位置に基づいて前記プロジェクタを制御して、前記作業場に前記補助画像を投影させることを特徴とする作業情報投影システム。
【請求項2】
請求項1記載の作業情報投影システムであって、
前記カメラは、前記プロジェクタと一体的に移動するように配置されていることを特徴とする作業情報投影システム。
【請求項3】
請求項1又は2に記載の作業情報投影システムであって、
前記反射部材の向きが可変であることを特徴とする作業情報投影システム。
【請求項4】
請求項に記載の作業情報投影システムであって、
前記反射部材は、前記プロジェクタが投影した前記較正画像を前記カメラが撮像できる向きである第1向きと、前記プロジェクタが投影した前記補助画像を前記カメラが撮像できない向きである第2向きと、の間で向きを変更可能であることを特徴とする作業情報投影システム。
【請求項5】
請求項に記載の作業情報投影システムであって、
前記反射部材の向きを変更する動力を発生する駆動部を備え、
前記作業場に前記補助画像を投影する作業時において、
前記カメラは、前記反射部材を介して、前記作業場を撮像し、
前記制御装置は、前記カメラが撮像した画像に含まれる特徴点の数が閾値を下回ったと判断した場合、前記駆動部を制御して前記反射部材の向きを変更することを特徴とする作業情報投影システム。
【請求項6】
請求項1又は2に記載の作業情報投影システムであって、
前記較正処理時において、前記カメラは、前記反射部材を介して、前記較正画像を撮像し、
前記作業場に前記補助画像を投影する作業時において、前記カメラは、前記反射部材を介さずに前記作業場を撮像することを特徴とする作業情報投影システム。
【請求項7】
請求項1からまでの何れか一項に記載の作業情報投影システムであって、
前記較正処理時において、
前記制御装置は、前記カメラが撮像した画像に含まれる前記反射部材に基づいて、前記カメラと前記反射部材の位置関係を算出し、
前記制御装置は、前記カメラと前記反射部材の位置関係に基づいて、現実の前記カメラと鏡像の前記カメラの位置関係を算出し、
前記制御装置は、前記反射部材に写った前記較正画像に基づいて、前記プロジェクタと鏡像の前記カメラの位置関係を算出して、前記相対情報を較正することを特徴とする作業情報投影システム。
【請求項8】
請求項1からまでの何れか一項に記載の作業情報投影システムであって、
前記カメラの光軸が、鉛直方向に垂直な平面に対して上向き又は下向きであることを特徴とする作業情報投影システム。
【請求項9】
カメラが撮像した画像に基づいて位置を推定し、前記カメラと一体的に移動するように取り付けられたプロジェクタを用いて、作業を補助する補助画像を作業場に投影する作業情報投影方法において、
前記カメラと前記プロジェクタの位置関係を示す相対情報を較正する較正処理を含み、
前記較正処理は、
前記プロジェクタが較正治具に較正画像を投影し、
反射部材を介して、前記カメラが前記較正画像を撮像し、
前記カメラが撮像した前記較正画像に基づいて、前記相対情報を較正する処理を含み、
前記作業場に前記補助画像を投影する作業時において、
前記カメラの光軸は、前記プロジェクタが投影光を投影可能な範囲から外れており、
前記カメラが撮像した画像に基づいて前記カメラの位置を推定し、
前記相対情報と、前記カメラの位置と、に基づいて、前記プロジェクタの位置を推定し、
前記プロジェクタの位置に基づいて前記プロジェクタを制御して、前記作業場に前記補助画像を投影することを特徴とする作業情報投影方法。
【請求項10】
請求項に記載の作業情報投影方法であって、
前記反射部材は着脱可能であり、
前記較正処理は、前記反射部材を取り付けた状態で行われ、
前記補助画像を作業場に投影する処理は、前記反射部材を取り外した状態で行われることを特徴とする作業情報投影方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、主として、作業を補助する補助画像を作業場に投影する作業情報投影システムにおいて、カメラとプロジェクタの位置関係を較正する技術に関する。
【背景技術】
【0002】
特許文献1は、プロジェクタと、カメラと、表示装置と、処理制御部と、を備える作業支援用情報提示装置を開示する。プロジェクタは、投影対象物を作業現場に投影する。カメラは、プロジェクタの投影画像面を撮像する。表示装置は、カメラが撮像した画像を表示する。作業者がマウス又はキーボードを用いて表示装置の投影対象物を選択した場合、処理制御部は、作業者が選択した投影対象物を非表示にする処理等を行う。また、特許文献1では、プロジェクタが投影した画像をカメラで撮像することにより、プロジェクタとカメラの位置関係を補正する処理が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2005-322055号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1において、カメラは、プロジェクタが投影した画像を撮像できる位置に配置されている。プロジェクタが画像を投影する位置とは、言い換えれば作業が行われる位置である。従って、この位置では、作業の進行に伴って、物体の位置及び形状が変化する。そのため、カメラが撮像した画像に基づいてカメラの位置を推定する場合において、物体の位置及び形状の変化は外乱となる。その結果、カメラの位置を推定する精度が低下する可能性がある。しかし、特許文献1に開示されているように、カメラとプロジェクタの位置関係を較正するためには、プロジェクタが投影した画像をカメラで撮像する必要がある。
【0005】
本発明は以上の事情に鑑みてされたものであり、その主要な目的は、較正処理時においてカメラとプロジェクタの相対位置の較正を適切に行いつつ、作業時においてカメラが撮像する画像に外乱が発生しにくいシステムを提供することにある。
【課題を解決するための手段】
【0006】
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。
【0007】
本発明の第1の観点によれば、以下の構成の作業情報投影システムが提供される。即ち、作業情報投影システムは、プロジェクタと、カメラと、制御装置と、を備える。前記プロジェクタは、作業を補助する補助画像を作業場に投影する。前記カメラは、前記作業場を撮像する。前記制御装置は、前記補助画像を作成して前記プロジェクタへ送信する。前記カメラと前記プロジェクタの相対的な位置関係を示す相対情報を較正する較正処理時において、前記カメラは、前記プロジェクタが較正治具に投影した較正画像を前記反射部材を介して撮像する。前記制御装置は、前記カメラが撮像した前記較正画像に基づいて、前記相対情報を較正する較正処理を行う。前記作業場に前記補助画像を投影する作業時において、前記カメラの光軸は、前記プロジェクタが投影光を投影可能な範囲から外れている。作業時において、前記制御装置は、前記カメラが撮像した画像に基づいて前記カメラの位置を推定する。作業時において、前記制御装置は、前記相対情報と、前記カメラの位置と、に基づいて、前記プロジェクタの位置を推定する。作業時において、前記制御装置は、前記プロジェクタの位置に基づいて前記プロジェクタを制御して、前記作業場に前記補助画像を投影させる。
【0008】
本発明の第2の観点によれば、以下の作業情報投影方法が提供される。即ち、作業映像投影方法では、カメラが撮像した画像に基づいて位置を推定し、前記カメラと一体的に移動するように取り付けられたプロジェクタを用いて、作業を補助する補助画像を作業場に投影する。作業映像投影方法は、前記カメラと前記プロジェクタの位置関係を示す相対情報を較正する較正処理を含む。前記較正処理では、前記プロジェクタが較正治具に較正画像を投影する。前記較正処理では、反射部材を介して、前記カメラが前記較正画像を撮像する。前記較正処理では、前記カメラが撮像した前記較正画像に基づいて、前記相対情報を較正する。前記作業場に前記補助画像を投影する作業時において、前記カメラの光軸は、前記プロジェクタが投影光を投影可能な範囲から外れている。作業時において、前記カメラが撮像した画像に基づいて前記カメラの位置を推定する。作業時において、前記相対情報と、前記カメラの位置と、に基づいて、前記プロジェクタの位置を推定する。作業時において、前記プロジェクタの位置に基づいて前記プロジェクタを制御して、前記作業場に前記補助画像を投影する。
【0009】
反射部材を用いて較正処理を行うことにより、プロジェクタの向きと大きく異なる方向にカメラを向けることが可能になる。そのため、例えば作業が行われていない位置を撮像することにより、カメラが撮像する画像に外乱が生じにくくなるため、カメラの位置の検出精度が高くなる。その結果、プロジェクタは、正確な位置に補助画像を投影することができる。
【発明の効果】
【0010】
本発明によれば、較正処理時においてカメラとプロジェクタの相対位置の較正を適切に行いつつ、作業時においてカメラが撮像する画像に外乱が発生しにくいシステムを提供できる。
【図面の簡単な説明】
【0011】
図1】本発明の一実施形態に係る作業情報投影システムの概要図。
図2】作業情報投影システムのブロック図。
図3】較正処理のフローチャート。
図4】反射部材を用いて較正処理を行う様子を示す側面図。
図5】作業時の処理のフローチャート。
図6】第1変形例に係る作業情報投影システムの概要図。
図7】第2変形例に係る較正処理時と作業時の作業情報投影システムの構成を比較する図。
図8】第2変形例に係る作業時のフローチャート。
【発明を実施するための形態】
【0012】
次に、図面を参照して本発明の実施形態を説明する。初めに、図1及び図2を参照して、作業情報投影システム1及び作業情報投影方法の概要について説明する。
【0013】
本実施形態の作業情報投影システム1は、作業場に設けられる。作業場とは、作業を行うための場所であり、例えば、工場、オフィス、又は施設である。作業とは、作業者が手作業で、道具を使って、又は機械を操作して、対象物に何かを行うことであり、例えば、部品の組立や塗装、清掃、運搬等である。本実施形態では、作業者は、工場に配置されたワーク31に対して部品を組み付ける作業を行う。
【0014】
作業情報投影システム1は、作業場に補助画像101を投影する。補助画像101とは、作業を補助する画像であり、例えば、作業内容、作業位置、又は作業順序等を作業者に伝えるための画像である。図1に示すように、本実施形態の補助画像101は、ワーク31に対して投影されており、組み付ける部品の名称と、組付け位置と、を示す。作業情報投影システム1は、ワーク31の位置を認識し(詳細は後述)、ワーク31の適切な位置に補助画像101を投影する。
【0015】
図1及び図2に示すように、作業情報投影システム1は、台車11と、プロジェクタ12と、カメラ取付部13と、カメラ14と、制御装置20と、を備える。以下の説明では、特に断らない限り、「位置」は、物体が存在している場所だけでなく、物体がどの方向を向いているかを含むものとする。従って、例えば位置関係という用語は、2つの物体の相対位置だけでなく、相対的な向きも含む。
【0016】
台車11は、車輪及び台座を備えている。本実施形態の台車11は、駆動源を備えておらず、作業者に押されることによって作業場内を移動する。なお、台車11は、駆動源を備え、自律走行可能であってもよい。台座には、プロジェクタ12、カメラ取付部13、及びカメラ14等が載せられている。台車11は、床又は天井等に設けられたレールに沿って移動可能であってもよい。また、台車11は、必須の構成要素ではなく、省略することもできる。
【0017】
プロジェクタ12は、台車11に載せられている。プロジェクタ12は、制御装置20の制御により、補助画像101を投影する。
【0018】
カメラ取付部13は、プロジェクタ12の上面に設けられている。カメラ取付部13には、カメラ14を取り付けることができる。これにより、プロジェクタ12とカメラ14の相対位置が変化しない。言い換えれば、プロジェクタ12とカメラ14は、一体的に移動する。なお、プロジェクタ12とカメラ14の相対位置が変化しない構成であれば、プロジェクタ12とカメラ14の取付方法は、本実施形態とは異なっていてもよい。例えば、台車11にプロジェクタ取付部とカメラ取付部が形成されていてもよい。あるいは、台車11に支持部材が取り付けられており、支持部材にプロジェクタ取付部とカメラ取付部が形成されていてもよい。
【0019】
カメラ14は、2つの撮像素子を備えたステレオカメラであり、それぞれの撮像素子が個別に作業場を撮像する。2つの撮像素子は、互いに適宜の距離だけ離して配置される。それぞれの撮像素子は、例えばCCD(Charge Cоupled Device)である。2つの撮像素子は互いに同期して動作し、作業場を同時に撮像することで、一対の画像データを作成する。本実施形態では、リアルタイムで検出した情報を補助映像として投影することが想定されているため、カメラ14は例えば1秒間に複数回の撮像を行うことが好ましい。
【0020】
また、カメラ14は、この一対の画像データを処理する画像処理部を備える。画像処理部は、カメラ14により得られた一対の画像データに対して公知のステレオマッチング処理を行うことによって、それぞれの画像が対応する位置のズレ(視差)を求める。視差は、写ったものとの距離が近いほど、距離に反比例して大きくなる。画像処理部は、この視差に基づいて、画像データの各画素に距離の情報を対応付けた距離画像を作成する。
【0021】
カメラ14は、1つの筐体内に2つの撮像素子が配置される構成である。これに代えて、個別の2つのカメラを組み合わせてもよい。また、画像処理部は、カメラ14とは別の装置(例えば後述の制御装置20)に設けられてもよい。
【0022】
制御装置20は、CPU、ROM及びRAM等を備えたコンピュータである。本実施形態の制御装置20は、台車11に配置される。制御装置20は、図略の信号線を介して、プロジェクタ12及びカメラ14と通信可能である。なお、制御装置20は、台車11の外部に配置されてもよい。この場合、制御装置20は、例えば無線でプロジェクタ12及びカメラ14と通信する。
【0023】
制御装置20は、カメラ14から受信した距離画像及びその他の情報に基づいて補助画像101を作成し、プロジェクタ12へ送信する。図1に示すように、制御装置20は、通信装置21と、解析部22と、画像作成部23と、投影制御部24と、を備える。制御装置20が備える各部は、制御装置20が行う処理毎に(制御装置20が有する機能毎に)制御装置20を概念的に分けたものである。本実施形態の制御装置20は1台のコンピュータにより実現されているが、制御装置20は複数台のコンピュータから構成されていてもよい。この場合、これらの複数のコンピュータは、ネットワークを介して接続される。
【0024】
通信装置21は、プロジェクタ12及びカメラ14と通信するための通信モジュールであり、例えば信号線を接続するためのコネクタ、又は、無線通信のためのアンテナ等を含んでいる。通信装置21は、カメラ14が撮像した画像を受信したり、画像作成部23が作成した補助画像101をプロジェクタ12へ送信したりする。
【0025】
解析部22は、カメラ14が撮像した距離画像に対してSLAM(Simultaneous Localization and Mapping)処理を行う。解析部22は、距離画像を解析することで、作業場にある物体の形状及び位置を示すマップ情報(環境地図)を作成するとともにカメラ14の位置を推定する。なお、作業場にある物体とは、例えば、作業場に配置される設備、機器、工具、及びワーク31である。
【0026】
SLAM処理は公知であるため、以下では簡単に説明する。即ち、解析部22は、距離画像を解析することにより、適宜の特徴点を設定し、その動きを取得する。そして、解析部22は、距離画像から複数の特徴点を抽出して追跡することで、画像に相当する平面内での特徴点の動きをベクトルで表現したデータを求める。解析部22は、このデータに基づいて、マップ情報を作成する。マップ情報は、上述したように作業場にある物体の形状及び位置を示すデータであり、より詳細には、抽出した複数の特徴点(点群)の3次元位置を示すデータである。また、解析部22は、入力された特徴点の位置及び距離の変化と、マップ情報における当該特徴点の位置と、に基づいて、カメラ14の位置の変化を推定する。なお、カメラ14は、1つの撮像素子を備える単眼カメラであってもよい。上記のSLAM処理は、単眼カメラが撮像した画像を用いて行うこともできる。
【0027】
画像作成部23は、補助画像101を作成する。制御装置20は、作業に関する情報である作業情報を記憶している。本実施形態の作業情報は、ワーク31に取り付ける部品の名称、及び、部品の取付位置である。画像作成部23は、作業情報と、プロジェクタ12の位置と、に基づいて、プロジェクタ12が投影すべき補助画像101を作成する。プロジェクタ12の位置は、解析部22が推定したカメラ14の位置と、プロジェクタ12とカメラ14の位置関係を示す相対情報と、に基づいて推定される。なお、プロジェクタ12とカメラ14は相対移動しないように固定されているため、相対情報は不変である。
【0028】
投影制御部24は、画像作成部23が作成した補助画像101をプロジェクタ12に送信して、補助画像101を投影させる。以上により、作業場に補助画像101を投影することができる。
【0029】
次に、相対情報を較正する較正処理について図3及び図4を参照して説明する。
【0030】
初めに、カメラ14をカメラ取付部13に取り付ける。これにより、プロジェクタ12とカメラ14の位置関係が変化しなくなる。カメラ14をカメラ取付部13に取り付けた状態において、カメラ14の光軸103の向きは、プロジェクタ12の光軸(投影軸)104の向きと大きく異なる。光軸とは、光学素子(撮像素子、発光素子)を通る点を軸方向に延長した直線である。本実施形態では、カメラ14の光軸103は、プロジェクタ12が投影光を投影可能な範囲の外側を通る。また、プロジェクタ12の光軸104は、水平方向と平行であるのに対し、カメラ14の光軸103は、水平面に対して上向きである。水平面とは、鉛直方向に垂直な平面である。なお、カメラ14の光軸103は、水平面に対して下向きであってもよい。カメラ14の光軸103とプロジェクタ12の光軸104の仰角の差は、例えば20度以上、30度以上、又は45度以上である。
【0031】
カメラ14の光軸103がプロジェクタ12の光軸104から大きく外れているので、カメラ14は、プロジェクタ12が投影した画像を直接撮像することができない。そのため、本実施形態では、カメラ14の光軸103を覆うように較正用の反射部材15を配置する。反射部材15は、可視光を鏡面反射させる部材であり、具体的には、鏡又はプリズムである。反射部材15を配置することにより、カメラ14は、反射部材15を介して、プロジェクタ12が投影した画像を撮像できる。反射部材15は、作業情報投影システム1を構成する部材(例えば台車11)に対して着脱可能である。本実施形態では、較正処理時にのみ反射部材15が配置され、補助画像101を作業場に投影する作業時には反射部材15が取り外される。また、反射部材15には、マーカ16が貼り付けられている。
【0032】
次に、較正処理を行うための較正治具32をプロジェクタ12の前方に配置する。以上により、較正処理の準備が完了する。
【0033】
制御装置20は、較正処理を開始する旨の指示を受領すると、プロジェクタ12に較正画像102を送信する。これにより、プロジェクタ12が較正画像102を較正治具32に投影する(S101、第1工程)。次に、カメラ14は、反射部材15を介して、較正治具32に投影された較正画像102を撮像する(S102、第2工程)。なお、カメラ14が撮像する画像には、マーカ16も含まれている。
【0034】
次に、制御装置20は、カメラ14が撮像した画像に含まれているマーカ16の位置、大きさ、歪み度合い等に基づいて、公知の解析方法を行うことにより、カメラ14から見たマーカ16の相対的な位置(即ち、カメラ14と反射部材15の位置関係)を算出する(S103)。
【0035】
次に、制御装置20は、カメラ14が撮像した較正画像に基づいて、鏡像カメラ14aとプロジェクタ12の位置関係を算出する(S104)。鏡像カメラ14aの位置は、カメラ14と反射部材15の位置関係に基づいて算出できる。具体的には、反射部材15の反射面を対称面として、カメラ14に対して面対称となる位置に鏡像カメラ14aが位置する。また、較正画像に基づいて鏡像カメラ14aとプロジェクタ12の位置関係を算出する方法は、従来の較正処理と同じ方法を用いることができる。つまり、較正画像に含まれる表示物の位置、大きさ、歪み度合い等に基づいて、鏡像カメラ14aとプロジェクタ12の位置関係を算出できる。
【0036】
次に、制御装置20は、カメラ14とプロジェクタ12の位置関係である相対情報を算出する(S105、第3工程)。ステップS104において、鏡像カメラ14aとプロジェクタ12の位置関係は算出済みである。更に、上述したように、カメラ14と鏡像カメラ14aの位置関係は算出済みである。従って、これら2つの位置関係に基づいて、相対情報を算出できる。以上により、較正処理が完了する。
【0037】
このように、反射部材15を用いることにより、プロジェクタ12が投影した較正画像をカメラ14が直接撮像できない状況においても、カメラ14とプロジェクタ12の位置関係である相対情報の較正を行うことができる。
【0038】
次に、補助画像101を作業場に投影する作業時における処理について図1及び図5を参照して説明する。
【0039】
初めに、従来技術(特許文献1)における課題について説明する。従来技術では、カメラとプロジェクタの向きが殆ど同じである。従って、カメラは、作業者が行う作業位置を撮像する。しかし、作業位置では、作業の進行に伴って、物体の位置、大きさ、形状等が変化するため、SLAM処理における特徴点が変化することになり(即ち、外乱となり)、カメラの位置の推定精度が低くなる可能性がある。その結果、プロジェクタが投影する補助画像の位置の精度が低下する。更に、カメラは、プロジェクタが投影した補助画像を撮像するため、補助画像が特徴点として取り扱われる(即ち、外乱となる)可能性がある。補助画像が特徴点として取り扱われた場合、カメラの推定位置の誤差に応じて補助画像の投影位置が補正され、その補助画像をカメラが撮像して特徴点として処理されることにより、誤差が累積する。その結果、プロジェクタが投影する補助画像の位置の精度が大きく低下する。
【0040】
また、ワークのサイズが大きく、かつ、ワークの表面に起伏等が少ない場合(例えば図1のワーク31)、ワークの近くにカメラを配置しても、特徴点の数が少ないため、カメラの位置の推定精度が低くなる。この場合、従来技術では、カメラからワークまでの距離を長くする必要がある。しかし、カメラからワークまでの距離を長くした場合、プロジェクタに要求される出力が増大するため、コストが増加する。
【0041】
これに対し、本実施形態では、従来技術と比較して、プロジェクタ12が投影する補助画像101の位置の精度が高く、かつ、カメラ14の位置の制約が少ない。以下、具体的に説明する。
【0042】
初めに、制御装置20の解析部22は、カメラ14が撮像した画像に対して上述した処理を行って、作業場における原点及びカメラ14の位置を推定する(S201)。なお、作業場におけるカメラ14の位置とは、作業場に対して作成した環境地図の座標系におけるカメラ14の位置である(プロジェクタ12、ワーク31についても同様)。以下の説明では、作業場におけるカメラ14等の位置を、単にカメラ14の位置と称することがある。
【0043】
ここで、本実施形態のカメラ14の向きはプロジェクタ12の向きと大きく異なるため、カメラ14は、補助画像101を撮像しない。カメラ14は、例えば、天井に配置された梁又は照明装置等である天井部材33を撮像する。天井部材33は、作業位置とは異なり、物体の位置等の変化が少ないため、従来技術と比較して、カメラ14の自己位置の推定精度が高くなる。仮に、ワーク31の近くにカメラ14を配置しても、カメラ14が撮像するのはワーク31ではなく、天井部材33である。従って、カメラ14の位置の制約が少ない。なお、カメラ14は、天井部材33に代えて又は加えて、壁、棚、又は機械等を撮像してもよい。
【0044】
次に、制御装置20の解析部22は、ステップS201で推定した作業場におけるカメラ14の位置と、較正処理で求めた相対情報と、に基づいて、作業場におけるプロジェクタ12の位置を推定する(S202)。
【0045】
次に、制御装置20の画像作成部23は、作業場におけるワーク31の位置に対するプロジェクタ12の位置に基づいて補助画像101を作成する(S203)。ワーク31とプロジェクタ12の位置関係が既知であるため、ある画像をプロジェクタ12から投影した場合に、当該画像がワーク31にどのように表示されるかは演算により算出できる。従って、画像作成部23は、ワーク31の予め定められた位置(部品の取付位置)に、予め定められた大きさ(部品の実際の大きさと同じ大きさ)で投影されるような補助画像101を作成できる。
【0046】
次に、制御装置20の投影制御部24は、ステップS203で作成した補助画像101をプロジェクタ12に送信して、補助画像101の投影を指示する(S204)。
【0047】
制御装置20は、図5に示す処理を繰り返し行う。従って、台車11が移動した場合であっても、移動後の位置に応じた大きさ及び位置での補助画像101を作成するため、ワーク31に投影される補助画像101は変化しない。
【0048】
また、補助画像101が示す作業が完了した場合、作業者は、情報端末等を用いて制御装置20にその旨を報告する。それを受けて、制御装置20は、次の作業に係る補助画像101を作成して投影する。なお、カメラ14とは別に、作業位置を撮像する単眼カメラ又はカメラを配置し、それらが撮像した画像に基づいて、作業が完了したか否かを制御装置20が判定してもよい。
【0049】
次に、図6を参照して上記実施形態の第1変形例を説明する。図6は第1変形例に係る作業情報投影システム1の概要図である。なお、第1変形例及びそれ以降の変形例の説明においては、上記実施形態と同一又は類似の部材には図面に同一の符号を付し、説明を省略する場合がある。
【0050】
上記実施形態では、プロジェクタ12が補助画像101を投影する方向を前方としたときに、カメラ14の光軸は前方を成分として含む。これに対し、第1変形例では、カメラ14の光軸は、前方を成分として含まない(後方を成分として含む)。これにより、例えば、前方かつ上方に特徴点が少ない環境(例えば、平坦な壁のみが配置される環境)においても、カメラ14の位置の推定精度を高くすることができる。
【0051】
次に、図7及び図8を参照して、第2変形例を説明する。図7は、第2変形例に係る較正処理時と作業時の作業情報投影システム1の構成を比較する図である。図8は、第2変形例に係る作業時のフローチャートである。
【0052】
上記実施形態では、較正処理時に反射部材15が使用され、作業時には反射部材15が取り外される。これに対し、第2変形例では、構成処理時だけでなく作業時にも反射部材15が使用される。具体的には、図7に示すように、作業情報投影システム1は、フレーム17と、取付部材18と、モータ(駆動部)41と、エンコーダ(検出部)42と、を備える。
【0053】
フレーム17は、門型(略U字状)のフレームであり、カメラ14の撮像を邪魔しない形状である。フレーム17には、取付部材18が相対回転可能に取り付けられている。取付部材18には、反射部材15が固定されている。つまり、取付部材18と反射部材15は一体的に回転する。
【0054】
モータ41は、出力軸の回転量を制御可能なモータ(例えばステッピングモータ)であり、制御装置20によって制御されている。モータ41は、反射部材15を回転させる動力を発生する。モータ41が発生した動力は、図略の伝達機構を介して取付部材18に伝達される。これにより、反射部材15の向きを変更することができる。なお、本実施形態では反射部材15の回転軸方向は水平方向と平行であるが、異なっていてもよい。エンコーダ42は、取付部材18に取り付けられており、取付部材18の回転角度(即ち反射部材15の向き)を検出する。
【0055】
以上の構成により、制御装置20が指示する回転量に応じて、反射部材15の向きを変更できる。反射部材15は、カメラ14の光軸103を覆うように配置されているため、反射部材15の向きを変更することにより、カメラ14が撮像する位置を変更することができる。
【0056】
図7の較正処理時と記載された図では、較正処理時における反射部材15の向き(第1向き)が示されている。較正処理時では、カメラ14が較正画像102を撮像できるように、反射部材15の向きが制御される。
【0057】
図7の作業時と記載された図では、作業時における反射部材15の向き(第2向き)が示されている。上述したように、作業時にカメラ14が補助画像101を撮像すると、補助画像101が外乱となる。そのため、作業時では、補助画像101を含まない位置をカメラ14が撮像するように、反射部材15の向きが制御される。
【0058】
第2変形例の構成では、較正処理時と作業時で反射部材15を着脱する必要がない。従って、較正処理と作業の切替時における手間を軽減できる。
【0059】
また、第2変形例の制御装置20は、作業場におけるカメラ14の位置の推定精度が高い状態を維持するために、図8に示す処理を作業時に行う。
【0060】
制御装置20は、カメラ14が撮像した画像に含まれる特徴点の数を算出する(S301)。次に、制御装置20は、ステップS301で算出した特徴点の数が閾値以上か否かを判定する(S302)。なお、特徴点の数が少な過ぎる状況では、カメラ14の位置を精度良く推定できない可能性がある。
【0061】
制御装置20は、特徴点の数が閾値未満であると判定した場合、モータ41を制御して反射部材15の向きを変更する(S303)。例えば反射部材15の向きをN°変化させる場合、制御装置20は、エンコーダ42の検出値がN°変化するまで、モータ41の出力軸を回転させる。
【0062】
反射部材15の向きを変更することにより、カメラ14が撮像する位置が変化する。次に、制御装置20は、再び、ステップS301及びS302の処理を行う。カメラ14が撮像した画像に含まれる特徴点の数が閾値以上となった場合、制御装置20は反射部材15の向きを変化させる処理を行わない。つまり、カメラ14が撮像する画像に含まれる特徴点の数が閾値以上となるまで、制御装置20は反射部材15の向きを変更し続ける。
【0063】
これにより、カメラ14が特徴点の少ない位置(例えば平坦な壁)を撮像する状況になった場合でも、反射部材15の向きを変更することにより、カメラ14が特徴点の多い位置を撮像できるようになる。従って、カメラ14の位置の推定精度が高い状態を維持することができる。なお、作業時にカメラ14が補助画像101を撮像したり、台車11等を撮像することは好ましくない。従って、反射部材15の向きを変更する範囲には、上限及び下限を設けておくことが好ましい。
【0064】
反射部材15の向きが変わることにより、カメラ14が撮像する画像が変化する。従って、既に作成済みのマップ情報を更新するためには、反射部材15を介してカメラ14が撮像した画像が、環境地図の座標系においてどの方向から撮像されたかを特定する必要がある。この点、本実施形態では、反射部材15の正確な向きがエンコーダ42によって検出されている。従って、反射部材15の向きを変更した場合でも、反射部材15の向きの変化量(基準となる向きからのどれだけ変化したかを示す値)と既存のマップ情報とを利用して、カメラ14の位置を推定したり、既存のマップ情報を更新したりすることができる。
【0065】
以上に説明したように、上記実施形態の作業情報投影システム1は、プロジェクタ12と、カメラ14と、制御装置20と、を備える。プロジェクタ12は、作業を補助する補助画像101を作業場に投影する。カメラ14は、作業場を撮像する。制御装置20は、補助画像101を作成してプロジェクタ12へ送信する。カメラ14とプロジェクタ12の相対的な位置関係を示す相対情報を較正する較正処理時において、カメラ14は、プロジェクタ12が較正治具32に投影した較正画像102を反射部材15を介して撮像する。制御装置20は、カメラ14が撮像した較正画像102に基づいて、相対情報を較正する較正処理を行う。
【0066】
反射部材15を用いて較正処理を行うことにより、プロジェクタ12の向きと大きく異なる方向にカメラ14を向けることが可能になる。そのため、例えば作業が行われていない位置を撮像することにより、カメラ14が撮像する画像に外乱が生じにくくなるため、カメラ14の位置の検出精度が高くなる。その結果、プロジェクタ12は、正確な位置に補助画像を投影することができる。
【0067】
上記実施形態の作業情報投影システム1では、作業場に補助画像101を投影する作業時において、制御装置20は、カメラ14が撮像した画像に基づいてカメラ14の位置を推定する。制御装置20は、相対情報と、カメラ14の位置と、に基づいて、プロジェクタ12の位置を推定する。制御装置20は、プロジェクタ12の位置に基づいてプロジェクタ12を制御して、作業場に補助画像101を投影させる。
【0068】
これにより、作業中において、正確な位置に補助画像を投影することができる。
【0069】
上記実施形態の作業情報投影システム1において、カメラ14は、プロジェクタ12と一体的に移動するように配置されている。
【0070】
これにより、カメラ14とプロジェクタ12の位置関係が変化しないため、プロジェクタ12の正確な位置を算出できることとなり、正確な位置に補助画像を投影することができる。
【0071】
上記実施形態の作業情報投影システム1では、作業時において、カメラ14の光軸103は、プロジェクタ12の光軸104から外れている。
【0072】
更に、上記実施形態の作業情報投影システム1では、作業時において、カメラ14の光軸103は、プロジェクタ12が投影光を投影可能な範囲から外れている。
【0073】
これにより、カメラ14の向きとプロジェクタ12の向きが大きく異なるため、カメラ14が撮像する画像に外乱がより一層生じにくくなる。
【0074】
上記実施形態の作業情報投影システム1において、反射部材15の向きが可変である。
【0075】
これにより、必要に応じて反射部材15の向きを変更できる。
【0076】
上記実施形態の作業情報投影システム1において、反射部材15は、プロジェクタ12が投影した較正画像102をカメラ14が撮像できる向きである第1向きと、プロジェクタ12が投影した補助画像101をカメラ14が撮像できない向きである第2向きと、の間で向きを変更可能である。
【0077】
これにより、較正処理時では、プロジェクタ12が投影した較正画像102をカメラ14で撮像できる。また作業時では、カメラ14は、プロジェクタ12が投影した補助画像101を撮像しないため、外乱がより一層生じにくくなる。
【0078】
上記実施形態の作業情報投影システム1は、反射部材15の向きを変更する動力を発生するモータ41を備える。作業時において、カメラ14は、反射部材15を介して、撮像する。制御装置20は、カメラ14が撮像した画像に含まれる特徴点の数が閾値を下回ったと判断した場合、モータ41を制御して反射部材15の向きを変更する。
【0079】
これにより、カメラ14は特徴点の数が多い位置を撮像できるので、カメラ14の位置の推定をより正確に行うことができる。
【0080】
上記実施形態の作業情報投影システム1では、較正処理時において、カメラ14は、反射部材15を介して、較正画像102を撮像する。作業時において、カメラ14は、反射部材15を介さずに作業場を撮像する。
【0081】
これにより、較正処理時にプロジェクタ12が投影した画像をカメラ14が撮像しつつ、作業時にプロジェクタ12が投影した画像をカメラ14が撮像しない構成が実現できる。
【0082】
上記実施形態の作業情報投影システム1では、較正処理時において、制御装置20は、カメラ14が撮像した画像に含まれる反射部材15に基づいて、カメラ14と反射部材15の位置関係を算出する。制御装置20は、カメラ14と反射部材15の位置関係に基づいて、現実のカメラ14と鏡像カメラ14aの位置関係を算出する。制御装置20は、反射部材15に写った較正画像102に基づいて、プロジェクタ12と鏡像カメラ14aの位置関係を算出して、相対情報を較正する。
【0083】
これにより、相対情報を適切に較正できる。
【0084】
上記実施形態の作業情報投影システム1において、カメラ14の光軸103が、鉛直方向に垂直な平面に対して上向きである。
【0085】
これにより、外乱が比較的生じにくい上方向の位置を撮像できる。なお、カメラ14の光軸は鉛直方向に垂直な平面に対して下向きであってもよい。
【0086】
以上に本発明の好適な実施の形態及び変形例を説明したが、上記の構成は例えば以下のように変更することができる。
【0087】
上記実施形態で示したフローチャートは一例であり、一部の処理を省略したり、一部の処理の内容を変更したり、新たな処理を追加したりしてもよい。例えば、図3のフローチャートにおいて、先にカメラ14と反射部材15の位置関係を算出した後に(ステップS103の後に)、較正画像の投影及び撮像を行ってもよい(ステップS101及びS102)を行ってもよい。
【0088】
上記実施形態では、プロジェクタ12及びカメラ14は台車11によって移動可能である。これに代えて、プロジェクタ12及びカメラ14は、例えば作業者が手で持って又は作業者に装着されて、作業者と一体的に移動する構成でもよい。
【0089】
上記実施形態では、補助画像101がワーク31に投影されているが、補助画像101はワーク31以外(例えば、壁、工具、機械等)に投影されてもよい。
【符号の説明】
【0090】
1 作業情報投影システム
11 台車
12 プロジェクタ
14 カメラ
15 反射部材
16 マーカ
20 制御装置
図1
図2
図3
図4
図5
図6
図7
図8