【解決手段】三次元センサ110の視野面199に交差する単調面部分301を有する検出対象300の三次元センサ110による三次元情報に基づき、単調面部分301に存在する可能性のある特異部分302を検出する特異部分検出装置100であって、三次元情報を構成する点情報を所定の投影面に投影した投影点を導出し、三次元センサ110のセンサ原点を通過する軸に沿った投影点の密度分布を導出する密度分布導出部101と、密度分布に基づき特異部分302の存在を提示する存在提示部102とを備える特異部分検出装置100。
三次元センサの視野面に交差する平面または滑らかに変化する面である単調面部分を有する検出対象の前記三次元センサによる三次元情報に基づき、前記単調面部分に存在する可能性のある陥凹部分または突出部分を含む特異部分を検出する特異部分検出装置であって、
前記三次元情報を構成する点情報を所定の投影面に投影した投影点を導出し、前記三次元センサのセンサ原点を通過する軸に沿った前記投影点の密度分布を導出する密度分布導出部と、
前記密度分布に基づき特異部分の存在を提示する存在提示部と、
を備える特異部分検出装置。
三次元センサの視野面に交差する平面または滑らかに変化する面である単調面部分を有する検出対象の前記三次元センサによる三次元情報に基づき、前記単調面部分に存在する可能性のある陥凹部分または突出部分を含む特異部分を検出する特異部分検出方法であって、
前記三次元情報を構成する点情報を所定の投影面に投影した投影点を導出し、前記三次元センサのセンサ原点を通過する軸に沿った前記投影点の密度分布を密度分布導出部が導出し、
前記密度分布に基づき特異部分の存在を存在提示部が提示する、
を備える特異部分検出方法。
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところが三次元情報を用いて段差などの特異部分を検出する場合は、処理する情報量が多いため、検出のための計算が多くなり検出までの時間が長くなるという課題がある。
【0006】
本願発明は、上記課題に鑑みなされたものであり、比較的高速に特異部分を検出することができる特異部分検出装置、これを備えた自律移動装置、および、特異部分検出方法の提供を目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本願発明にかかる特異部分検出装置は、三次元センサの視野面に交差する平面または滑らかに変化する面である単調面部分を有する検出対象の前記三次元センサによる三次元情報に基づき、前記単調面部分に存在する可能性のある陥凹部分または突出部分を含む特異部分を検出する特異部分検出装置であって、前記三次元情報を構成する点情報を所定の投影面に投影した投影点を導出し、前記三次元センサのセンサ原点を通過する軸に沿った前記投影点の密度分布を導出する密度分布導出部と、前記密度分布に基づき特異部分の存在を提示する存在提示部と、を備える。
【0008】
具体的には、前記存在提示部は、前記密度分布に第一閾値以上に密度が増減する部分があった場合に特異部分の存在を提示することができる。
【0009】
また、前記存在提示部は、前記密度分布に第二閾値を超えて傾く部分があった場合に特異部分の存在を提示しても良い。
【0010】
また、前記存在提示部は、前記密度分布の傾きに正負が反転する部分があった場合に特異部分の存在を提示してもよい。
【0011】
これらによれば、二次元情報である投影点の一軸方向の密度分布に基づき特異部分の存在を検出することができるため、高速に特異部分の有無などを判断することができる。
【0012】
また、自律移動装置の台車に前記特異部分検出装置、および、前記三次元センサを取り付けてもよい。
【0013】
これによれば、例えば台車が走行する床面に特異部分が存在していた場合、当該特異部分を早期に検出して特異部分を避けて走行したり、また、特異部分に近づいたりすることが少ない計算量で実現できる。
【0014】
また、前記密度分布導出部は、前記三次元センサによる三次元情報に基づき、特異部分を示す密度分布である第一密度分布を導出し、さらに、前記台車が移動した後の前記三次元センサによる三次元情報に基づき、前記第一密度分布と同じ軸の第二密度分布を導出し、前記第一密度分布、および、前記第二密度分布の特異部分を示す位置のずれに基づき特異部分に対する前記台車の位置を推定する位置推定部をさらに備えてもよい。
【0015】
また、前記密度分布導出部は、前記台車と特異部分との距離が異なる複数の密度分布を導出して記憶し、前記位置推定部は、新たに導出された密度分布と事前に記憶している複数の密度分布とをパターンマッチングすることにより特異部分に対する前記台車の位置を導出してもよい。
【0016】
これらによれば、特異部分と台車との相対的な位置関係(距離)を少ない計算量で導出し、移動の制御に用いることができる。
【0017】
また、上記目的を達成するために、本願発明にかかる特異部分検出方法は三次元センサの視野面に交差する平面または滑らかに変化する面である単調面部分を有する検出対象の前記三次元センサによる三次元情報に基づき、前記単調面部分に存在する可能性のある陥凹部分または突出部分を含む特異部分を検出する特異部分検出方法であって、前記三次元情報を構成する点情報を所定の投影面に投影した投影点を導出し、前記三次元センサのセンサ原点を通過する軸に沿った前記投影点の密度分布を密度分布導出部が導出し、前記密度分布に基づき特異部分の存在を存在提示部が提示する。
【0018】
これによれば、二次元情報である投影点の一軸方向の密度分布に基づき特異部分の存在を検出することができるため、高速に特異部分の有無などを判断することができる。
【0019】
なお、これらの全般的または具体的な態様は、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0020】
本願発明である特異部分検出装置、自律移動装置、および、特異部分検出方法は、検出対象の単調面部分の一部に存在する特異部分を少ない計算量で高速に検出することができる。
【発明を実施するための形態】
【0022】
次に、本願発明に係る特異部分検出装置、自律移動装置、および、特異部分検出方法の実施の形態について、図面を参照しつつ説明する。なお、以下の実施の形態は、本願発明に係る特異部分検出装置、自律移動装置、および、特異部分検出方法の一例を示したものに過ぎない。従って本願発明は、以下の実施の形態を参考に請求の範囲の文言によって範囲が画定されるものであり、以下の実施の形態のみに限定されるものではない。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
【0023】
また、図面は、本願発明を示すために適宜強調や省略、比率の調整を行った模式的な図となっており、実際の形状や位置関係、比率とは異なる場合がある。
【0024】
(実施の形態1)
[検出対象、載置対象]
まず、本実施の形態で用いられる検出対象300と載置対象310とを説明する。
【0025】
図1は、保持手段を備える自律移動装置、検出対象、および、載置対象を示す斜視図である。
【0026】
同図に示すように、載置対象310は、保持手段202を備える自律移動装置200(以下、「搬送装置」と記載する。)により搬送され、所定の位置に移載される対象物である。同図に示される載置対象310は、水平面内に行列状に並べられた複数の箱312が上下方向に積み重なってパレット311上に配置されたものであるが、載置対象310は特に限定されるものではない。
【0027】
検出対象300は、載置対象310が搬送装置によって載置される対象物である。検出対象300は、特に限定されるものではなく、搬送装置が走行する床面なども検出対象300に含まれる。本実施の形態の場合、検出対象300は、載置対象310と同様の物であり、パレット311およびその上に立方体状に積み重ねられた複数の箱312で構成されている。また、検出対象300は、後述する三次元センサ110の視野面199(
図3参照)に交差する平面や滑らかで緩やかな曲面からなる単調面部分301、例えば積み重ねられた複数の箱312の上面で形成される面部分や床面の部分などを備える物としても把握することができる。
【0028】
[搬送装置の全体構成]
次に、搬送装置の構成の概要を説明する。
【0029】
図1に示すように、搬送装置は、自律的に(無人で)動作して検出対象300の正面に移動し、検出対象300の上面である単調面部分301が載置対象310を載置することができる状態、例えば特異部分302がない状態の場合、検出対象300の上に載置対象310を載置する装置であり、特異部分検出装置100と、台車201と、保持手段202と、制御装置204とを備えている。
【0030】
[制御装置]
制御装置204は、レールや床面等の走行対象における自己の位置を把握し、検出対象300との相対的な位置関係を把握することができる機能を備えている。また、自己の位置に関する情報に基づき駆動装置(図示せず)を制御することにより台車201に取り付けられた車輪203を動作させて自律的に移動させることができる装置である。その他、制御装置204は、載置対象310を保持したり保持を解除したりするために保持手段202の昇降などの制御も行う。
【0031】
[台車]
台車201は、特異部分検出装置100が取り付けられると共に、保持手段202、制御装置204、および、駆動装置(図示せず)などが取り付けられており、制御装置204に基づき走行対象に沿って走行する装置である。
【0032】
[保持手段]
保持手段202は、台車201に取り付けられ、検出対象300に載置する載置対象310を保持する装置である。本実施の形態の場合、保持手段202は、搬送装置が走行する床面と平行に相互に平行に配置されている2本のフォーク221と、フォーク221の床面との平行を維持したまま2本のフォーク221を上下に移動可能とするマスト222を備えている。保持手段202は、載置対象310のパレット311の複数箇所に設けられた穴部に2本のフォーク221をそれぞれ挿入し、フォーク221ごと載置対象310を持ち上げることで、載置対象310を支承状態で保持することができるものとなっている。また、保持手段202は、保持した載置対象310を例えば検出対象300の上面や床面などに載置し、フォーク221をパレット311から引き抜くことにより、載置対象310の保持を解除することができるものである。
【0033】
なお、保持手段202は、フォーク221に限定されるものではなく、載置対象310を横から挟んで保持するものや、載置対象310を吊り下げて保持するものなどを例示することができる。
【0034】
[特異部分検出装置]
図2は、特異部分検出装置の機能構成を機構構成と共に示すブロック図である。
【0035】
図3は、三次元センサと検出対象との関係を示す斜視図である。
【0036】
図4は、自律移動装置と検出対象との関係を示す平面図である。
【0037】
これらの図に示すように、特異部分検出装置100は、保持手段202である2本のフォーク221の先端にそれぞれ取り付けられた三次元センサ110の視野面199に交差する平面または滑らかに変化する面である単調面部分301を有する検出対象300の三次元情報から得られる二次元情報に基づき単調面部分301に存在する可能性のある特異部分302を検出する装置である。特異部分検出装置100は、機能部として、密度分布導出部101と存在提示部102とを備えている。
【0038】
密度分布導出部101と存在提示部102とは、コンピュータが備えるプロセッサおよびメモリによって実現される。メモリは、揮発性半導体メモリや不揮発性半導体メモリ、ハードディスクドライブなどによって実現される。
【0039】
なお本実施の形態の場合、特異部分検出装置100は、2つの三次元センサ110から得られる三次元情報に基づき特異部分302を検出するが、以下の説明では、2つの三次元センサ110から得られた三次元情報を合成し1つの三次元センサ110から得られたものとして扱う。また、複数の三次元センサ110から得られる三次元情報を初期の段階で合成するのか、三次元情報を個別に情報処理した後に合成するのかなど合成の段階は任意である。
【0040】
また本実施の形態では、三次元センサ110が向いている方向(奥行き方向)をZ軸方向としている。また、三次元センサ110が向いている方向に垂直な面であって三次元センサ110が検出できる範囲を視野面199(XY平面)としている。また、Z軸方向に垂直な方向であって2本のフォーク221が並んでいる第1方向(水平方向または左右方向)をX軸方向とし、Z軸方向およびX軸方向に垂直な第2方向(鉛直方向または上下方向)をY軸方向としている。
【0041】
また、Z軸方向では、三次元センサ110を基準に三次元センサ110よりも奥側をZ軸方向プラス側とし、手前側をZ軸方向マイナス側とする。また、X軸方向では、三次元センサ110から見て左側をX軸方向プラス側とし、右側をX軸方向マイナス側とする。また、Y軸方向では、三次元センサ110から見て上側をY軸方向プラス側とし、下側をY軸方向マイナス側とする。つまり、図では、矢印が向いている側が各方向のプラス側であり、その反対側が各方向のマイナス側である。
【0042】
[三次元センサ]
三次元センサ110は、例えば
図3、
図4に示すように、三次元センサ110の視野面199(
図3には片側のみ記載)内に存在する検出対象300の単調面部分301に仮想的に分散状態で広がる各点の三次元的位置を示す三次元情報を取得することができるセンサである。なお、ステレオカメラのように1つのカメラから得られた二次元的な情報(画像)を処理することにより検出対象300の単調面部分301の各点の三次元情報を取得する場合も三次元センサ110に含まれる。
【0043】
なお、三次元情報は直交座標で表現されてもよく、極座標やその他の座標で表現されてもかまわない。
【0044】
本実施の形態の場合、三次元センサ110は、カメラの周囲に設けられた発光素子(例えばLED)により赤外光などの光を検出対象300に照射し、検出対象300から反射した反射光が、撮像素子で観測されるまでの時間を撮像素子の撮像画素ごとに計測することで、検出対象300の二次元的位置に検出対象300の単調面部分301までの距離を画素ごとに追加して三次元情報を取得するTOF(Time Of Flight)カメラが用いられている。
【0045】
図3、
図4に示すように、三次元センサ110は、発光素子から赤外光をZ軸正方向にパルス的に照射し、XY平面に配置された撮像素子の画素毎に検出対象300からの反射光が戻ってくるまでの時間を測定することで、検出対象300の単調面部分301のそれぞれの部分までの距離を計測し、視野面199における二次元的な位置に距離の情報を付加した三次元情報を取得する。なお、複数の三次元センサ110はいずれも同様の構成であり、
図1に示すように検出対象300の単調面部分301の複数箇所までの三次元距離を計測して三次元情報を取得する。
【0046】
[密度分布導出部]
密度分布導出部101は、三次元センサ110から得られた情報に基づき特異部分302が存在する否かの判断の基準となる点情報の密度分布を作成する処理部であり、投影部111と、密度算出部112とを機能部として備え、これらの処理部の結果に基づき密度分布を導出する。
【0047】
投影部111は、三次元センサ110から得られた三次元情報を構成する点情報を所定の投影面に投影し、
図5に示すような、複数の投影点を導出する処理部である。投影部111により三次元情報が処理されることにより、投影部111以降の処理が二次元平面である投影面に広がった投影点のみを処理することになり、三次元センサ110から得られた三次元情報に比べて情報量が非常に少なくなり、以降の処理を高速に実行することが可能となる。
【0048】
本実施の形態の場合、投影部111は、視野面199に平行で三次元センサ110から所定の位置に在る面を投影面としている。なお、投影面は任意に配置することができ、例えば、単調面部分301を投影面としてもかまわない。
【0049】
密度算出部112は、三次元センサのセンサ原点O(
図4、
図6参照)を通過し、視野面199に垂直な仮想軸401(
図4参照)であって同じ投影面に投影した軸402に沿って単調面部分301を同じ面積の単位領域403を等間隔に並ぶように決定し(
図6参照)、各単位領域403内に存在する投影点の密度を算出する処理部である。
【0050】
本実施の形態の場合、密度算出部112は、単調面部分301を一定の大きさのグリッドに分割して単位領域403を決定し、相互に隣接して配置される単位領域403にいくつ投影点が存在しているかを数えることにより各単位領域403の密度として算出する。
【0051】
密度分布導出部101は、密度算出部112により算出された各単位領域403の密度と、各単位領域403と三次元センサ110との距離に基づき、仮想軸401に沿って並んだ単位領域403における密度を密度分布として導出する。
【0052】
図7は、仮想軸に沿って並んだ単位領域の密度分布を示すグラフである。
【0053】
同図に示すように、もし単調面部分301に特異部分がなければ、三次元センサ110との距離が離れるに従い投影点の密度は滑らかに減少する(
図7実線)。一方、何らかの特異部分302があると、単調面部分301の分布に対し分布の形状が崩れる箇所が発生する。
【0054】
[存在提示部]
存在提示部102は、密度分布の崩れが存在するか否かを解析し、密度分布の乱れがあれば特異部分302が存在する旨を提示する処理部である。
【0055】
具体的に存在提示部102は、密度分布に第一閾値以上に密度が増減する部分があった場合に特異部分302が存在するとしてその旨を提示しても良い。具体的に例えば、特異部分302が存在しない単調面部分301における密度の最大値と最小値との差分を第一閾値とし、単位領域403の密度の最大値と最小値との差分が第一閾値よりも有意に超えている場合、特異部分302が存在すると判断する。
【0056】
また、存在提示部102は、密度分布に第二閾値を超えて傾く部分があった場合に特異部分302の存在を提示してもよい。具体的に例えば、特異部分302が存在しない単調面部分301における隣接する単位領域403や、所定の距離離れた単位領域403の密度の差分を第二閾値とし、同じ距離離れた単位領域403の密度の差分を逐次算出し、第二閾値よりも有意に超えている場合、特異部分302が存在すると判断しても良い。この場合、密度の変化量により特異部分302の単調面部分301に対する角度を簡易的に判断することも可能である。
【0057】
ここで、第一閾値、または、第二閾値は、事前に特異部分302が存在しない単調面部分301を計測することにより事前に作成しても良く、また、同じ三次元情報の中から三次元センサ110から遠ざかるにつれて単調に密度が変化している部分を見つけ出し、当該部分の単位領域403の密度分布に基づき動的に第一閾値、または、第二閾値を作成してもかまわない。
【0058】
また、存在提示部102は、密度分布の傾きに正負が反転する部分があった場合に特異部分302の存在を提示しても良い。具体的に例えば、三次元センサ110に近い単位領域403の密度から三次元センサ110から遠い単位領域403の密度を減算し差が負となった場合(逆も同様)は、特異部分302が存在する旨を提示しても良い。この場合、閾値判断が不要になるためより簡便に特異部分302の存在を検出することができる。
【0059】
特異部分302が存在する旨を存在提示部102が提示する方法は特に限定されるものではなく、例えば、特異部分302が存在することを示す情報を他の制御装置などに出力する、音、光、映像などにより提示するなどを例示することができる
(実施の形態2)
続いて、搬送装置の他の実施の形態について説明する。なお、前記実施の形態1と同様の作用や機能、同様の形状や機構や構造を有するもの(部分)には同じ符号を付して説明を省略する場合がある。また、以下では実施の形態1と異なる点を中心に説明し、同じ内容については説明を省略する場合がある。
【0060】
本実施の形態にかかる搬送装置に備えられる特異部分検出装置100は、位置推定部103をさらに備え、密度分布導出部101が導出した密度分布に基づき、特異部分302に対する台車201の位置(特異部分302と台車201との距離)を推定する。
【0061】
具体的に例えば、
図8の上段に示すように、床面が単調面部分301であって搬送装置の台車201が単調面部分301を走行するという前提である。また、単調面部分301の上に形状が既知の特異部分302である荷物を配置し、台車201と特異部分302との距離を変えて複数種類の密度分布を密度分布導出部101に導出させ記憶させておく。また、複数の密度分布はシミュレーションなどにより作成してもかまわない。
【0062】
次に、搬送装置を自律的に走行させて特異部分302に近づけ、特異部分302を含む単調面部分301について三次元センサ110により三次元情報を取得する。密度分布導出部101は、密度分布を導出し、位置推定部103が事前に記憶している密度分布と新しく導出した密度分布をパターンマッチングする。
【0063】
以上によりマッチングした密度分布に関連づけられている距離に基づき台車201と特異部分302との距離を位置推定部103が導出する。なお、パターンマッチング方法としては、ICP(Iterative Closest Point)法などを例示することができる。
【0064】
以上により、少ない情報量で簡単かつ高速に特異部分302と台車201との距離を求めることができ、得られたデータを搬送装置の自律走行や荷物の移載などに利用することができる。
【0065】
また、
図9に示すように、搬送装置が備える密度分布導出部101は、三次元センサ110による三次元情報に基づき、特異部分302を示す密度分布である第一密度分布を導出し、さらに、台車201が移動した後の同じ三次元センサ110による三次元情報に基づき、第一密度分布と同じ軸に沿った第二密度分布を導出してもよい。この場合、第一密度分布、および、第二密度分布の特異部分302を示す位置のずれ191に基づき特異部分302に対する台車201の位置(距離)を導出してもかまわない。この場合、台車201が備えるエンコーダなどにより台車201の移動距離109と密度分布のすれ191により台車201と特異部分302との距離を算出することも可能である。
【0066】
[効果]
本実施の形態に係る特異部分検出装置100、および、これによる特異部分検出方法によれば、三次元センサ110から得られる三次元情報を投影面に投影し、二次元的な投影点の密度(数)によって特異部分302の有無を判断するため、比較的高速に特異部分302を検出することが可能となる。従って、特異部分検出装置100から特異部分302の存在が提示された搬送装置などは検出対象300の単調面部分301の上に載置対象310を載置することを中止でき、荷崩れなどの危険を回避することが可能となる。また、床面等に特異部分302が存在する場合、これを回避して走行することなどが可能となる。
【0067】
さらに、密度分布のずれに基づき三次元センサ110を備えた台車201と特異部分302との距離を高速に推定することができ、より正確に特異部分302に近づいたり、特異部分302を避けて走行したりすることが可能となる。
【0068】
なお、本願発明は、上記実施の形態に限定されるものではない。例えば、本明細書において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本願発明の実施の形態としてもよい。また、上記実施の形態に対して本願発明の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本願発明に含まれる。
【0069】
例えば、単位領域403を相互に重ならず単調面部分301に密に配置する場合を説明したが、単位領域403は相互に離れていても良く、また、単位領域403の一部が重なっていてもかまわない。
【0070】
また、検出対象300と載置対象310とを同じものとして説明したが、これに限定されるわけではない。搬送装置が、箱などの荷物を水平面内に行列状に1個ずつ並べる装置である場合、水平面内に先に並べられた荷物の集合が検出対象となり、検出対象300の上にさらに並べられるそれぞれの箱が載置対象310となる。
【0071】
また、特異部分302が存在した場合のみその旨を提示する場合を説明したが、特異部分302が無かった旨を提示してもかまわない。また、特異部分302が存在する場合、特異部分302の大きさや単調面部分301における位置などの情報を提示してもかまわない。
【0072】
また、各三次元センサ110の視野面199が検出対象300に対して小さいため、搬送装置は、水平方向に並べた2つの三次元センサ110を備える構成であるとしたが本願発明は、2つの三次元センサ110を備える構成に限らない。つまり、自律移動装置は、三次元センサ110として、計測範囲が検出対象300に対して十分な大きさのセンサを採用した場合には、1つの三次元センサ110のみを備える構成としてもよい。また、2つの三次元センサ110は、フォーク221の先端のみならず、台車201の前面側の左右端などにそれぞれ取り付けられても構わない。
【0073】
また、三次元センサ110は、レーザー光をスキャンさせてレーザー光の反射光に基づき複数箇所の座標と距離とを測定する測域センサなどであってもよい。