(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-28
(45)【発行日】2023-12-06
(54)【発明の名称】空間認識装置、空間認識方法、プログラム
(51)【国際特許分類】
G01B 11/00 20060101AFI20231129BHJP
B65G 1/00 20060101ALI20231129BHJP
G01S 17/87 20200101ALI20231129BHJP
G05D 1/02 20200101ALI20231129BHJP
G06Q 10/08 20230101ALI20231129BHJP
【FI】
G01B11/00 A
B65G1/00 501C
G01S17/87
G05D1/02 H
G06Q10/08
(21)【出願番号】P 2017170376
(22)【出願日】2017-09-05
【審査請求日】2020-08-14
【審判番号】
【審判請求日】2022-08-24
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(73)【特許権者】
【識別番号】000227205
【氏名又は名称】NECプラットフォームズ株式会社
(74)【代理人】
【識別番号】100106909
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100134544
【氏名又は名称】森 隆一郎
(74)【代理人】
【識別番号】100149548
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100162868
【氏名又は名称】伊藤 英輔
(72)【発明者】
【氏名】内村 淳
(72)【発明者】
【氏名】高橋 博
(72)【発明者】
【氏名】渡邊 将人
【合議体】
【審判長】岡田 吉美
【審判官】九鬼 一慶
【審判官】中塚 直樹
(56)【参考文献】
【文献】特開2005-274232(JP,A)
【文献】特開2017-39188(JP,A)
【文献】特開昭61-117409(JP,A)
【文献】特開平7-152434(JP,A)
【文献】特開2007-257226(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00-11/30
G01S 7/00- 7/51
G01S 17/00-17/95
G06Q 10/08
G05D 1/02
B65G 1/00- 1/20
(57)【特許請求の範囲】
【請求項1】
検出範囲に位置する複数の静止構造物それぞれの高さ方向に異なる位置に設けられた反射板に光を照射しその反射光を受光する移動体に取り付けられた光学装置から前記光の照射方向に応じた反射光から得られる情報を取得し、前記検出範囲の各座標における前記反射光から得られる情報の分布に基づいて前記反射板が設けられた複数の前記静止構造物と移動体との位置関係を少なくとも判定する解析部、
を備え、
前記反射光から得られる情報の分布は前記反射光の強度が強度閾値を超える範囲の分布であり、前記解析部は、前記検出範囲の像面において縦方向と横方向に分割された各ピクセルのうち前記反射光の強度が強度閾値を超えるピクセル群の高強度範
囲に含まれるピクセルの
数に基づいて
解析対象となる前記反射板を判別し、解析対象とした前記反射板の高さを算出し、算出された前記反射板の高さに応じて反射板を特定し、解析対象とした前記反射板が設けられた前記静止構造物と前記移動体との位置関係を少なくとも判定する
空間認識装置。
【請求項2】
前記解析部は、前記反射板に設けられた反射領域の分布に基づいて、前記反射板が設けられた静止構造物の識別情報を解析する
請求項1に記載の空間認識装置。
【請求項3】
前記解析部は、前記静止構造物の絶対位置に基づいて前記移動体の絶対位置を解析する
請求項1または請求項2に記載の空間認識装置。
【請求項4】
空間認識装置が、
検出範囲に位置する複数の静止構造物それぞれの高さ方向に異なる位置に設けられた反射板に光を照射しその反射光を受光する移動体に取り付けられた光学装置から前記光の照射方向に応じた反射光から得られる情報を取得し、前記反射光から得られる情報の分布は前記反射光の強度が強度閾値を超える範囲の分布であり、前記検出範囲の各座標における前記反射光から得られる情報の分布に基づいて前記反射板が設けられた複数の前記静止構造物と移動体との位置関係を少なくとも判定する処理において、前記検出範囲の像面において縦方向と横方向に分割された各ピクセルのうち前記反射光の強度が強度閾値を超えるピクセル群の高強度範
囲に含まれるピクセルの
数に基づいて
解析対象となる前記反射板を判別し、解析対象とした前記反射板の高さを算出し、算出された前記反射板の高さに応じて反射板を特定し、解析対象とした前記反射板が設けられた前記静止構造物と前記移動体との位置関係を少なくとも判定する
空間認識方法。
【請求項5】
空間認識装置のコンピュータを、
検出範囲に位置する複数の静止構造物それぞれの高さ方向に異なる位置に設けられた反射板に光を照射しその反射光を受光する移動体に取り付けられた光学装置から前記光の照射方向に応じた反射光から得られる情報を取得し、前記検出範囲の各座標における前記反射光から得られる情報の分布に基づいて前記反射板が設けられた複数の前記静止構造物と移動体との位置関係を少なくとも判定する解析手段、
として機能させ、
前記反射光から得られる情報の分布は前記反射光の強度が強度閾値を超える範囲の分布であり、前記解析手段は、前記検出範囲の像面において縦方向と横方向に分割された各ピクセルのうち前記反射光の強度が強度閾値を超えるピクセル群の高強度範
囲に含まれるピクセルの
数に基づいて
解析対象となる前記反射板を判別し、解析対象とした前記反射板の高さを算出し、算出された前記反射板の高さに応じて反射板を特定し、解析対象とした前記反射板が設けられた前記静止構造物と前記移動体との位置関係を少なくとも判定する
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、空間認識装置、空間認識方法、プログラムに関する。
【背景技術】
【0002】
ある空間内を移動する移動体の位置を認識するために、照射した光の反射光を解析する技術が特許文献1、特許文献2に開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平7-152434号公報
【文献】特開2002-188918号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
静止構造物が同じパターンで数多く並んでいるような空間内に多様な物体が載置される際に、移動体の位置を容易に低コストに認識できる技術が必要となっている。
【0005】
そこでこの発明は、上述の課題を解決することのできる空間認識装置、空間認識方法、プログラムを提供することを目的としている。
【課題を解決するための手段】
【0006】
本発明の第1の態様によれば、空間認識装置は、検出範囲に位置する複数の静止構造物それぞれの高さ方向に異なる位置に設けられた反射板に光を照射しその反射光を受光する移動体に取り付けられた光学装置から前記光の照射方向に応じた反射光から得られる情報を取得し、前記検出範囲の各座標における前記反射光から得られる情報の分布に基づいて前記反射板が設けられた複数の前記静止構造物と移動体との位置関係を少なくとも判定する解析部、を備え、前記反射光から得られる情報の分布は前記反射光の強度が強度閾値を超える範囲の分布であり、前記解析部は、前記検出範囲の像面において縦方向と横方向に分割された各ピクセルのうち前記反射光の強度が強度閾値を超えるピクセル群の高強度範囲に含まれるピクセルの数に基づいて解析対象となる前記反射板を判別し、解析対象とした前記反射板の高さを算出し、算出された前記反射板の高さに応じて反射板を特定し、解析対象とした前記反射板が設けられた前記静止構造物と前記移動体との位置関係を少なくとも判定することを特徴とする。
【0007】
本発明の第2の態様によれば、空間認識方法は、空間認識装置が、検出範囲に位置する複数の静止構造物それぞれの高さ方向に異なる位置に設けられた反射板に光を照射しその反射光を受光する移動体に取り付けられた光学装置から前記光の照射方向に応じた反射光から得られる情報を取得し、前記反射光から得られる情報の分布は前記反射光の強度が強度閾値を超える範囲の分布であり、前記検出範囲の各座標における前記反射光から得られる情報の分布に基づいて前記反射板が設けられた複数の前記静止構造物と移動体との位置関係を少なくとも判定する処理において、前記検出範囲の像面において縦方向と横方向に分割された各ピクセルのうち前記反射光の強度が強度閾値を超えるピクセル群の高強度範囲に含まれるピクセルの数に基づいて解析対象となる前記反射板を判別し、解析対象とした前記反射板の高さを算出し、算出された前記反射板の高さに応じて反射板を特定し、解析対象とした前記反射板が設けられた前記静止構造物と前記移動体との位置関係を少なくとも判定することを特徴とする。
【0008】
本発明の第3の態様によれば、プログラムは、空間認識装置のコンピュータを、検出範囲に位置する複数の静止構造物それぞれの高さ方向に異なる位置に設けられた反射板に光を照射しその反射光を受光する移動体に取り付けられた光学装置から前記光の照射方向に応じた反射光から得られる情報を取得し、前記検出範囲の各座標における前記反射光から得られる情報の分布に基づいて前記反射板が設けられた複数の前記静止構造物と移動体との位置関係を少なくとも判定する解析手段、として機能させ、前記反射光から得られる情報の分布は前記反射光の強度が強度閾値を超える範囲の分布であり、前記解析手段は、前記検出範囲の像面において縦方向と横方向に分割された各ピクセルのうち前記反射光の強度が強度閾値を超えるピクセル群の高強度範囲に含まれるピクセルの数に基づいて解析対象となる前記反射板を判別し、解析対象とした前記反射板の高さを算出し、算出された前記反射板の高さに応じて反射板を特定し、解析対象とした前記反射板が設けられた前記静止構造物と前記移動体との位置関係を少なくとも判定することを特徴とする。
【発明の効果】
【0009】
本発明によれば、静止構造物が同じパターンで数多く並び多様な物体が載置される空間において、空間認識装置が移動体の現在位置を容易に認識することができる。
【図面の簡単な説明】
【0010】
【
図1】本発明の一実施形態による空間認識システムの概要を示す図である。
【
図2】本発明の一実施形態による空間認識装置のハードウェア構成を示す図である。
【
図3】本発明の一実施形態による空間認識装置の機能ブロックを示す図である。
【
図4】本発明の一実施形態による空間認識装置の処理フローを示す図である。
【
図5】本発明の一実施形態によるセンシング情報の具体例を示す図である。
【
図6】本発明の一実施形態によるフォークリフトの位置する座標の算出概要を示す図である。
【
図7】本発明の一実施形態による反射板の第一の他の例を示す図である。
【
図8】本発明の一実施形態による反射板の第二の他の例を示す図である。
【
図9】本発明の一実施形態による空間認識装置の最小構成を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の一実施形態による空間認識装置を図面を参照して説明する。
図1は同実施形態による空間認識装置を備えたフォークリフトを含む空間認識システムの概要を示す図である。
図1で示すフォークリフト10は、多様な荷物が載置され静止構造物が同じパターンで数多く並んでいるような空間内を移動する移動体の一例である。フォークリフト10はフォークリフト10の移動できる空間に載置されるコンテナ等の荷物を運搬する。フォークリフト10は一例として、空間認識装置1、レーダ装置11、地上通信アンテナ12、衛星アンテナ13などを備える。
【0012】
空間内に配置される静止構造物は例えば柱や壁などである。
図1は角柱状や円柱状の柱に反射板R1、R2、R3が取り付けられている様子を示している。反射板R1、R2、R3を総称して反射板Rと呼ぶこととする。フォークリフト10に取り付けられた光学装置の一つであるレーダ装置11は、空間認識装置1の制御に基づいて空間内の検出範囲に光を照射し、その光の反射光を受光する。反射板Rにおいて反射しレーダ装置11で受光した反射光の受光強度は、反射板R以外の位置で反射してレーダ装置11で受光した反射光の受光強度に比べて強い。レーダ装置11は反射光から得られる受光強度などの情報を空間認識装置1へ出力する。レーダ装置11は反射光に基づいて算出した各反射位置までの距離の情報も空間認識装置1へ出力する。
【0013】
レーダ装置11は検出範囲の像面を細かく分割した各ピクセルに対応する各反射位置それぞれに対して光を照射し、その反射位置から反射した反射光から得られる受光強度や距離の情報を空間認識装置1へ出力する。空間認識装置1は、光の反射位置に応じた反射光から得られる受光強度や距離等の情報をレーダ装置11から取得し、その情報の分布に基づいて反射板Rが設けられた静止構造物や移動体の位置を少なくとも判定する。空間認識装置1は、反射板Rと推定される範囲における反射光の情報の分布に基づいて、反射板Rが設けられた静止構造物の識別情報を解析してもよい。また、空間認識装置1は、反射板Rに設けられた凹凸の分布を解析して、反射板Rが設けられた静止構造物の識別情報を解析してもよい。空間認識装置1は、静止構造物の位置に基づいて移動体の位置を解析してもよい。
【0014】
図2は同実施形態による空間認識装置のハードウェア構成を示す図である。
空間認識装置1は、CPU(Central Processing Unit)201、IF(Interface)202、通信モジュール203、ROM(Read Only Memory)204、RAM(Random Access Memory)205、HDD(Hard Disk Drive)206などの構成を備えている。通信モジュール203は地上通信アンテナ12や衛星アンテナ13を介した信号の送受信を行う。IF202は、例えば空間認識装置1に設けられたタッチパネルディスプレイ等に接続されている。
【0015】
図3は同実施形態による空間認識装置の機能ブロックを示す図である。
空間認識装置1は制御部101、解析部102、車両情報取得部103、表示部104、記録部105の各機能部を備える。
制御部101は、空間認識装置1に備わる各機能を制御する。
解析部102は、検出範囲に位置する静止構造物に設けられた反射板Rに光を照射しその反射光を受光するレーダ装置11から光の照射方向に応じた反射光から得られる情報を取得する。解析部102は、レーダ装置11の検出範囲の各座標における反射光から得られる情報の分布に基づいて反射板Rが設けられた静止構造物と移動体との位置関係を少なくとも判定する。
車両情報取得部103は空間認識装置1が備わるフォークリフト10のID等を取得する。
表示部104は空間認識装置1に設けられたモニタ等に警告情報や位置情報などの表示情報を出力する。
記録部105は解析部102の解析結果等の情報をROM204やRAM205等の記憶部に記録する。
【0016】
図4は空間認識装置の処理フローを示す図である。
次に空間認識装置の処理フローについて順を追って説明する。
フォークリフト10を操作するユーザは空間認識装置1を制御して、一例としてはフォークリフト10の現在位置と近傍に載置されるコンテナ等の物体の種別を検出するものである。ユーザは処理開始の指示を空間認識装置1に与える。すると空間認識装置1の制御部101はレーダ装置11に処理開始を指示する。レーダ装置11は自装置の検出範囲の各方向に光を照射し、反射位置からの反射光を受光する。レーダ装置11は一例としては検出範囲に含まれる各物体から反射した反射光の強度を、その光の照射方向毎に検出するものであってよい。レーダ装置11は1秒や数ミリ秒など所定の間隔毎に、検出範囲の各方向に照射した光の反射光の強度を空間認識装置1へ出力する。フォークリフト10が移動することによりレーダ装置11の検出範囲も変動する。制御部101は所定の間隔毎に、レーダ装置11から受信した検出範囲内の各光照射方向に対応する反射光の受光強度や、その反射光の反射位置までの距離を含むセンシング情報を生成する(ステップS101)。制御部101はセンシング情報を解析部102へ出力する。センシング情報には検出範囲の像面を細かく分割した各ピクセルを示す情報と、それら各ピクセルに対応する各反射位置からの反射光の受光強度と、各ピクセルに対応する反射位置までの距離とが少なくとも含まれる。
【0017】
図5はセンシング情報の具体例を示す図である。
解析部102は検出範囲のセンシング情報を受信すると、センシング情報から受光量などの反射光強度が所定の値以上となる高強度範囲A2のデータ群を取り出す。高強度範囲A2のデータ群は、一例としては
図5で示すような検出範囲A1内において反射光の強度(受光量)が高い高強度範囲A2に対応する反射位置からの反射光の受光強度を示す。
図5で示す高強度範囲A2のデータ群は、当該範囲A2において縦方向13行、横方向17列の分割された各ピクセルの光の照射方向に対応する反射光の強度を一例として示している。解析部102は高強度範囲A2の各ピクセルの行方向に順次、反射光強度が閾値以上かを判定し、反射高強度が閾値以上のピクセルを特定する。解析部102はその反射光強度が閾値以上のピクセルの特定処理を、高強度範囲A2の各行について行う。解析部102は反射光強度が閾値以上のピクセル群の範囲を、解析対象の反射板Rの範囲と判定する(ステップS102)。
【0018】
解析部102が検出した反射板Rと推定される高強度範囲A2のピクセルの列方向や行方向の範囲が所定のピクセル数未満である場合には、ほぼ反射板Rの範囲が点として認識されるような反射板Rから遠い位置にレーダ装置11を備えたフォークリフト10が位置すると判定できる。また解析部102が検出した反射板Rと推定される高強度範囲A2のピクセルの列方向や行方向の範囲が検出範囲A1全体を覆うようなあるピクセル数以上である場合には、反射板Rにかなり近い位置にフォークリフト10が位置すると判定できる。解析部102は一例としては、反射板Rが点として認識されるような反射板Rから遠い位置にフォークリフト10が位置する場合、その反射板Rを解析対象から除くようにしてよい。解析部102は解析対象の反射板Rの範囲と判定した高強度範囲A2内の各ピクセル番号やそれぞれのピクセルの反射光強度を含む反射板データを生成する(ステップS103)。
【0019】
解析部102は反射板データをセンシング情報内から生成した場合、その反射板データが示す反射板Rの範囲の中央部分の高さを算出する(ステップS104)。例えば解析部102はレーダ装置11の取り付けられている高さH1と、反射板Rの中央部分の反射光を受信した場合の光照射方向の角度θと、その光の照射時刻から受光時刻までの時間に基づいて算出した反射板Rの中央部分までの距離Xとに基づいて、反射板Rの中央部分の高さH2を、H2=H1+Xsinθにより算出することができる。
【0020】
反射板Rは例えば静止構造物である柱や壁それぞれにおいて高さH2の異なる位置に設けられている。解析部102はレーダ装置11の光の照射方向を制御して各方向の検出範囲に映る反射板の高さに応じた反射板IDをHDD206等の記憶部から読み取る(ステップS105)。なお静止構造物である柱や壁それぞれに設けられた反射板Rは異なる形状をしており、解析部102は反射板Rの形状をパターン認識などにより解析し、その形状に対応する反射板IDを記憶部から読み取るようにしてもよい。
【0021】
HDD206には反射板IDに応じた空間内の位置(座標)が記録されている。解析部102は反射板IDに対応する空間内の位置を読み取る(ステップS106)。解析部102はセンシング情報から複数の解析対象の反射板Rが検出できる場合には、それぞれの反射板Rに対応する反射板IDと位置を検出する。また解析部102は解析対象の反射板Rの範囲の中央部分のピクセルを示す反射位置までの距離をセンシング情報から特定する(ステップS107)。解析部102は3つ以上の反射板Rまでの距離を算出したかを判定する(ステップS108)。解析部102は3つ以上の反射板Rまでの距離を算出していない場合にはステップS101の処理に戻り、レーダ装置11から受信した信号に基づいて次のセンシング情報の生成からの処理を繰り返す。
【0022】
図6はフォークリフトの位置する座標の算出概要を示す図である。
解析部102は複数の反射板IDとその反射板Rの絶対位置と反射板Rの中央部分までの距離とを取得すると、それらの情報に基づいて自装置の位置を算出する。例えば解析部102は、反射板R1の座標(x1,y1)を中心としその反射板R1の中央部分からレーダ装置11までの距離L1を半径とする第一の円と、反射板R2の座標(x2,y2)を中心としその反射板R2の中央部分からレーダ装置11までの距離L2を半径とする第二の円、反射板R3の座標(x3,y3)を中心としその反射板R3の中央部分からレーダ装置11までの距離L3を半径とする第三の円との交点を算出する。解析部102はその交点を自装置が備わるフォークリフト10の座標であると特定する(ステップS109)。表示部104は解析部102の算出したフォークリフト10の位置を空間認識装置1に備わるモニタに表示された空間地図上に出力する(ステップS110)。これによりユーザはフォークリフト10が走行する空間における位置情報を認識することができる。また表示部104はフォークリフト10の位置に基づいて、その位置の近傍に載置されるコンテナ等の荷物ID、荷物の種類、荷物の量などの情報をHDD106から取得し、モニタに表示されている空間地図上に重ねて出力してもよい。制御部101は処理を終了するかを判定する(ステップS111)。制御部101は処理を終了しない場合にはステップS101からの処理を繰り返すよう制御する。
【0023】
上述の処理によれば、フォークリフト10に備えられた空間認識装置1は、静止構造物が同じパターンで数多く並び多様な物体が載置される空間において、フォークリフト10の現在位置やその位置の近傍に載置される物体を容易に認識することができる。また空間認識装置10は位置情報発信タグから発信された信号を解析して自装置の位置を特定する装置や、GNSSなどによる位置を解析して自装置の位置を特定する装置を備えなくてよく、静止構造物に反射板Rを備え付ければよいため、システムを構成する装置のコストを軽減することができる。また空間認識装置1は電子回路に影響を及ぼす電波を用いずに光により自装置の取り付けられた移動体の位置を測定する為、電波信号の発信を抑制されるエリアにおける自装置の位置の認識に有用である。
【0024】
なお上述の処理において解析部102は反射光強度が閾値以上となる範囲に基づいて反射板Rの範囲であるかどうかを判定している。しかしながら解析部102はさらに反射光強度が閾値以上となったピクセル範囲に隣接する、反射光強度が閾値未満となったピクセルやそのピクセル範囲の反射光強度との差が所定の閾値以上となる場合にのみ、反射光強度が閾値以上となったピクセル範囲を解析対象の反射板Rの範囲と特定してもよい。
【0025】
図7は反射板の第一の他の例を示す図である。
反射板RにはQRコード(登録商標)などの2次元コード情報Dが印刷されていてもよい。この場合、解析部102は反射板Rの範囲と判定した高強度範囲A2において反射光強度が閾値未満となるピクセルと、反射光強度が閾値以上となるピクセルを2値に分けて、その2値画像が2次元コード情報Dであると判定する。解析部102は高強度範囲A2内の2値画像に基づいて、2次元コード情報Dを解析する従来の手法により、その反射板Rの座標や柱番号などの情報を読み取るようにしてもよい。
【0026】
図8は反射板の第二の他の例を示す図である。
反射板Rは
図7で示すように凹凸がもうけられていてもよい。この場合、解析部102は反射板Rの範囲と判定した高強度範囲A2の各ピクセルに対応する反射位置までの距離を算出し、その距離に基づいて隣接するピクセル間の距離の差が大きいピクセルと、隣接するピクセル間の距離が小さいピクセルとを検出する。解析部102は隣接するピクセルとの距離の大小に基づいて各ピクセルを2値化して、その2値画像が2次元コード情報Dであると判定する。解析部102は高強度範囲A2内の2値画像に基づいて、2次元コード情報Dを解析する従来の手法により、その反射板Rの座標や柱番号などの情報を読み取るようにしてもよい。
【0027】
図9は空間認識装置の最小構成を示す図である。
空間認識装置1は少なくとも解析部を備えればよい。
解析部102は、検出範囲に位置する静止構造物に設けられた反射板に光を照射しその反射光を受光する光学装置から前記光の照射方向に応じた反射光から得られる情報を取得する。解析部102は、検出範囲の各座標における反射光から得られる情報の分布に基づいて反射板が設けられた静止構造物と移動体との位置関係を少なくとも判定する。
【0028】
上述の空間認識装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【0029】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【符号の説明】
【0030】
1・・・空間認識装置
10・・・フォークリフト
11・・・レーダ装置
12・・・地上通信アンテナ
13・・・衛星アンテナ
101・・・制御部
102・・・解析部
103・・・車両情報取得部
104・・・表示部
105・・・記録部