(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024167609
(43)【公開日】2024-12-04
(54)【発明の名称】情報処理装置、制御方法及びプログラム
(51)【国際特許分類】
G05D 1/43 20240101AFI20241127BHJP
【FI】
G05D1/02 H
G05D1/02 P
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2023083807
(22)【出願日】2023-05-22
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(72)【発明者】
【氏名】諫武 賢志
【テーマコード(参考)】
5H301
【Fターム(参考)】
5H301AA02
5H301BB05
5H301BB14
5H301CC03
5H301CC06
5H301CC10
5H301GG09
5H301KK08
5H301KK18
(57)【要約】
【課題】移動体の位置姿勢の計測精度の低下を低減することである。
【解決手段】情報処理装置は、移動体に配置したセンサの位置を取得する取得手段と、前記センサの位置に基づいて、前記移動体の周辺の物体の素材情報を含めた物体情報を取得する素材情報取得手段と、前記素材情報取得手段で取得した前記物体情報に基づいて、前記移動体、前記移動体のセンサ、前記物体、及び前記移動体の位置又は姿勢の計測方法の少なくとも1つを制御する制御手段と、を有する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
移動体に配置したセンサの位置を取得する取得手段と、
前記センサの位置に基づいて、前記移動体の周辺の物体の素材情報を含めた物体情報を取得する素材情報取得手段と、
前記素材情報取得手段で取得した前記物体情報に基づいて、前記移動体、前記移動体のセンサ、前記物体、及び前記移動体の位置又は姿勢の計測方法の少なくとも1つを制御する制御手段と、
を有する情報処理装置。
【請求項2】
前記制御手段は、前記物体情報に起因して変位した、前記センサが計測した前記物体の特徴の空間的ずれ量を、前記移動体の位置又は姿勢の計測精度の低下度合いの指標として推定し、前記指標に基づいて、前記移動体、前記移動体のセンサ、前記物体、及び前記移動体の位置又は姿勢の計測方法の少なくとも1つを制御する、
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記制御手段は、前記指標に基づいて、前記物体の特徴点の特徴の寄与率を決定し、前記寄与率が高い前記特徴を優先的に使用して、移動体の位置又は姿勢の計測方法を制御する、
ことを特徴とする請求項1に記載の情報処理装置。
【請求項4】
前記制御手段は、前記指標に基づいて、前記物体が前記移動体のセンシング範囲内に入らないように前記移動体の位置及び姿勢の少なくとも一方、又は前記移動体のセンサの計測範囲を制御する、
ことを特徴とする請求項1に記載の情報処理装置。
【請求項5】
前記制御手段は、前記指標に基づいて、前記移動体が前記移動体の位置又は姿勢の計測精度の低下する箇所を計測しないように、前記物体の稼働状態を制御する、
ことを特徴とする請求項1に記載の情報処理装置。
【請求項6】
前記取得手段、前記素材情報取得手段、及び前記制御手段の少なくとも1つによる結果を通知する通知手段をさらに有する、
ことを特徴とする請求項1に記載の情報処理装置。
【請求項7】
移動体に配置したセンサの位置を取得する取得工程と、
前記センサの位置に基づいて、前記移動体の周辺の物体の素材情報を含めた物体情報を取得する素材情報取得工程と、
前記素材情報取得工程で取得した前記物体情報に基づいて、前記移動体、前記移動体のセンサ、前記物体、及び前記移動体の位置又は姿勢の計測方法の少なくとも1つを制御する制御工程と、
を有する制御方法。
【請求項8】
請求項1から請求項6のいずれか一項に記載の各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自律移動体の制御技術に関する。
【背景技術】
【0002】
近年、無人搬送車(例えば、AGV)や自律走行搬送ロボット(例えばAMR)と呼ばれる工場や物流倉庫といった環境内で稼働する移動体が注目されている。AGVは、Automated Guided Vehicleの略称である。AMRは、autonomous Mobile Robotの略称である。この移動体としては、自己の位置や姿勢(以下「位置姿勢」という)を計測しながら走行するものや、走行中に移動体の走行経路上で近位に存在する設備や人を障害物として検知(以下「障害物検知」という)するものが知られている。
【0003】
ところで、位置姿勢の計測や障害物検知は、例えば移動体が撮影した周辺画像に基づいて行うが、周辺の物体の素材によっては、位置姿勢や障害物検知の計測精度が低下又は計測できない場合がある。例えば、ガラスは光の屈折により物体の位置が実際の位置とずれる、又はガラスに映る反射像は時間帯によって見え方が変化するために位置姿勢計測結果に影響してしまう場合がある。また、ガラスや鏡は反射像や奥に位置する物体が透過して撮像されるため、ガラスや鏡自体は計測されず、障害物として検知できなかった。
【0004】
これに対し、特許文献1の自律移動ロボットは、周辺のガラスを検出するために、測距センサの計測結果が不安定な計測対象をガラスと断定し、そのガラスの位置情報を位置姿勢計測に用いる地図に設定している。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述のように従来、移動体の周辺にガラスがある状況であっても、移動体の位置姿勢の計測精度を向上させる検討がされている。しかしながら、物体の素材や形状には詳しく着目しておらず、移動体の位置姿勢の計測精度が低下することがあった。
【0007】
本発明は、移動体の位置姿勢の計測精度の低下を低減することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一実施形態の情報処理装置は、移動体に配置したセンサの位置を取得するセンサ情報取得手段と、前記センサの位置に基づいて、前記移動体の周辺の物体の素材情報を含めた物体情報を取得する素材情報取得手段と、前記素材情報取得手段で取得した前記物体情報に基づいて、前記移動体、前記移動体のセンサ、前記物体、及び前記移動体の位置又は姿勢の計測方法の少なくとも1つを制御する制御手段と、を有する。
【発明の効果】
【0009】
本発明によれば、移動体の位置姿勢の計測精度の低下を低減することができる。
【図面の簡単な説明】
【0010】
【
図1】本発明の第1実施形態に係る情報処理装置の利用場面の一例を示す概略図である。
【
図2】本発明の第1実施形態に係るシステムのモジュール構成を示すブロック図である。
【
図3】
図2に示した情報処理装置202のハードウェア構成を示すブロック図である。
【
図4】
図2に示した情報処理装置202が実行する処理全体の流れを示すフローチャートである。
【
図5】本発明の第1実施形態において、
図2に示した情報処理装置202において物体の特徴点の特徴の寄与率変更制御を行う処理を示すフローチャートである。
【
図6】本発明の第2実施形態において、
図2に示した情報処理装置202において移動体制御を行う処理を示すフローチャートである。
【
図7】本発明の第3実施形態において、
図2に示した情報処理装置202において物体制御を行う処理を示すフローチャートである。
【
図8】本発明の第4実施形態に係る通知手段の一例としての表示画面を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について図面を用いて説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
【0012】
[第1実施形態]
<概要>
まず、本発明の第1実施形態に係る情報処理装置が利用される環境の概要について説明する。本実施形態では、ガラス物体がある環境下を、移動体が地図に基づいて自律走行する場合に、本発明の第1実施形態に係る情報処理装置を適用した事例について説明する。
【0013】
移動体が用いる地図は、例えばVisual SLAM技術を用いて移動体自身の位置及び姿勢の少なくとも一方(以下、「位置姿勢」という)を計測する位置姿勢計測用地図である。SLAMは、Simultaneous Localization and Mappingの略称である。以下、位置姿勢計測用地図を単に地図ともいう。そしてこの地図には、移動体が計測した周辺物体の視覚的特徴点が地図データの自然特徴点とその特徴(量)(以下、「特徴点」、「特徴(量)」という)として記録されている。特徴点は、例えば輝度勾配値がx方向とy方向の両方で大きい点である。その特徴点を中心とした局所領域から得られる特徴を「特徴(量)」としている。SIFT特徴、SURF特徴、ORB特徴などを用いる。
【0014】
移動体が走行中に、情報処理装置は、移動体の位置姿勢を取得する。そして、情報処理装置は、移動体の位置姿勢に基づいて、移動体の近傍に存在するガラスの情報であるガラス情報を物体情報データベース(例えば、BIM)から取得する。BIMは、Building Information Modelingの略称である。
記録されている。
【0015】
情報処理装置は、取得したガラス情報のうち、素材と位置姿勢の情報を参照する。ガラス情報は、ガラスの素材についての情報である素材情報を含む。情報処理装置は、ガラスの素材に起因した、移動体による位置姿勢計測精度の低下度合いの指標としてのシフト量を推定する。このシフト量は、移動体が計測したガラスより奥に位置する物体の特徴点の位置が、ガラス素材に起因して変位した空間的なずれ量である。
【0016】
情報処理装置は、各物体の特徴点とその特徴(量)を利用して、位置姿勢計測を行う。情報処理装置は、ガラスより奥に位置するある物体についてのシフト量が大きいほど、その物体の特徴点の特徴(量)の、位置姿勢計測における寄与率を下げる。具体的な処理については、後述する。
【0017】
<利用形態>
図1は、本発明の第1実施形態に係る情報処理装置の利用場面の一例を示す概略図である。場面101は、本実施形態に係る移動体102が、ガラス103に向かって、経路105に沿って走行する様子を示している。
【0018】
情報処理装置202(
図2参照)は、移動体102に配置される。情報処理装置202は、移動体102とともに移動するものでよく、移動体102に固定的に設定されたものに限られない。ガラス103には、ガラス越しに見えるテーブル104が映っており、これが移動体102から見える。テーブル104は、ガラス103より奥に位置する物体の一例である。
【0019】
この時、移動体102から見るテーブル104は、ガラス103越しに見るため、ガラス103の屈折と厚みにより実際の位置からずれた位置で見えている。移動体102は、内蔵する撮像センサ309(
図3参照)による撮像画像を用いてテーブル104の特徴点とその特徴(量)を計測して移動体102の位置姿勢を計測する。ガラス103の位置姿勢、形状、屈折率、及び厚み等は、物体情報データベース106が保持している。移動体102は、物体情報データベース106と無線通信網を通じて通信可能である。移動体102は、物体情報データベース106からガラス103の位置姿勢、形状、屈折率、及び厚み等の情報を取得可能である。また、ガラス103は、物体制御装置107と通信可能である。物体制御装置107は、ガラス103の表面の曇り度合いを電気的に変更できる。
【0020】
<構成>
本実施形態に係るシステムの構成を、
図2を用いて説明する。
図2は、本発明の第1実施形態に係るシステムのモジュール構成を示すブロック図である。
【0021】
図2に示す情報処理システム201は、移動体102に配置される。情報処理システム201は、移動体102とともに移動するものでよく、移動体102に固定的に設定されたものに限られない。情報処理システム201は、情報処理装置202、センサ制御部203、及び位置姿勢計測部204を有する。
【0022】
情報処理装置202は、センサ位置取得部205、素材情報取得部206、及び制御部207を備える。情報処理装置202は、無線により、物体情報データベース106と通信する。物体情報データベース106は、物体情報送信部208を有する。
【0023】
センサ位置取得部205は、移動体102に配置した撮像センサ309の位置姿勢を取得することで、移動体102の位置姿勢を取得する。本実施形態では、センサ位置取得部205は、移動体102が走行中の現在の位置姿勢を取得する。
【0024】
素材情報取得部206は、センサ位置取得部205で取得した移動体102の位置姿勢に基づいて、移動体102の周辺のガラスの素材情報を含めた物体情報を、物体情報データベース106の物体情報送信部208から取得する。本実施形態では、素材情報取得部206は、ガラスの素材情報としてガラスの屈折率と厚みを取得する。また、素材情報取得部206は、ガラスの素材情報に、ガラスの位置および姿勢と形状情報を含めた情報を、物体情報として取得する。
【0025】
制御部207は、素材情報取得部206で取得した物体情報に基づいて、移動体102の位置姿勢計測精度低下を軽減する対象を制御する。本実施形態における対象の制御とは、位置姿勢計測部204に対して実施する、ガラスより奥に位置する物体の特徴点の特徴(量)の寄与率の変更制御である。制御部207による処理の詳細は、
図4及び
図5を参照して後述する。
【0026】
<ハードウェア構成の説明>
図3は、本発明の第1実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。
図2の情報処理装置202は、
図3に示すハードウェア構成を有する。情報処理装置202は、CPU19、ROM302、RAM303、外部メモリ304、システムバス305、入力部306、表示部307、I/O308、及び撮像センサ309を有する。CPUは、Central Processing Unitの略称である。ROMは、Read Only Memoryの略称である。RAMは、Random Access Memoryの略称である。I/Oは、Input/Outputの略称である。
【0027】
撮像センサ203は、I/O308に接続される。センサ位置取得部205は、撮像センサ203による撮像画像を取得する。撮像センサ203は、情報処理装置202外に設けられるものでもよい。
【0028】
CPU301は、システムバス305に接続された各種デバイスの制御、及び情報処理装置202での処理の制御を行う。ROM302は、BIOSのプログラムやブートプログラムを記憶する。BIOSは、Basic Input Output Systemの略称である。RAM303は、CPU301の主記憶装置として使用される。
【0029】
外部メモリ304は、情報処理装置202が処理するプログラムを格納する。入力部306は、キーボードやマウスであり、情報の入力に係る処理を行う。表示部307は、CPU301からの指示に従って情報処理装置202の演算結果を表示装置に出力する。なお、表示装置は、液晶表示装置やプロジェクタ、LEDインジケーターなど、種類は問わない。LEDは、Light Emitting Diodeの略称である。
【0030】
情報処理装置202は、通信インターフェイスを有してもよい。通信インターフェイスは、ネットワークを介して情報通信を行うものである。通信インターフェイスは、イーサネットでもよく、USB、シリアル通信、無線通信等でもよく、種類は問わない。USBは、Universal Serial Busの略称である。
【0031】
<処理手順及び詳細な処理方法>
以下、本実施形態に係る情報処理装置202の処理手順及び詳細な処理方法について、
図4及び
図5を用いて説明する。
図4は、
図2に示した情報処理装置202が実行する処理の全体の流れを示すフローチャートである。
【0032】
ステップS401でセンサ位置取得部205は、移動体102の位置姿勢を取得する。ステップS402で素材情報取得部206は、センサ位置取得部205で取得した移動体102の位置姿勢を入力として、物体情報データベース106から移動体102の周辺の物体の素材情報を含めた物体情報を取得する。本実施形態では、素材情報取得部206は、素材情報としてのガラスの屈折率、厚み、位置、姿勢、及び形状情報を含む物体情報を取得する。
【0033】
ステップS403で制御部207は、ステップS402で取得した物体情報に基づいて、移動体102の位置姿勢計測精度の低下を低減する対象を制御する。本実施形態における対象とは、ガラスより奥に位置する特徴点の特徴(量)の寄与率の変更制御である。この制御の詳細は
図5を参照して説明する。
【0034】
図5は、
図2に示した情報処理装置202においてガラスより奥に位置する特徴点の特徴(量)の寄与率の変更を行う処理を示すフローチャートである。また
図5は、
図4のステップS403の詳細な処理の流れを示すフローチャートである。
【0035】
ステップS501で制御部207は、素材情報取得部206で取得した物体情報から、その物体情報に起因する移動体102の位置姿勢計測精度の低下度合いを推定する。具体的には、素材情報の屈折率と厚みを用いて、ガラス越しに観測することで検知位置がずれた偽の特徴点までの光線と、ガラス越しに観測しない場合の位置ずれのない特徴点の位置までの光線間の距離を算出する。そして、算出した距離を、位置姿勢計測精度の低下度合いであるシフト量として推定する。
【0036】
ステップS502で制御部207は、素材情報取得部206で取得した物体情報から、移動体102に配置したセンサのセンシング範囲内の物体領域を決定する。本実施形態では具体的には、物体の位置姿勢と形状から、ガラスよりも奥に位置する撮像画像内の物体の領域を決定する。建材は物体の一例である。
【0037】
ステップS503で制御部207は、ステップS501で決定した位置姿勢計測精度の低下度合いに応じてガラスより奥に位置する特徴点の特徴(量)の寄与率を決定する。具体的には、シフト量が高いほど寄与率を下げるように寄与率を決定する。その時のシフト量をp、予め定められたシフト量上限値p_max、寄与率をmとしたとき、寄与率mはシフト量pのシフト量上限値p_maxに対する割合のm=1.0―p/p_maxとして決定する。ここでシフト量上限値とは、シフト量がその値を超えた場合、移動体の計測からは無視する(位置姿勢計測への寄与を0とする)シフト量の閾値である。
【0038】
ステップS504で制御部207は、ステップS503で決定した寄与率に基づいて、ステップS502で決定した物体領域の位置姿勢計測方法を変更するように制御する。具体的には、物体領域内の特徴点の特徴(量)の寄与率として、ステップS503で決定した寄与率を適用することで、ガラス領域内の特徴点の特徴(量)の寄与率を下げる。位置姿勢計測部204は、この寄与率を適用して、移動体102の位置姿勢を計測する処理を実行する。位置姿勢計測部204は、寄与率が高い特徴量を優先的に使用して、移動体の位置又は姿勢の計測を行ってもよい。なお、本発明は、ガラス領域内の特徴点の特徴(量)の寄与率を下げるのではなく、ガラス領域以外の特徴点の特徴(量)の寄与率を挙げることで、相対的にガラス領域内の特徴点の特徴(量)の寄与率を下げてもよい。
【0039】
<効果>
以上のように本実施形態によれば、走行する移動体の周辺のガラスのような物体による移動体の位置姿勢計測精度の低下を軽減することができる。
【0040】
<第1実施形態の変形例>
(変形例1-1)位置姿勢計測方法のバリエーション
第1実施形態での移動体102は、Visual SLAM技術を用いて移動体の位置姿勢を計測したが、移動体の位置姿勢計測ができれば、他の方法でも構わない。例えば、LiDAR SLAM方式や、Depth SLAM方式を用いても構わない。Lidarは、Light Detection and Rangingの略称である。これにより、移動体の位置姿勢計測方法によらず、第1実施形態に記載したように位置姿勢計測精度の低下を軽減することができる。
【0041】
(変形例1-2)ガラスの素材情報のバリエーション
第1実施形態での素材情報は、ガラスの屈折率と厚みであったが、これは移動体の位置姿勢計測精度を低下する要因となる素材情報であれば、他の素材情報でも構わない。例えば、ガラスの透明度又は曇り度でも構わない。例えば、物体情報データベース106から取得したガラスの透明度又は曇り度に基づいて、移動体が計測する像のボケ量を推定し、そのボケ量が大きいほどガラスより奥に位置する特徴点の特徴(量)の寄与率を下げても構わない。このように、移動体周辺のガラスの具体的な素材情報によらず、移動体の位置姿勢計測精度を低下する要因となるガラスの素材情報であれば、第1実施形態に記載したように位置姿勢計測精度の低下を軽減することができる。
【0042】
(変形例1-3)寄与率変更をする特徴点のバリエーション
第1実施形態では制御装置202が寄与率を変更する特徴点はガラスより奥に位置するものを対象にしていた。これは移動体の位置姿勢計測精度を低下させる特徴(量)を対象とできれば、これ以外の特徴(量)でも構わない。例えば、移動体とガラスの間に人や障害物がなければ、単純にセンシング範囲におけるガラス方向に存在するすべての特徴点の特徴(量)の寄与率を変更しても構わない。これにより寄与率を変更する特徴点の位置に限らずに、第1実施形態に記載したように位置姿勢計測精度の低下を軽減することができる。
【0043】
(変形例1-4)物体の種類のバリエーション
第1実施形態での物体はガラスであったが、これは移動体の位置姿勢計測精度の低下度合いの指標を決定できる物体であれば、他の物体でも構わない。例えば、鏡、光沢のある床や壁でも構わない。鏡の場合は、物体情報データベース106から取得した鏡の位置姿勢と形状に基づいて、鏡方向の特徴点の特徴(量)の寄与率を下げても構わない。これはガラスの反射も同様である。光沢のある床や壁の場合は、物体情報データベース106から取得した床や壁の光沢度合いに基づいて、光沢度合いが高いほど光沢のある壁や床方向の寄与率を下げても構わない。これにより、移動体周辺にガラス以外の物体があり、その物体により移動体の位置姿勢計測が低下する場合でも、第1実施形態に記載したように位置姿勢計測精度の低下を軽減することができる。
【0044】
また、ガラスの反射による位置姿勢計測精度低下を軽減する場合、第1実施形態での制御部207では、対象のガラスの全領域の特徴点の特徴(量)を一律で寄与率変更する制御を実施した。これは位置姿勢計測に影響する箇所を詳細に特定できれば、制御する物体の特定の領域の特徴点の特徴(量)の寄与率を変更する制御を実施しても構わない。例えば、物体情報データベース106から取得したガラスの位置姿勢及び形状と他の物体の位置姿勢に基づいて、ガラスの反射像の位置を特定し、物体領域内の反射像の領域内の特徴点の特徴(量)のみ、寄与率を変更しても構わない。これにより、位置姿勢に影響のある物体の領域を細かく特定して、その領域のみの、物体に起因する位置姿勢計測結果への影響を確実に低減することができる。
【0045】
(変形例1-5)センサの計測特性を考慮した物体情報
第1実施形態での制御部207は、物体情報に基づいて、物体に起因する移動体の位置姿勢計測精度が低下するのを防いでいる。本発明は、更にセンサの計測特性も考慮して、特徴点の特徴(量)の寄与度を制御してもよい。例えば、移動体に配置したセンサが、光源から照射された光の反射を利用して測距する測距センサであり、物体情報データベース106から取得したガラスの色情報が「赤」である場合への対応について説明する。この場合、移動体のセンサ光も赤系色の場合は、特徴点がシフトするか否か以前に計測ができない。このため、第1実施形態に記載の内容に加えて、更に赤系色の輝度値に応じて寄与率を変更して、赤系色の輝度値が高いほどガラスより奥に位置する特徴点の特徴(量)の寄与率をより下げるように制御変更しても構わない。反対に、ガラスが赤系色であって、センサが緑系色の場合は、第1実施形態と同様の寄与率変更を実施して構わない。これにより、センサ特性によって位置姿勢計測精度の低下度合いが変化する場合でも、位置姿勢計測精度の低下を軽減することができる。
【0046】
(変形例1-6)位置姿勢計測精度の低下度合いの指標の決定方法
第1実施形態での位置姿勢計測精度の低下度合いの指標は素材情報に基づいて算出して決定した。これは、物体の素材情報に関する位置姿勢計測精度の低下度合いの指標を取得できれば、他の手法で決定しても構わない。例えば、予め決めた指標の候補群を保持したテーブルから、素材情報取得部206で取得した素材情報に基づいて決定しても構わない。
【0047】
(変形例1-7)情報処理装置の設置場所
第1実施形態では、情報処理装置202は移動体102内に設置されているが、本発明はこれに限られるものではない。情報処理装置202は、移動体102のセンサ情報と物体情報を取得して、制御方法を選択して制御するものであれば、移動体102内に設置されていなくてもよい。
【0048】
例えば、情報処理装置202がクラウド、サーバ、又はタブレット端末上にあって、無線通信によって移動体102と連携する構成でもよい。これにより、情報処理装置202が移動体内やクラウド、サーバ、又はタブレット端末内であっても、複数の移動体の計測結果を集中管理することができる。また本発明は、情報処理装置202と移動体102とが無線通信しないで済む環境にも適用でき、物体の反射特性に起因する位置姿勢計測結果への影響を低減することができる。
また、第1実施形態では、移動体が自身の位置姿勢を推定するために、移動体が計測した周辺物体の視覚的特徴点を使用していたが、これは移動体の位置姿勢を推定できる周辺物体の特徴であればこれに限られるものではない。例えば、周辺物体が映る画像のエッジを用いても構わない。これにより、移動体が位置姿勢を計測する特徴(量)の形態によらずに、第1実施形態に記載したように位置姿勢計測精度の低下を軽減することができる。
【0049】
[第2実施形態]
<概要>
第1実施形態では、移動体周辺にガラスが存在する場合に、移動体の位置姿勢計測に使用するガラスより奥に位置する特徴点の特徴(量)の寄与率を変更する。これにより、ガラスに起因する位置姿勢計測精度の低下を低減していた。第2実施形態では、移動体のセンサのセンシング範囲を変更することで、ガラスに起因する位置姿勢計測精度の低下を低減する。
【0050】
第2実施形態での情報処理装置は、第1実施形態と同様、物体情報データベースから取得したガラスの位置姿勢と素材情報から、ガラスの素材情報に起因した移動体の位置姿勢計測精度の低下度合いの指標として、シフト量を推定する。そして、そのシフト量が大きいほど、移動体の撮像センサのパンチルト制御をガラスの方向を向かないように、センサの変位量を増加させて制御することで、ガラスに起因する位置姿勢計測精度の低下を低減する。この制御は、周辺物体の素材情報に起因した移動体の位置姿勢計測精度の低下度合いに応じてセンサ制御部203を制御することの一例である。
【0051】
<利用形態>
第2実施形態に係る情報処理装置の利用場面は、
図1と同様のため説明は省略する。
【0052】
<構成>
第2実施形態に係る情報処理システムの構成を、
図2を用いて説明する。なお、第2実施形態に係る情報処理装置202におけるセンサ位置取得部205、素材情報取得部206は、第1実施形態と同様のため、説明は省略する。
【0053】
制御部207は、素材情報取得部206で取得した物体の素材情報に基づいて、移動体の位置姿勢計測精度低下を軽減する対象を制御する。本実施形態における対象の制御とは、センサ制御部203で実施する移動体センサのパンチルト制御によるセンシング範囲の変更制御である。
【0054】
<ハードウェア構成の説明>
第2実施形態に係る情報処理装置202のハードウェア構成は、
図3と同様のため説明は省略する。
【0055】
<処理手順及び詳細な処理方法>
第2実施形態に係る情報処理装置202の処理全体の流れは第1実施形態と同様に
図4のフローチャート通りである。ステップS401及びS402の各ステップの処理内容は、第1実施形態と同様であるため、説明は省略する。
【0056】
第2実施形態では、ステップS403で制御部207は、ステップS402で取得したガラスの物体情報に基づいて、移動体の位置姿勢計測精度低下を軽減する対象を制御する。本実施形態における対象とは、移動体センサのパンチルト制御によるセンシング範囲の変更制御である。この制御の詳細は
図6を参照して説明する。
【0057】
図6は、
図2に示した情報処理装置202において移動体のセンサのセンシング範囲の変更を行う処理を示すフローチャートである。また
図6は、
図4のステップS403の詳細な処理の流れを示すフローチャートである。第2実施形態におけるステップS501及びステップS502の処理は、第1実施形態と同様であるため、説明は省略する。
【0058】
ステップS601で制御部207は、ステップS501で決定したシフト量をセンサの変位量の度合いとして扱うことで、移動体102のセンサのセンシング範囲を変更するためのパンチルト変更量を決定する。具体的には、シフト量に応じてセンサ画角と画像内のガラス領域サイズからガラスの水平見込み角とその水平見込み角を除く両端の見込み角を算出する。ガラスの見込み角をΔg、それ以外の見込み角のうち角度が小さい方の角度をΔe_sとしたとき、(Δg+Δe_s)をセンシング範囲にガラスが入らないパンチルト角として決定する。
【0059】
ステップS602で制御部207は、ステップS601で決定した移動体102のセンサの変位角を制御パラメータとして、センサ制御部203に対して移動体のパンチルトを制御する。
【0060】
<効果>
以上のように本実施形態によれば、走行する移動体の周辺に移動体の位置姿勢計測に影響する物体が存在しても、物体に起因する位置姿勢計測精度の低下を低減できる。
【0061】
<第2実施形態の変形例>
(変形例2-1)制御する移動体センサ制御のバリエーション
第2実施形態では、制御部207にて移動体のセンサのパンチルト制御を変更したが、これは、物体に起因する移動体の位置姿勢計測精度の低下を低減できるのであれば、他のセンサ制御方法でも構わない。例えば、移動体のカメラをズームアウトしても構わない。他にも、撮像時の輝度パラメータの調整をしても構わない。例えば、シフト量に応じて、ゲインを低くしてガラス方向の特徴点を計測しにくくして構わない。第2実施形態では、物体が移動体のセンシング範囲内に入らないように、移動体の位置及び姿勢の少なくとも一方、又は移動体のセンサの計測範囲を制御する。
【0062】
他にも、移動体のセンサが光源から照射された光の反射を利用して測距する測距センサである場合は、シフト量に応じて、検出する周波数領域を変更したり、投影する光の周波数の増減をしたりするものでも構わない。またこの場合、距離計測手法を変更、又は投影タイミングの変更を行っても構わない。
【0063】
例えば検出する周波数領域を変更する場合は、シフト量が大きいほど、光屈折の影響を受けにくいより低周波数の反射光のみを検出するように制御しても構わない。
【0064】
また例えば投影する光の周波数を変更する場合は、シフト量が大きいほど、光屈折の影響を受けにくい、より低周波数の光を投影するように制御しても構わない。
【0065】
他にも距離計測方法を変更する場合は、シフト量が所定の閾値よりも大きくなれば、距離計測手法を例えば投影パターンとしてランダムドットパターンを用いる手法から、複数の破線のパターンを用いる手法など既知の如何なる手法に切り替えても構わない。
【0066】
他にも投影タイミングを変更する場合は、シフト量が大きければ、センシング範囲に占めるガラス領域がより少なくなる、移動体とガラスの位置関係で投影するように投影タイミングを変更しても構わない。これにより、本実施形態に記載したセンサ制御方法によらず、第2実施形態に記載の周辺物体に起因する位置姿勢計測精度の低下を低減することができる。
【0067】
(変形例2-2)センサ変位量の決定方法
第2実施形態では、移動体の位置姿勢計測精度の低下度合いの指標であるシフト量から算出してセンシング範囲変更パラメータを決定した。これはシフト量に応じて物体の方向を向かないようにセンシング範囲変更できれば、他のパラメータ決定方法でも構わない。例えば、制御部207では予めセンシング範囲外に物体が位置するようなパラメータを決めておき、その中からシフト量に応じて、又はシフト量の値が閾値以上かどうかで決定しても構わない。これにより、移動体のセンシング範囲の変更のパラメータ決定方法によらず、第2実施形態に記載の周辺物体に起因する位置姿勢計測精度の低下を低減することができる。
【0068】
(変形例2-3)制御対象のバリエーション
第2実施形態では、制御部207にてパンチルト制御という形で移動体のセンサを制御したが、これは移動体の位置姿勢計測精度の低下を低減する制御内容であれば、他の制御内容でも構わない。例えば、シフト量に応じて、移動体の走行位置又は向きを変更しても構わない。これにより、移動体の制御内容がセンサの制御か、移動体自身の制御かによらず、第2実施形態に記載の周辺物体に起因する位置姿勢計測精度の低下を低減することができる。
【0069】
[第3実施形態]
<概要>
第1実施形態及び第2実施形態では、移動体周辺にガラスが存在する場合に、移動体の位置姿勢計測に使用するガラスより奥に位置する特徴点の特徴(量)の寄与率の変更、又は移動体に配置したセンサのセンシング範囲の変更を行う。これにより、ガラスに起因する位置姿勢計測精度の低下を低減していた。第3実施形態では、ガラスが外部からの入力で状態変更の実施が可能な場合に、移動体がガラスの稼働状態を変更することで、ガラスに起因する位置姿勢計測精度の低下を低減する。このガラスは例えば、透過度を電気的に切り替える瞬間調光フィルムが貼られたガラス物体である。
【0070】
第3実施形態では、第1及び第2実施形態と同様、物体情報データベース106から取得したガラスの位置姿勢と素材情報から、ガラスの素材情報に起因した移動体の位置姿勢計測精度の低下度合いの指標として、シフト量を推定する。そして、そのシフト量があれば、位置がシフトしているガラスより奥に位置する物体の特徴点の特徴(量)を移動体が計測できなくなるように、移動体はガラスの透過度の変更制御を行う。このようにして周辺物体の制御を実施することで、ガラスに起因する位置姿勢計測精度の低下を低減する。この制御は、周辺物体の素材情報に起因した移動体の位置姿勢計測精度の低下度合いに応じて、物体制御部209を制御することの一例である。
【0071】
<利用形態>
第3実施形態に係る情報処理装置の利用場面は、
図1と同様のため説明は省略する。
【0072】
<構成>
第3実施形態に係る情報処理システムの構成を、
図2を用いて説明する。なお、第3実施形態に係る情報処理装置202におけるセンサ位置取得部205及び素材情報取得部206は、第1実施形態及び第2実施形態と同様のため、説明は省略する。
【0073】
制御部207は、素材情報取得部206で取得した物体情報に基づいて、移動体の位置姿勢計測精度低下を軽減する対象を制御する。本実施形態における対象の制御とは、物体制御部209で実施するガラスの透明度変更制御である。制御部207による処理の詳細は、
図4及び
図7を参照して後述する。
【0074】
<ハードウェア構成の説明>
第3実施形態に係る情報処理装置202のハードウェア構成は
図3と同様のため説明は省略する。
【0075】
<処理手順及び詳細な処理方法>
第3実施形態に係る情報処理装置202の処理全体の流れは、第1実施形態及び第2実施形態と同様に
図4のフローチャート通りである。ステップS401及びS402の各ステップの処理内容は、第1実施形態及び第2実施形態と同様であるため、説明は省略する。
【0076】
第3実施形態では、ステップS403で制御部207は、ステップS402で取得したガラスの物体情報に基づいて、移動体の位置姿勢計測精度低下を軽減する対象を制御する。本実施形態における対象とは、ガラスの透明度変更制御である。この制御の詳細は
図7を参照して説明する。
【0077】
図7は、
図2に示した情報処理装置202においてガラスの透明度の変更を行う処理を示すフローチャートである。また
図7は、
図4のステップS403の詳細な処理の流れを示すフローチャートである。なお、ステップS501は、第1実施形態及び第2実施形態と同様のため説明は省略する。
【0078】
ステップS701で制御部207は、ステップS501で決定した位置姿勢計測精度の低下度合いに応じて、ガラス透明度変更量の制御パラメータを決定する。具体的には、現在の透明度が高いほど透明度変更用の制御パラメータを多く増加させて透明でなくするように制御パラメータを決定する。ガラスの曇り状態での透過度をt0、現在の透過度をt1、透過度変更最大幅をΔDとしたとき、透明度変更の制御パラメータは(t1―t0)/ΔDとして決定する。ここで、透過度変更最大幅とは、ガラスの透明度を電気的に変更する際に、変更可能なパラメータの値域である。
【0079】
ステップS702で制御部207は、ステップS701で決定した物体の制御パラメータを適用してガラスの透明度を変更する処理を、物体制御部209に指示するように制御する。
【0080】
<効果>
以上のように本実施形態によれば、走行する移動体の周辺に移動体の位置姿勢計測精度が低下する物体が存在しても、その物体を制御することで、移動体の位置姿勢計測精度の低下を軽減することができる。
【0081】
<第3実施形態の変形例>
(変形例3-1)制御物体とその素材情報のバリエーション
第3実施形態では、制御する物体として透明度を変更するガラスで説明したが、これは、物体の外部から対象の物体を制御できるものであれば、他の物体でも構わない。例えば、稼働位置を制御する可動式のパーティション、シャッター、又は扉(以下「可動物体」という)でも構わない。例えば、物体情報データベース106から素材情報として可動物体稼働距離を取得し、その稼働距離を移動体の位置姿勢に計測するシフト量として扱うことで、そのシフト量を制御パラメータとして物体の位置を制御しても構わない。これにより、制御対象の物体やその素材情報によらずに、第3実施形態に記載したように物体に起因する位置姿勢計測精度の低下を低減することができる。
【0082】
(変形例3-2)物体制御パラメータの決定方法のバリエーション
第3実施形態では、シフト量に応じて、ガラス透明度を用いた計算によって物体の制御パラメータを決定していたが、これは、物体の制御パラメータが決定できれば、他の方法でパラメータを決定しても構わない。例えば、物体制御パラメータのパターンが決まっており、その中からシフト量に応じて制御パラメータを選択して決定しても構わない。これにより、位置姿勢計測精度の低下度合いの指標に基づく、周辺物体の制御パラメータの具体的な決定方法によらず、第3実施形態に記載したように物体に起因する位置姿勢計測精度の低下を低減することができる。
【0083】
(変形例3-3)物体制御装置の設置場所のバリエーション
第3実施形態では、移動体は外部に設置された物体制御装置107と通信して制御指示を行っていた。これは移動体から物体を制御できれば、他の場所に物体制御装置107が設置されていても構わない。例えば、移動体内部に物体制御装置107が設置されていても構わない。これにより、物体制御装置107の設置場所によらず、第3実施形態に記載した物体に起因する位置姿勢計測結果への影響を低減することができる。
【0084】
[第4実施形態]
<概要>
第4実施形態では、第1、第2及び第3実施形態によって、物体に起因する位置姿勢計測精度の低下を低減する内容を、移動体監視者又は設備監視者に対して通知する方法について説明する。なお、本実施形態では第1実施形態をベースに、対策方法の内容を通知する方法で説明する。
【0085】
<利用形態>
第4実施形態に係る情報処理装置の利用場面は、
図1と同様のため説明は省略する。
【0086】
<構成>
第4実施形態に係る情報処理システムの構成を、
図2及び
図8を用いて説明する。第4実施形態に係る情報処理システム201は、
図2の構成に加えて新たに通知部を有する。なお、他の構成は、他の実施形態と同様であるので、詳しい説明は省略する。
【0087】
通知部は、センサ位置取得部205、素材情報取得部206及び制御部207の少なくとも1つによる各種結果に基づいて、物体の情報や制御部207で実施する制御内容を通知する。
【0088】
図8は、第4実施形態に係る通知部の一例としての表示画面を示す図である。表示画面801は、物体に起因する位置姿勢計測精度の低下を低減する制御内容を表示することで通知する。
【0089】
表示画面801は、固有情報表示部802を有する。固有情報表示部802は、移動体の固有情報を表示する。表示画面801は、固有情報表示部803を有する。固有情報表示部803は、物体情報を取得する物体情報データベース106の固有情報を表示する。
【0090】
表示画面801は、物体情報表示部804を有する。物体情報表示部804は、物体情報データベース106から取得した物体の位置情報を地図上にマッピングした内容と、物体情報データベース106から取得した物体の位置姿勢情報や素材情報を表示する。
【0091】
表示画面801は、制御結果表示部805を有する。制御結果表示部805は、移動体102による、物体に起因する位置姿勢計測精度を向上させるための対策内容を表示する。
図8の表示例では、ガラスの領域がマスキングされており、マスキングによって、その領域内の特徴点の特徴(量)の寄与率を低減したことが示されている。
【0092】
<ハードウェア構成の説明>
第4実施形態に係る情報処理装置202のハードウェア構成は、
図3と同様のため、説明は省略する。
【0093】
<効果>
以上のように本実施形態によれば、走行する移動体の周辺に移動体の位置姿勢計測に影響する物体が存在しても、物体の反射特性に起因する物体の位置姿勢計測精度の低下を低減する内容を移動体監視者又は設備監視者に対して通知できる。
【0094】
<第4実施形態の変形例>
(変形例4-1)通知媒体のバリエーション
第4実施形態での物体に起因する位置姿勢計測精度の低下を低減する対策内容の通知はGUI形式であった。GUIは、Graphical User Interfaceの略称である。これは、移動体が実施した物体に起因する位置姿勢計測精度の低下を低減する対策内容を移動体監視者又は設備監視者に対して通知できれば、これに限らない。例えば、テキスト形式で内容を通知する形式でも構わない。これにより、表示部のGUI表示対応、又はCUI表示対応のハードウェアによらずに、第4実施形態に記載した物体に起因する位置姿勢計測結果への影響を低減する対策内容を通知することができる。CUIは、Character User Interfaceの略称である。
【0095】
なお、本発明は、上述の各実施形態のそれぞれに記載の各制御の少なくとも1つを行うものでよく、すべての制御を実施するものであってもよい。
【0096】
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0097】
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【0098】
本実施形態の開示は、以下の構成および方法を含む。
(構成1)
移動体に配置したセンサの位置を取得する取得手段と、
前記センサの位置に基づいて、前記移動体の周辺の物体の素材情報を含めた物体情報を取得する素材情報取得手段と、
前記素材情報取得手段で取得した前記物体情報に基づいて、前記移動体、前記移動体のセンサ、前記物体、及び前記移動体の位置又は姿勢の計測方法の少なくとも1つを制御する制御手段と、
を有する情報処理装置。
(構成2)
前記制御手段は、前記物体情報に起因して変位した、前記センサが計測した前記物体の特徴の空間的ずれ量を、前記移動体の位置又は姿勢の計測精度の低下度合いの指標として推定し、
前記指標に基づいて、前記移動体、前記移動体のセンサ、前記物体、及び前記移動体の位置又は姿勢の計測方法の少なくとも1つを制御する、
ことを特徴とする構成1に記載の情報処理装置。
(構成3)
前記制御手段は、前記指標に基づいて、前記物体の特徴点の特徴の寄与率を決定し、前記寄与率が高い前記特徴を優先的に使用して、移動体の位置又は姿勢の計測方法を制御する、
ことを特徴とする構成1又は2に記載の情報処理装置。
(構成4)
前記制御手段は、前記指標に基づいて、前記物体が前記移動体のセンシング範囲内に入らないように前記移動体の位置及び姿勢の少なくとも一方、又は前記移動体のセンサの計測範囲を制御する、
ことを特徴とする構成1から3のいずれか一つに記載の情報処理装置。
(構成5)
前記制御手段は、前記指標に基づいて、前記移動体が前記移動体の位置又は姿勢の計測精度の低下する箇所を計測しないように、前記物体の稼働状態を制御する、
ことを特徴とする構成1から4のいずれか一つに記載の情報処理装置。
(構成6)
前記取得手段、前記素材情報取得手段、及び前記制御手段の少なくとも1つによる結果を通知する通知手段をさらに有する、
ことを特徴とする構成1から4のいずれか一つに記載の情報処理装置。
(方法1)
移動体に配置したセンサの位置を取得する取得工程と、
前記センサの位置に基づいて、前記移動体の周辺の物体の素材情報を含めた物体情報を取得する素材情報取得工程と、
前記素材情報取得工程で取得した前記物体情報に基づいて、前記移動体、前記移動体のセンサ、前記物体、及び前記移動体の位置又は姿勢の計測方法の少なくとも1つを制御する制御工程と、
を有する制御方法。
(プラグラム1)
構成1から構成6のいずれか一つに記載の各手段としてコンピュータを機能させるためのプログラム。
【符号の説明】
【0099】
201 情報処理システム
202 情報処理装置
203 センサ制御部
204 位置姿勢計測部
205 センサ位置取得部
206 素材情報取得部
207 制御部
208 物体情報送信部
209 物体制御部