(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-03-17
(45)【発行日】2025-03-26
(54)【発明の名称】情報処理装置、情報処理方法およびプログラム
(51)【国際特許分類】
G05D 1/43 20240101AFI20250318BHJP
G01C 7/04 20060101ALI20250318BHJP
G01B 11/24 20060101ALI20250318BHJP
【FI】
G05D1/43
G01C7/04
G01B11/24 K
(21)【出願番号】P 2021037806
(22)【出願日】2021-03-09
【審査請求日】2024-03-08
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】永縄 吉宏
(72)【発明者】
【氏名】今井 彰人
【審査官】岩▲崎▼ 優
(56)【参考文献】
【文献】特開2019-159354(JP,A)
【文献】特開2011-215973(JP,A)
【文献】特開2014-026372(JP,A)
【文献】特開2008-235960(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G05D 1/00- 1/87
(57)【特許請求の範囲】
【請求項1】
移動体に搭載された撮像装置で環境を撮影することにより推定された前記撮像装置の位置姿勢と、前記環境を撮影することにより得られた画像に含まれる特徴点の前記環境における三次元位置情報と、前記画像と、を地図要素とし、複数の前記地図要素から構成される三次元地図情報を保持する保持手段から前記三次元地図情報を取得する取得手段と、
前記地図要素に含まれる前記撮像装置の位置姿勢が類似する2つの地図要素において、
前記画像のうち共通の視野で撮影された共通領域において特徴が類似しない領域の大きさが閾値以上である場合に、一方の地図要素を前記保持手段から削除する削除対象に決定する決定手段と、を有することを特徴とする情報処理装置。
【請求項2】
前記決定手段は、前記環境について予め作成済みの第1の三次元地図情報の第1の地図要素と、前記移動体の移動に伴って作成される第2の三次元地図情報における地図要素であって前記第1の地図要素に含まれる位置姿勢と類似する位置姿勢を有する第2の地図要素と、において、前記第1の地図要素と前記第2の地図要素に含まれる画像間で類似しない領域の大きさが閾値以上である場合に、前記第2の地図要素を削除対象に決定することを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記画像間で特徴が類似しない領域は、前記画像の一部領域であることを特徴とする請求項1または2に記載の情報処理装置。
【請求項4】
前記決定手段は、前記画像間で輝度の特徴が類似しない領域の大きさが閾値以上である場合に、一方の地図要素を前記保持手段から削除する削除対象に決定することを特徴とする請求項1
または2に記載の情報処理装置。
【請求項5】
前記決定手段は、前記地図要素に含まれる前記撮像装置の位置姿勢の差異が所定範囲内の2つの地図要素を対象として削除対象の地図要素を決定することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。
【請求項6】
前記画像間で特徴が類似しない領域は、該領域内の画素の輝度値の平均値の差が閾値以上であることを特徴とする請求項1乃至
5の何れか1項に記載の情報処理装置。
【請求項7】
前記決定手段は、前記画像間で輝度の勾配値から得られる特徴が類似しない領域の大きさが閾値以上である場合に、一方の地図要素を前記保持手段から削除する削除対象に決定することを特徴とする請求項1
または2に記載の情報処理装置。
【請求項8】
移動体に搭載された撮像装置で環境を撮影することにより推定された前記撮像装置の位置姿勢と、前記環境を撮影することにより得られた画像に含まれる特徴点の前記環境における三次元位置情報と、前記画像と、を地図要素とし、複数の前記地図要素から構成される三次元地図情報を取得する取得工程と、
前記地図要素に含まれる前記撮像装置の位置姿勢が類似する2つの地図要素において、
前記画像のうち共通の視野で撮影された共通領域において特徴が類似しない領域の大きさが閾値以上である場合に、一方の地図要素を削除対象に決定する決定工程と、を有することを特徴とする情報処理方法。
【請求項9】
コンピュータを、請求項1乃至7の何れか1項に記載の情報処理装置の各手段として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動体が移動する環境の三次元地図情報を作成する技術に関する。
【背景技術】
【0002】
自律移動ロボットなどの移動体の位置姿勢計測と、位置姿勢計測に用いる電子的な地図データの作成を行う方法がある。カメラやレーザーレンジスキャナ(レーザーレンジファインダ、Laser Imaging Detection and Ranging(LIDAR))をセンサとして使用したSLAM(Simultaneous Localization and Mapping)技術が知られている。移動体の経路が変化した場合や、周辺の物体の配置が変化した場合には、地図データに新たな地図要素が追加される。
【0003】
非特許文献1では、地図データ(三次元地図情報)を保持するための記憶容量を抑えるために、ある地図要素が含む画像が他の地図要素が含む画像と特徴が類似している場合に削除する技術が開示されている。
【先行技術文献】
【非特許文献】
【0004】
【文献】Raul Mur-Artal, J.M.M. Montiel,Member, IEEE,and Juan D. Tardos,Member, IEEE,「ORB-SLAM: a Versatile and AccurateMonocular SLAM System」2015年
【発明の概要】
【発明が解決しようとする課題】
【0005】
非特許文献1の手法では、地図要素が他の地図要素で補完できない場合は削除できないため、記憶容量が不足する場合がある。
【0006】
本発明は上記問題に鑑みてなされたものであり、移動体が移動する環境の三次元地図の地図要素を記憶する記憶容量を削減することを目的としている。
【課題を解決するための手段】
【0007】
上記の課題を解決するため、本発明に係る情報処理装置は以下の構成を有する。即ち、移動体に搭載された撮像装置で環境を撮影することにより推定された前記撮像装置の位置姿勢と、前記環境を撮影することにより得られた画像に含まれる特徴点の前記環境における三次元位置情報と、前記画像と、を地図要素とし、複数の前記地図要素から構成される三次元地図情報を保持する保持手段から前記三次元地図情報を取得する取得手段と、前記地図要素に含まれる前記撮像装置の位置姿勢が類似する2つの地図要素において、前記画像のうち共通の視野で撮影された共通領域において特徴が類似しない領域の大きさが閾値以上である場合に、一方の地図要素を前記保持手段から削除する削除対象に決定する決定手段と、を有する。
【発明の効果】
【0008】
本発明によれば、移動体が移動する環境の三次元地図の地図要素を記憶する記憶容量を削減することができる。
【図面の簡単な説明】
【0009】
【
図1】第1実施形態に係る情報処理装置のハードウェア構成を示す図である。
【
図2】第1実施形態に係る情報処理装置の機能ブロック図である。
【
図3】第1実施形態に係る移動体システムと地図作成システムの機能ブロック図である。
【
図4】第1実施形態に係る情報処理装置の動作フローチャートである。
【
図5】第1実施形態に係る情報処理装置の動作フローチャートである。
【
図7】第2実施形態に係る情報処理装置の動作フローチャートである。
【
図8】第3実施形態に係る情報処理装置の機能ブロック図である。
【
図9】第3実施形態に係る情報処理装置の動作フローチャートである。
【発明を実施するための形態】
【0010】
以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、この実施の形態はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。
【0011】
(第1実施形態)
本発明に係る情報処理装置の第1実施形態として、センサ周辺の物体配置の変動度合いに基づいて削除対象の地図要素を決定する情報処理装置を例に挙げて以下に説明する。具体的には、センサ周辺の物体配置が変更された場合には、配置の変更前と変更後の異なる地図要素を保持することになり、記憶容量を要する。そこで、一時的な配置変更の場合は再び使用する可能性が低いため、配置の変更後の地図要素を削除する。
【0012】
なお、本実施形態においてセンサは2次元配列の輝度値データを出力するカメラである。カメラとしてはモノクロカメラ、カラーカメラ、ステレオカメラを用いることができる。当該カメラの内部パラメータは事前の校正により既知であるとする。
【0013】
図1は、第1実施形態に係る情報処理装置のハードウェア構成を示す図である。情報処理装置100は、CPU101、メモリ102、記憶装置103、入力装置104、出力装置105を備え、各々はバス106により相互に接続されている。
【0014】
CPU101は、記憶装置103に記憶されている削除対象の地図要素の判定プログラム107を実行することにより、後述する各種機能を実行する。メモリ102は、CPU101が記憶装置103から読み出したプログラムやデータを一時的に記憶する。また、メモリ102は、CPU101が各種のプログラムを実行するための領域としても利用される。記憶装置103は、オペレーティングシステム(OS)や経路を走行するための地図要素や走行中で得た地図要素を記憶する。
【0015】
入力装置104は、ユーザからの入力を受け付ける機能部である。具体的には、キーボード、マウスが用いられる。出力装置105は、入力装置104で入力された情報、及び、CPU101により実行されたプログラムの実行結果の出力をする。通信インターフェイス107は、ネットワークを介して情報通信を行うものであり、通信インターフェイスはイーサネットでもよく、USBやシリアル通信、無線通信等種類は問わない。
【0016】
図2は、第1実施形態に係る情報処理装置100の機能ブロック図である。情報処理装置100は、取得部201、決定部202、移動/削除部203を備えている。
【0017】
取得部201は、環境条件情報として後述する移動体システム300の位置姿勢計測部301からカメラで撮影した画像、画像から検出した特徴点の三次元位置情報、撮影時間とカメラの位置姿勢情報が紐づけられている地図要素を取得し出力する。
【0018】
決定部202は取得部201から入力した地図要素の中から削除または移動対象となる地図要素を決定し、出力する。
【0019】
移動/削除部203は決定部202で入力された対象の地図要素を指定の場所へ移動もしくは削除する。
【0020】
図3は第1実施形態に係る移動体システム300、および地図作成システム310の機能ブロック図である。移動体システム300、地図作成システム310の情報処理は、それぞれ情報処理装置100と同様のハードウェア構成によって実行される。移動体システム300は位置姿勢計測部301、移動体制御部302、移動体システム通信部303を備えている。また、地図作成システム310は地図生成部311、地図保持部312、環境計測部313、地図作成システム通信部314を備えている。移動体に移動体システム300、地図作成システム310、情報処理装置100を全て搭載することもできる。また、情報処理装置100は移動体外部のサーバー上にあり、情報処理装置100と移動体とがネットワークを介して通信することにより、移動体を制御することもできる。
【0021】
移動体は、例えば、AMR(autonomous mobile robot)やAGV(automatic guided vehicle)、自動運転車、お掃除ロボット、配送ロボット、ドローンなどである。移動体には撮像装置としてカメラを搭載している。
【0022】
位置姿勢計測部301は、移動体システム300の位置姿勢を周辺環境から計測し、その結果を地図要素として出力する。計測方法は不図示であるが移動体システム300が搭載しているカメラで撮像した画像を用い、カメラから物体までの距離や画像特徴点の位置情報を使って算出する。画像特徴点の特徴は輝度の勾配値から得られる特徴であれば、SIFT、SURF、FASTなど様々な種類の特徴を用いることができる。
【0023】
移動体制御部302は、位置姿勢計測部301の結果や後述する移動体システム通信部303から受けた情報や指示によって移動体システム300の走行制御や、位置姿勢計測部301の結果を移動体システム通信部303に出力する。
【0024】
移動体システム通信部303は、位置姿勢計測部301の結果を外部モジュールである地図作成システム310への出力や、地図作成システム310から情報を入力する。
【0025】
地図生成部311は、後述する地図作成システム通信部314から受け取った移動体システム300で計測した位置姿勢計測結果から三次元地図情報(以降、「地図」は「三次元地図」として説明する。)を生成する。三次元地図情報は、複数の地図要素から構成される。
【0026】
地図保持部312は、地図生成部311で生成した地図や後述する環境計測部から受けた情報の保持や、保持している情報を地図作成システム通信部314に出力する。
【0027】
環境計測部313は、センサを使ってその情報を出力する。具体的には地図要素を作成したときの画像やその時刻である。
【0028】
地図作成システム通信部314は、移動体システム300の移動体システム通信部303や情報処理装置100の取得部201と接続され地図や地図要素に関する情報を入出力する。
【0029】
図4および
図5は、第1実施形態に係る情報処理装置100の動作フローチャートである。以下、フローチャートは、CPUが制御プログラムを実行することにより実現されるものとする。情報処理装置の動作は、地図保持部312の記憶容量が所定の容量に達したときや、移動体が移動し始めてから所定時間が経過したときなどに開始される。
【0030】
ステップS401では、地図作成システム310から地図要素群を取得する。
【0031】
ステップS402では、ステップS401で取得した地図要素から削除対象となる地図要素を決定する。
【0032】
ステップS403では、ステップS402で決定した地図要素を削除する。
【0033】
ここで、ステップS402の決定するステップについて詳細に説明する。
【0034】
ステップS501では、ステップS401で取得した地図要素群の中から未選択の地図要素を選択する。
【0035】
ステップS502では、ステップS401で取得した地図要素群のうち、S501で選択した地図要素以外の地図要素群を対象として、S501で選択した地図要素に紐づいているカメラ位置姿勢と近似するカメラ位置姿勢の地図要素群を抽出する。カメラの位置姿勢が類似する(差異が所定範囲内)地図要素群を抽出している。そして、さらに撮影時刻が最新の地図要素を抽出する。
【0036】
ステップS503では、ステップS501で選択した地図要素とステップS502で抽出した地図要素間で共通の視野で撮影された共通領域を、各地図要素に紐づけられた画像特徴点の特徴を用いて求める。
【0037】
ステップS504では、S501で選択した地図要素に紐づけられた画像のうちのS503で求めた共通領域と、S502で抽出した地図要素に紐づけられた画像のうちのS503で求めた共通領域との2つの画像領域を同一分割数の格子領域に分割する。
【0038】
ステップS505では、2つの画像領域の各格子領域内で輝度の平均値を算出し、輝度平均値の格子領域ごとの差分の絶対値が所定の閾値P以上となる格子領域の数または画像に対する割合を求める。
【0039】
ステップS506では、ステップS505で求めた領域の数が所定の閾値R個以上存在するか判定し、存在する場合はステップS507に進み、存在しない場合は処理を終了する。ステップS505で求めた領域の数が所定の閾値R個以上存在しない場合、今後の位置姿勢精度を上げるために重要な画像であり、今後の使用可能性が高いため削除対象とはしない。
【0040】
ステップS507では、ステップS501で選択した地図要素を削除対象と判断する。
【0041】
ステップS508では、削除対象の決定処理を継続するかの判定をする。ステップS401で取得した地図要素群の中から未選択の地図要素が残っている場合はステップS501に戻って処理を継続する。継続しない場合はステップS403に進み削除処理を行う。
【0042】
図6は環境条件情報と位置姿勢情報が紐づけられている地図要素を模式的に表した図である。601および602はそれぞれステップS501およびステップS502で選択/抽出した地図要素に紐づけられた画像の例である。最新の撮影画像602には画像601を撮影した時点から物体603が追加配置されている。領域604はステップS503で求めた共通領域である。一方、領域605は共通領域でないため比較できない領域である。この共通領域604の範囲で物体配置に変化がある場所を算出する。ステップS504による画像に対して606のように分割し、ステップS505による物体配置に変化がある場所を一部領域607のようにマークする。物体配置に変化がある一部領域607は、画像601、602の画像間で特徴が類似しない領域となっている。ここで画像領域の20%以上の格子領域に変化があった場合を削除対象とする条件の場合、一部領域607は28分の6=約21%の変化があり、撮影画像602は削除対象の地図要素として判断される。
【0043】
以上説明したとおり、第1実施形態に係る情報処理装置100によれば、センサ周辺の物体配置の変動度合いに基づいて地図要素を削除することで記憶容量の削減ができる。
【0044】
<変形例1-1>
第1実施形態では物体配置が変化した地図要素を削除対象としているが、地図要素の使用実績に基づいて削除対象の地図要素を判断してもよい。移動体が自律移動するときに事前に作成済みの地図要素やこれまで走行時に作成した地図要素を参照して、自身の位置や姿勢を推定する。そのため、推定で用いた地図要素の使用時刻や使用回数を記憶し、使用時刻が古い地図要素や、使用回数が少ない地図要素を削除対象と判断してよい。
【0045】
<変形例1-2>
地図要素に重要度に持たせ、重要度が高い地図要素に関しては、第1実施形態および変形例で示す削除対象の地図要素の判断から除外してもよい。この重要度はユーザによる指示や地図の使用実績から設定される。移動体が移動する環境を、本実施形態で説明する処理を実行する前に計測し、環境の三次元地図を事前に作成している場合、その三次元地図の地図要素の重要度を高く設定し、削除対象の地図要素の判断から除外することができる。
【0047】
<変形例1-4>
第1実施形態および変形例では、環境条件情報となる画像から得られる数値の差分から削除対象の地図要素を判断しているが、画像の内容から削除対象の地図要素を判断してよい。具体的には、画像内に存在している物体を機械学習や画像認識などで検出する。検出した物体が動く可能性があるのかないのかを判断する。画像内に動く物体がある場合で、画像に占める割合が少ない場合は、その物体領域を比較できない領域408として扱い、その他の部分で物体配置変化の有無があるかを判定する。また、動く物体が画像に占める割合が多い場合は、削除対象の地図要素として判断する。物体の大きさ以外に、さらに動きの範囲、速度、頻度を勘案して削除対象の地図要素を判断してもよい。例えば、速度が速く一瞬で過ぎ去っていく場面の場合は、次回撮影時には存在しないことがあるため削除対象と判断することができる。
【0048】
<変形例1-5>
変形例1-4のように動く可能性がある物体を認識するのではなく、実際にある物体が動いたことを認識して削除対象と判断してもよい。また、移動量や移動した物体の数を閾値判定して、削除対象を選んでも良い。
【0049】
(第2実施形態)
第1実施形態ではセンサ周辺の物体配置の変動度合いに基づいて削除対象の地図要素を判定する例を示した。その他にも、センサ周辺の明るさが変更されることによって、同じ配置でもセンサが得る情報が異なるため、明るさの変更前と変更後の異なる地図要素を保持することになり記憶容量が増大することがある。そこで、第2実施形態ではセンサ周辺の明るさの変化度合いに基づいて削除対象の地図要素を判定する例を説明する。具体的には時刻とともに緩やかに明るさの変更が発生し、使用する可能性の低い明るさの差が大きい地図要素を削除する。また、一時的な明るさ変動が発生した場合に、削除対象の地図要素に決定する。なお、本実施形態においてセンサは2次元配列の輝度値データを出力するカメラである。
【0050】
第2実施形態に係る情報処理装置のハードウェア構成は
図1と同じであるために説明を省略する。
【0051】
第2実施形態に係る情報処理装置100の機能ブロック図は
図2と同じであり、取得部201は、環境条件情報としての画像と、位置姿勢情報が紐づけられている地図要素を取得するのも同じである。また、第2実施形態に係る移動体システム300、および地図作成システム310も
図3と同じであるが、環境計測部313で計測する情報として地図要素を作成したときの明るさの情報を入出力する。
【0052】
図7は、第2実施形態に係る情報処理装置100のステップS402の動作フローチャートである。
図4の処理は、第1実施形態と同じである。
【0053】
ステップS701からステップS703までとステップS706からステップS707までは、
図5のステップS501からステップS503までとステップS507からステップS508まで同じであるために説明を省略する。
【0054】
ステップS704では、ステップS703で求めた2つの画像領域について各画像の平均画素値を求める。
【0055】
ステップS705では、2つの画像領域の各画像で輝度の平均値を算出し、輝度の差分の絶対値が所定の閾値P以上となるかを判定する。
【0056】
以上説明したとおり、第2実施形態に係る情報処理装置100によれば、センサ周辺の明るさの変動度合いに基づいて地図要素を削除することで記憶容量の削減ができる。
【0057】
<変形例2-1>
第1実施形態では明るさの変動が緩い条件での例を説明したが、一時的な明るさ変動下においては、時間方向で画像の平均輝度値の変動を求め、尖度の高い時点の地図要素を削除対象と判定してもよい。
【0058】
<変形例2-2>
第1実施形態では画像から得られる明るさ情報を使った例を説明したが、カメラ以外のセンサから得られる明るさ情報を使って比較を行ってもよい。具体的には、センサに所定の相対位置姿勢関係を保って固定された照度計を備え、環境条件情報としてセンサ計測に同期して計測した照度を蓄積する。その照度と、比較対象の地図要素の時刻の照度とを比較して、照度差分の絶対値が所定の閾値以上であれば、その地図要素を削除対象と判定してよい。
【0059】
<変形例2-3>
第1実施形態および変形例では画像もしくはセンサから得られる直接的な明るさ情報を使って判断する説明をしたが、それ以外の明るさの情報から判断してもよい。具体的にはインターネットなどで提供されている天気予報や天気結果情報を受信して利用する。この天気予報や結果情報を地図要素作成位置と紐づけて蓄積する。比較対象の地図要素が現在のものなら天気予報情報から、比較対象の地図要素が過去の地図要素の場合は天気結果情報から天気や雲量、日の出や日の入りの情報を使って、天気に変化に基づいて明るさの変化を判断してもよい。
【0060】
(第3実施形態)
第1実施形態および第2実施形態では情報処理装置100が削除対象となる地図要素を判定してきたが、第3実施形態では第1実施形態および、第2実施形態で削除対象の地図要素を選択までを行い、その情報をユーザに提示して地図要素を削除する例を説明する。ここでは第1実施形態の方法を使っての説明をするが、第2実施形態の方法を用いても問題はない。
【0061】
第3実施形態に係る情報処理装置のハードウェア構成は
図1と同じであるために説明を省略する。
【0062】
図8は第3実施形態に係る情報処理装置100の機能ブロック図である。
図2に加え、表示部204が追加される。表示部204は決定部202で選択された情報を表示し、ユーザからの指示を受け取る。
【0063】
図9は、第3実施形態にかかる情報処理装置100のフローチャートである。ステップS901からステップS907は、
図5のS501からステップS507と同じであるために説明を省略する。
【0064】
ステップS908ではステップS907で判断された削除対象となる地図要素の情報を出力装置105に出力する。
【0065】
ステップS909ではユーザからの入力を待つ。そしてユーザから削除指示を受けた場合は、次のステップS910に進み、対象となっている地図要素を削除する。
【0066】
ステップS911では、選択処理を継続するかの判定をする。選択処理を継続する場合はステップS901に戻って処理を繰り返す。継続しない場合は処理を終了する。
【0067】
図10は
図9のフローチャートのステップS908での出力を示している。表示領域1001に削除する対象の地図要素の情報1002と、削除対象と比較して同じような場所で、同じような画角で撮影された走行時に多く使用されている地図要素の情報1003を併せて表示している。ユーザはこの情報から削除する地図要素を選択し、選択された地図要素をステップS910で削除する。
【0068】
以上で説明したとおり、第3実施形態に係る情報処理装置100によれば、削除対象となる地図要素をユーザが選択し、選択された地図要素を削除することで記憶容量の削減ができる。
【0069】
(その他の実施形態)
以上の実施形態では選択された地図要素を削除する例の説明をしたが、削除に限らず地図要素を所定の場所に移動してもよい。具体的には、情報処理装置100にあるメモリ102にある地図要素を記憶装置103への移動や、情報処理装置100にある記憶装置103から外部システムの記憶装置への移動によって、地図保持部312が記憶する記憶容量の削減ができる。
【0070】
(その他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供してもよい。