特表-19131198IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
再表2019-131198制御装置、および制御方法、プログラム、並びに移動体
<>
  • 再表WO2019131198-制御装置、および制御方法、プログラム、並びに移動体 図000003
  • 再表WO2019131198-制御装置、および制御方法、プログラム、並びに移動体 図000004
  • 再表WO2019131198-制御装置、および制御方法、プログラム、並びに移動体 図000005
  • 再表WO2019131198-制御装置、および制御方法、プログラム、並びに移動体 図000006
  • 再表WO2019131198-制御装置、および制御方法、プログラム、並びに移動体 図000007
  • 再表WO2019131198-制御装置、および制御方法、プログラム、並びに移動体 図000008
  • 再表WO2019131198-制御装置、および制御方法、プログラム、並びに移動体 図000009
  • 再表WO2019131198-制御装置、および制御方法、プログラム、並びに移動体 図000010
  • 再表WO2019131198-制御装置、および制御方法、プログラム、並びに移動体 図000011
  • 再表WO2019131198-制御装置、および制御方法、プログラム、並びに移動体 図000012
  • 再表WO2019131198-制御装置、および制御方法、プログラム、並びに移動体 図000013
  • 再表WO2019131198-制御装置、および制御方法、プログラム、並びに移動体 図000014
  • 再表WO2019131198-制御装置、および制御方法、プログラム、並びに移動体 図000015
  • 再表WO2019131198-制御装置、および制御方法、プログラム、並びに移動体 図000016
  • 再表WO2019131198-制御装置、および制御方法、プログラム、並びに移動体 図000017
  • 再表WO2019131198-制御装置、および制御方法、プログラム、並びに移動体 図000018
  • 再表WO2019131198-制御装置、および制御方法、プログラム、並びに移動体 図000019
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2019年7月4日
【発行日】2020年12月24日
(54)【発明の名称】制御装置、および制御方法、プログラム、並びに移動体
(51)【国際特許分類】
   G05D 1/02 20200101AFI20201127BHJP
【FI】
   G05D1/02 K
【審査請求】未請求
【予備審査請求】未請求
【全頁数】48
【出願番号】特願2019-562988(P2019-562988)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2018年12月14日
(31)【優先権主張番号】特願2017-253150(P2017-253150)
(32)【優先日】2017年12月28日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】小林 大
(72)【発明者】
【氏名】渡辺 諒
【テーマコード(参考)】
5H301
【Fターム(参考)】
5H301BB14
5H301CC10
5H301FF11
5H301GG07
5H301GG17
(57)【要約】
本開示は、異なる位置であるにも関わらず周囲に類似した特徴量が多く存在することにより、同一の位置と誤検出され易い環境であっても、区別して高精度に自己位置を推定することができるようにする制御装置、および制御方法、プログラム、並びに移動体に関する。
自己位置に対応する場所に応じて、周囲の画像において自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、マスクされた周囲の画像より、画像特徴量を抽出し、画像特徴量と、自己位置の位置情報とを対応付けて位置画像特徴量DB(データベース)に登録する。搭載された計算機に従い自律的に移動する多足ロボット、飛翔体、車載システムに適用することができる。
【特許請求の範囲】
【請求項1】
自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第1のマスク生成部と、
第1のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第1の特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部とを含む
制御装置。
【請求項2】
前記第1のマスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成する
請求項1に記載の制御装置。
【請求項3】
前記場所に対応付けて、前記場所関連非特徴部を登録する場所関連非特徴部データベースをさらに含み、
前記第1のマスク生成部は、前記自己位置に対応する場所に対応付けて、前記場所関連非特徴部データベースに登録された前記場所関連非特徴部に基づいて、前記周囲の画像にいて前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成する
請求項2に記載の制御装置。
【請求項4】
前記第1の特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より、画像特徴量を抽出し、
前記データベースにおいて、前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する現在情報自己位置推定部をさらに含む
請求項1に記載の制御装置。
【請求項5】
前記現在情報自己位置推定部により推定された現在情報自己位置と、前記自己位置推定部により推定された自己位置とを統合し、自己位置推定結果として出力する統合部をさらに含み、
前記統合部は、前記自己位置推定結果と、前記第1の特徴量抽出部により抽出された画像特徴量とを対応付けて、前記データベースに登録する
請求項4に記載の制御装置。
【請求項6】
前記自己位置に対応する場所に対応付けて、前記場所関連非特徴部を登録する場所関連非特徴部データベースと、
前記データベースに登録された位置に基づいて特定される同一の場所における複数の前記画像特徴量において、統計的に類似する範囲を、前記同一の場所に対応付けて、新規の前記場所関連非特徴部として生成し、前記場所関連非特徴部データベースに登録する場所関連非特徴部生成登録部をさらに含む
請求項5に記載の制御装置。
【請求項7】
前記周囲の画像において自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である特徴領域にマスクを生成する第2のマスク生成部と、
前記第2のマスク生成部によりマスクされた前記周囲の画像より画像特徴量を非特徴領域特徴量として抽出する第2の特徴量抽出部と、
前記非特徴領域特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けて位置非特徴領域特徴量データベースに登録する位置非特徴領域特徴量データベース登録部と、
前記現在情報自己位置に対応する場所の場所関連非特徴部に基づいて、前記周囲の画像に対して、非特徴領域特徴量を抽出する非特徴領域特徴量抽出部と、
前記非特徴領域特徴量抽出部により抽出された前記非特徴領域特徴量と、前記現在情報自己位置に対応付けて、前記位置非特徴領域特徴量データベースに登録されている前記非特徴領域特徴量との類似度により、前記現在情報自己位置を検査する検査部とをさらに含む
請求項5に記載の制御装置。
【請求項8】
前記統合部より出力される自己位置推定結果の時系列の変化量に基づいて、または、電源投入の有無により、自己位置不定状態であるか否かを判定する自己位置不定状態判定部をさらに含み、
前記自己位置不定状態である場合、前記統合部は、前記現在情報自己位置を自己位置推定結果として出力し、
前記検査部は、前記非特徴領域特徴量抽出部により抽出された前記非特徴領域特徴量と、前記現在情報自己位置に対応して、前記位置非特徴領域特徴量データベースに登録されている前記非特徴領域特徴量との類似度により、前記現在情報自己位置を検査し、
前記類似度が所定の閾値よりも低い場合、前記自己位置不定状態であるものとみなし、前記統合部は、前記現在情報自己位置を自己位置推定結果として出力し、
前記類似度が所定の閾値よりも高い場合、前記自己位置不定状態が解消したものとみなし、前記統合部は、前記現在情報自己位置推定部により推定された現在情報自己位置と、前記自己位置推定部により推定された自己位置とを統合し、自己位置推定結果として出力する
請求項7に記載の制御装置。
【請求項9】
前記場所関連非特徴部は、前記自己位置に対応する場所と、場所関連非特徴部とのテーブルより構成される
請求項1に記載の制御装置。
【請求項10】
前記場所関連非特徴部は、前記自己位置に対応する場所と、前記場所を抽象化した場所属性とのテーブル、および、前記場所属性と、前記場所関連非特徴部とのテーブルより構成される
請求項9に記載の制御装置。
【請求項11】
前記撮像部は、ステレオカメラであり、
前記ステレオカメラにより撮像される、前記周囲の画像は、ステレオ画像であり、
前記ステレオ画像に基づいて、デプス画像を生成するデプス画像生成部をさらに含み、
前記第1のマスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記デプス画像からなる前記周囲の画像にマスクを生成し、
前記第1の特徴量抽出部は、前記デプス画像からなる、前記マスクされた前記周囲の画像より、画像特徴量を抽出する
請求項1に記載の制御装置。
【請求項12】
前記自己位置推定部は、
時系列に供給されるセンサ情報からなる時系列情報を用いて、前記自己位置を推定し、推定結果を時系列情報自己位置として出力する時系列情報自己位置推定部を含む
請求項1に記載の制御装置。
【請求項13】
前記時系列情報は、LIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)により検出される3次元点群データ、および車輪エンコーダにより検出される位置情報、姿勢、速度、加速度、および角速度である
請求項12に記載の制御装置。
【請求項14】
自己位置を推定する自己位置推定処理と、
周囲の画像を撮像する撮像処理と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第1のマスク生成処理と、
第1のマスク生成処理によりマスクされた前記周囲の画像より、画像特徴量を抽出する第1の特徴量抽出処理と、
前記画像特徴量と、前記自己位置推定処理により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録処理とを含む
制御方法。
【請求項15】
自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第1のマスク生成部と、
第1のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第1の特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と
してコンピュータを機能させるプログラム。
【請求項16】
自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第1のマスク生成部と、
第1のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第1の特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と
を含む移動体。
【請求項17】
自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、
マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と、
前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部とをさらに含み、
前記現在情報自己位置を推定する場合、
前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、
前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
制御装置。
【請求項18】
自己位置を推定する自己位置推定処理と、
周囲の画像を撮像する撮像処理と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成処理と、
マスク生成処理によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出処理と、
前記画像特徴量と、前記自己位置推定処理により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録処理と、
前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定処理とをさらに含み、
前記現在情報自己位置を推定する場合、
前記特徴量抽出処理は、前記撮像処理により撮像された前記周囲の画像より前記画像特徴量を抽出し、
前記現在情報自己位置推定処理は、前記データベースにおいて、前記特徴量抽出処理により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
制御方法。
【請求項19】
自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、
マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースに登録する登録部と、
前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部としてコンピュータを機能させ、
前記現在情報自己位置を推定する場合、
前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、
前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
プログラム。
【請求項20】
自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、
マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と、
前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部とをさらに含み、
前記現在情報自己位置を推定する場合、
前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、
前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
移動体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、制御装置、および制御方法、プログラム、並びに移動体に関し、特に、自己位置を高精度に推定できるようにした制御装置、および制御方法、プログラム、並びに移動体に関する。
【背景技術】
【0002】
周辺の画像を撮像し、撮像した画像内の特徴量から自己位置や姿勢を推定する技術がある。
【0003】
例えば、前方視野の案内表示などの特徴物と、記憶している画像との照合により前方特徴物を検出することで自己位置を認識して、走行を支援する技術が提案されている(特許文献1参照)。
【0004】
また、視線方向に対するテンプレート画像と撮像画像との照合から、ロボットや対象物体の位置・姿勢データを推定する技術が提案されている(特許文献2参照)。
【0005】
さらに、画像の特徴点とランドマーク情報とのパターン認識により特徴点を選出し、特徴点の個数でランドマーク候補を作り、位置を推定する技術が提案されている(特許文献3参照)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2014−012011号公報
【特許文献2】特開2012−185752号公報
【特許文献3】特開2010−033447号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1乃至3のいずれにおいても、異なる位置であっても、周囲に類似した物体が多数存在し、検出される特徴量の多くが類似している環境においては、一致する特徴量が多く検出されることにより同一の位置として誤検出されることがあった。
【0008】
本開示は、このような状況に鑑みてなされたものであり、特に、異なる位置であるにも関わらず周囲に類似した特徴量が多く存在することにより、同一の位置と誤検出され易い環境であっても、区別して高精度に自己位置を推定できるようにするものである。
【課題を解決するための手段】
【0009】
本開示の第1の側面の制御装置は、自己位置を推定する自己位置推定部と、周囲の画像を撮像する撮像部と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第1のマスク生成部と、第1のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第1の特徴量抽出部と、前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部とを含む制御装置である。
【0010】
前記第1のマスク生成部には、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成させるようにすることができる。
【0011】
前記場所に対応付けて、前記場所関連非特徴部を登録する場所関連非特徴部データベースをさらに含ませるようにすることができ、前記第1のマスク生成部には、前記自己位置に対応する場所に対応付けて、前記場所関連非特徴部データベースに登録された前記場所関連非特徴部に基づいて、前記周囲の画像にいて前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成させるようにすることができる。
【0012】
前記第1の特徴量抽出部には、前記撮像部により撮像された前記周囲の画像より、画像特徴量を抽出させ、前記データベースにおいて、前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する現在情報自己位置推定部をさらに含ませるようにすることができる。
【0013】
前記現在情報自己位置推定部により推定された現在情報自己位置と、前記自己位置推定部により推定された自己位置とを統合し、自己位置推定結果として出力する統合部をさらに含ませるようにすることができ、前記統合部には、前記自己位置推定結果と、前記第1の特徴量抽出部により抽出された画像特徴量とを対応付けて、前記データベースに登録させるようにすることができる。
【0014】
前記自己位置に対応する場所に対応付けて、前記場所関連非特徴部を登録する場所関連非特徴部データベースと、前記データベースに登録された位置に基づいて特定される同一の場所における複数の前記画像特徴量において、統計的に類似する範囲を、前記同一の場所に対応付けて、新規の前記場所関連非特徴部として生成し、前記場所関連非特徴部データベースに登録する場所関連非特徴部生成登録部をさらに含ませるようにすることができる。
【0015】
前記周囲の画像において自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である特徴領域にマスクを生成する第2のマスク生成部と、前記第2のマスク生成部によりマスクされた前記周囲の画像より画像特徴量を非特徴領域特徴量として抽出する第2の特徴量抽出部と、前記非特徴領域特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けて位置非特徴領域特徴量データベースに登録する位置非特徴領域特徴量データベース登録部と、前記現在情報自己位置に対応する場所の場所関連非特徴部に基づいて、前記周囲の画像に対して、非特徴領域特徴量を抽出する非特徴領域特徴量抽出部と、前記非特徴領域特徴量抽出部により抽出された前記非特徴領域特徴量と、前記現在情報自己位置に対応付けて、前記位置非特徴領域特徴量データベースに登録されている前記非特徴領域特徴量との類似度により、前記現在情報自己位置を検査する検査部とをさらに含ませるようにすることができる。
【0016】
前記統合部より出力される自己位置推定結果の時系列の変化量に基づいて、または、電源投入の有無により、自己位置不定状態であるか否かを判定する自己位置不定状態判定部をさらに含ませるようにすることができ、前記自己位置不定状態である場合、前記統合部には、前記現在情報自己位置を自己位置推定結果として出力させ、前記検査部には、前記非特徴領域特徴量抽出部により抽出された前記非特徴領域特徴量と、前記現在情報自己位置に対応して、前記位置非特徴領域特徴量データベースに登録されている前記非特徴領域特徴量との類似度により、前記現在情報自己位置を検査させ、前記類似度が所定の閾値よりも低い場合、前記自己位置不定状態であるものとみなし、前記統合部には、前記現在情報自己位置を自己位置推定結果として出力させ、前記類似度が所定の閾値よりも高い場合、前記自己位置不定状態が解消したものとみなし、前記統合部には、前記現在情報自己位置推定部により推定された現在情報自己位置と、前記自己位置推定部により推定された自己位置とを統合し、自己位置推定結果として出力させるようにすることができる。
【0017】
前記場所関連非特徴部は、前記自己位置に対応する場所と、場所関連非特徴部とのテーブルより構成されるようにすることができる。
【0018】
前記場所関連非特徴部は、前記自己位置に対応する場所と、前記場所を抽象化した場所属性とのテーブル、および、前記場所属性と、前記場所関連非特徴部とのテーブルより構成されるようにすることができる。
【0019】
前記撮像部は、ステレオカメラであり、前記ステレオカメラにより撮像される、前記周囲の画像は、ステレオ画像であり、前記ステレオ画像に基づいて、デプス画像を生成するデプス画像生成部をさらに含ませるようにすることができ、前記第1のマスク生成部には、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記デプス画像からなる前記周囲の画像にマスクを生成させ、前記第1の特徴量抽出部には、前記デプス画像からなる、前記マスクされた前記周囲の画像より、画像特徴量を抽出させるようにすることができる。
【0020】
前記自己位置推定部には、時系列に供給されるセンサ情報からなる時系列情報を用いて、前記自己位置を推定させ、推定結果を時系列情報自己位置として出力する時系列情報自己位置推定部を含ませるようにすることができる。
【0021】
前記時系列情報は、LIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)により検出される3次元点群データ、および車輪エンコーダにより検出される位置情報、姿勢、速度、加速度、および角速度とすることができる。
【0022】
本開示の第1の制御方法は、自己位置を推定する自己位置推定処理と、周囲の画像を撮像する撮像処理と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第1のマスク生成処理と、第1のマスク生成処理によりマスクされた前記周囲の画像より、画像特徴量を抽出する第1の特徴量抽出処理と、前記画像特徴量と、前記自己位置推定処理により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録処理とを含む制御方法である。
【0023】
本開示の第1の側面のプログラムは、自己位置を推定する自己位置推定部と、周囲の画像を撮像する撮像部と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第1のマスク生成部と、第1のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第1の特徴量抽出部と、前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部としてコンピュータを機能させるプログラムである。
【0024】
本開示の第1の側面の移動体は、自己位置を推定する自己位置推定部と、周囲の画像を撮像する撮像部と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第1のマスク生成部と、第1のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第1の特徴量抽出部と、前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部とを含む移動体である。
【0025】
本開示の第1の側面においては、自己位置が推定され、周囲の画像が撮像され、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクが生成され、マスクされた前記周囲の画像より、画像特徴量が抽出され、前記画像特徴量と、推定された自己位置の位置情報とが対応付けられてデータベースとして登録される。
【0026】
本開示の第2の側面の制御装置は、自己位置を推定する自己位置推定部と、周囲の画像を撮像する撮像部と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と、前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部とをさらに含み、前記現在情報自己位置を推定する場合、前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する制御装置である。
【0027】
本開示の第2の側面の制御方法は、自己位置を推定する自己位置推定処理と、周囲の画像を撮像する撮像処理と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成処理と、マスク生成処理によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出処理と、前記画像特徴量と、前記自己位置推定処理により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録処理と、前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定処理とをさらに含み、前記現在情報自己位置を推定する場合、前記特徴量抽出処理は、前記撮像処理により撮像された前記周囲の画像より前記画像特徴量を抽出し、前記現在情報自己位置推定処理は、前記データベースにおいて、前記特徴量抽出処理により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する制御方法である。
【0028】
本開示の第2の側面のプログラムは、自己位置を推定する自己位置推定部と、周囲の画像を撮像する撮像部と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースに登録する登録部と、前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部としてコンピュータを機能させ、前記現在情報自己位置を推定する場合、前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定するプログラムである。
【0029】
本開示の第2の側面の移動体は、自己位置を推定する自己位置推定部と、周囲の画像を撮像する撮像部と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と、前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部とをさらに含み、前記現在情報自己位置を推定する場合、前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する移動体である。
【0030】
本開示の第2の側面においては、自己位置が推定され、周囲の画像が撮像され、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクが生成され、マスクされた前記周囲の画像より、画像特徴量が抽出され、前記画像特徴量と、推定された自己位置の位置情報とが対応付けられてデータベースとして登録され、前記データベースに基づいて、現在情報自己位置が推定され、前記現在情報自己位置が推定される場合、撮像された前記自己位置の周囲の画像より前記画像特徴量が抽出され、前記データベースにおいて、抽出された前記画像特徴量に対応付けて登録されている前記位置情報が現在情報自己位置として推定される。
【発明の効果】
【0031】
本開示の一側面によれば、特に、異なる位置であるにも関わらず周囲に類似した特徴量が多く存在することにより、同一の位置と誤検出され易い環境であっても、区別して高精度に自己位置を推定することが可能となる。
【図面の簡単な説明】
【0032】
図1】本開示の概要を説明する移動体の構成例を示す図である。
図2】本開示の概要を説明する図である。
図3】本開示の移動体を制御する移動体制御システムの構成例を説明するブロック図である。
図4】本開示の第1の実施の形態に係る認識処理部の構成例の詳細なブロック図である。
図5】場所関連非特徴部を説明する図である。
図6図4の認識処理部による自律移動制御処理を説明するフローチャートである。
図7】時系列情報自己位置推定処理を説明するフローチャートである。
図8】現在情報自己位置推定処理を説明するフローチャートである。
図9図4の認識処理部による位置画像特徴量登録処理を説明するフローチャートである。
図10】場所関連非特徴部の応用例を説明する図である。
図11】本開示の第2の実施の形態に係る認識処理部の構成例の詳細なブロック図である。
図12】場所関連非特徴部生成登録処理を説明するフローチャートである。
図13】本開示の第3の実施の形態に係る認識処理部の構成例の詳細なブロック図である。
図14図13の認識処理部による位置画像特徴量登録処理を説明するフローチャートである。
図15図13の認識処理部による自律移動制御処理を説明するフローチャートである。
図16】自己位置不定モード処理を説明するフローチャートである。
図17】汎用のコンピュータの構成例を説明する図である。
【発明を実施するための形態】
【0033】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0034】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.本開示の概要
2.第1の実施の形態
3.第2の実施の形態
4.第3の実施の形態
5.ソフトウェアにより実行させる例
【0035】
<<1.本開示の概要>>
【0036】
本開示の移動体は、異なる位置であるにもかかわらず、類似した特徴量の多い環境であって、同一の位置として誤検出され易い環境でも、高精度に区別して、自己位置を推定できるようにした移動体である。
【0037】
図1は、本開示の移動体11の概要となる構成例を示している。
【0038】
移動体11は、例えば、ロボットなどであり、センサ群21、自律移動制御部22、およびアクチュエータ群23を備えている。
【0039】
センサ群21は、移動体11の内部、および移動体11の周囲の状況の認識に必要な各種の情報を検出するセンサ21a−1乃至21a−nを備えており、検出結果を自律移動制御部22に出力する。また、センサ21a−1乃至21a−nについて特に区別する必要がない場合、単に、センサ21aと称するものとし、その他の構成についても同様に称する。
【0040】
より具体的には、センサ21a−1乃至21a−nは、例えば、移動体11の周囲を撮像するカメラ、移動体11の動きを検出する加速度センサ、移動体11の周囲に存在する物体までの距離を測定するLIDAR、ToF(Time of Flight)センサ、方向を検出する地磁気センサ、ジャイロセンサ、加速度センサ、周囲の気圧の変化を検出する気圧センサ、接触の有無等を検出する接触センサ、温度を検出する温度センサ、湿度を検出する湿度センサ、PSD(Position Sensitive Detector)測距センサおよび、地球上の位置を検出するGNSS(Global Navigation Satellite System)などを含む。
【0041】
自律移動制御部22は、センサ群21の各種の検出結果より、周囲の状況を認識し、認識結果に基づいて行動計画を生成し、行動計画に応じて、ロボットを駆動させるアクチュエータ群23の各種アクチュエータ23a−1乃至23a−nを動作させる。また、アクチュエータ23a−1乃至23a−nについて特に区別する必要がない場合、単に、アクチュエータ23aと称するものとし、その他の構成についても同様に称する。
【0042】
より詳細には、自律移動制御部22は、認識処理部31、行動計画処理部32、および行動制御処理部33を備えている。
【0043】
認識処理部31は、センサ群21より供給される検出結果に基づいて、認識処理を実行し、例えば、画像、人、物体、表情の種類、位置、属性、および自らや障害物の位置等を認識し、認識結果として行動計画処理部32に出力する。また、認識処理部31は、センサ群21より供給される検出結果に基づいて、自己位置を推定する。
【0044】
行動計画処理部32は、認識結果に基づいて、移動体11の全体の行動である、移動体11の移動に係る機器の移動の軌跡、状態変化、および速度または加速度などの行動計画を生成し、行動制御処理部33に供給する。
【0045】
行動制御処理部33は、行動計画処理部32より供給される行動計画に基づいて、アクチュエータ群23のアクチュエータ23a−1乃至23a−nのそれぞれの具体的な動きを制御するための制御信号を生成し、アクチュエータ群23を動作させる。
【0046】
アクチュエータ群23は、行動制御処理部33より供給される制御信号に基づいて、移動体11を具体的に動作させるアクチュエータ23a−1乃至23a−nを動作させる。より詳細には、アクチュエータ23a−1乃至23a−nは、移動体11の具体的な動き実現するモータ、サーボモータ、ブレーキ等の動作を制御信号に基づいて動作させる。
【0047】
また、アクチュエータ23a−1乃至23a−nは、伸縮運動、屈伸運動、または旋回運動などを実現させる構成を含むと共に、情報を表示するLED(Light Emission Diode)やLCD(Liquid Crystal Display)などからなる表示部、および、音声を出力するスピーカなどの構成を含む。したがって、アクチュエータ群23が制御信号に基づいて、制御されることにより、移動体11を駆動させる各種の装置の動作が実現されると共に、情報が表示される、および音声が出力される。
【0048】
すなわち、アクチュエータ群23のアクチュエータ23a−1乃至23a−nが制御されることにより、移動体11の移動に係る動作が制御されると共に、情報の表示や音声の出力などの各種の情報の提示も制御される。
【0049】
<本開示の自己位置推定の概要>
認識処理部31は、センサ群21より供給される検出結果に基づいて、自己位置を推定する。
【0050】
より具体的には、認識処理部31は、センサ群21により、例えば、カメラにより撮像される自己位置の周辺の画像より特徴量を抽出し、予め画像の特徴量と、位置とが対応付けて登録されたDB(データベース)の特徴量と照合して、一致する特徴量に対応付けて登録された位置の情報を読み出すことにより自己位置を推定する。
【0051】
しかしながら、例えば、図2の左部で示されるようなオフィスビルの廊下などにおいては、階数が異なっていても、周囲の環境はほぼ類似していることがあり、抽出される特徴量においても、類似していることが多く、異なる階数であっても同一の階の廊下と自己位置を誤検出することがある。
【0052】
特に、廊下の天井に設けられた照明類が多くの特徴量として検出されることにより、誤検出を誘発させる原因となっている。
【0053】
そこで、本開示においては、図2の右部で示されるように、予め画像に対して、誤検出を誘発させ易い、換言すれば、他の階との区別には有用(有効)ではない特徴量を多く含む天井部分にマスク領域Zが付された状態で抽出される特徴量と位置情報とを対応付けてDBに登録させる。
【0054】
すなわち、本開示においては、周囲の画像のうち、同一の特徴量が抽出され易い、他の位置との差異が少ない領域に対して、予めマスクを掛けた状態で特徴量を抽出して、位置情報と対応付けてDBを構成することにより、異なる位置であるにも拘わらず、類似した物体が多く存在するような環境においても位置を区別して高精度に自己位置を推定できるようにする。
【0055】
<<2.第1の実施の形態>>
<本開示の移動体を制御する移動体制御システムの構成例>
上述した機能を実現させるための移動体11を制御する移動体制御システムについて説明する。
【0056】
図3は、本開示の移動体11を制御する移動体制御システム100の概略的な機能の構成例を示すブロック図である。尚、図3の移動体制御システム100は、本技術が適用され得るロボットからなる移動体11を制御する移動体制御システムの一例であるが、他の移動体、例えば、航空機、船舶、およびマルチローターコプター(ドローン)などを制御するシステムとして適用することもできる。また、ロボットについても、車輪型のロボットや搭乗可能な自動運転車でもよいし、多足歩行型のロボットでもよい。
【0057】
移動体制御システム100は、入力部101、データ取得部102、通信部103、移動体内部機器104、出力制御部105、出力部106、駆動系制御部107、駆動系システム108、記憶部109、及び、自律移動制御部110を備える。入力部101、データ取得部102、通信部103、出力制御部105、駆動系制御部107、記憶部109、及び、自律移動制御部110は、通信ネットワーク111を介して、相互に接続されている。通信ネットワーク111は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、IEEE802.3等のLAN(Local Area Network)、又は、FlexRay(登録商標)等の任意の規格に準拠した通信ネットワークやバス、あるいは規格化されていない独自の通信方式等からなる。なお、移動体制御システム100の各部は、通信ネットワーク111を介さずに、直接接続される場合もある。
【0058】
なお、以下、移動体制御システム100の各部が、通信ネットワーク111を介して通信を行う場合、通信ネットワーク111の記載を省略するものとする。例えば、入力部101と自律移動制御部110が、通信ネットワーク111を介して通信を行う場合、単に入力部101と自律移動制御部110が通信を行うと記載する。
【0059】
入力部101は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部101は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部101は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、移動体制御システム100の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部101は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、移動体制御システム100の各部に供給する。
【0060】
データ取得部102は、移動体制御システム100の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動体制御システム100の各部に供給する。
【0061】
例えば、データ取得部102は、移動体の状態等を検出するための各種のセンサを備えることでセンサ群112を構成し、図1のセンサ21a−1乃至21a−nより構成されるセンサ群21に対応する。具体的には、例えば、データ取得部102は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、及び、アクセル等の加速入力の操作量、減速入力の操作量、方向指示入力の操作量、エンジンやモータ等の駆動装置の回転数や入出力エネルギー・燃料量、エンジンやモータ等のトルク量、若しくは、車輪や関節の回転速度やトルク等を検出するためのセンサ等を備える。
【0062】
また、例えば、データ取得部102は、移動体の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、偏光カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部102は、天候又は気象等を検出するための環境センサ、及び、移動体の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、レーザ測距センサ、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。
【0063】
さらに、例えば、データ取得部102は、移動体の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号を受信するGNSS受信機等を備える。
【0064】
通信部103は、移動体内部機器104、並びに、移動体外部の様々な機器、サーバ、基地局等と通信を行い、移動体制御システム100の各部から供給されるデータを送信したり、受信したデータを移動体制御システム100の各部に供給したりする。なお、通信部103がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部103が、複数の種類の通信プロトコルをサポートすることも可能である。
【0065】
例えば、通信部103は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、又は、WUSB(Wireless USB)等により、移動体内部機器104と無線通信を行う。また、例えば、通信部103は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、又は、MHL(Mobile High-definition Link)等により、移動体内部機器104と有線通信を行う。
【0066】
さらに、例えば、通信部103は、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)との通信を行う。また、例えば、通信部103は、P2P(Peer To Peer)技術を用いて、移動体の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又は、MTC(Machine Type Communication)端末)との通信を行う。さらに、例えば、移動体11が車両の場合、通信部103は、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、移動体と家との間(Vehicle to Home)の通信、及び、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。また、例えば、通信部103は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
【0067】
移動体内部機器104は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、移動体に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
【0068】
出力制御部105は、移動体の搭乗者又は移動体外部に対する各種の情報の出力を制御する。例えば、出力制御部105は、視覚情報(例えば、画像データ)及び聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部106に供給することにより、出力部106からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部105は、データ取得部102の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部106に供給する。また、例えば、出力制御部105は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部106に供給する。
【0069】
出力部106は、移動体の搭乗者又は移動体外部に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部106は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部106が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。尚、出力制御部105および出力部106は、自律移動の処理には必須の構成ではないため、必要に応じて省略するようにしてもよい。
【0070】
駆動系制御部107は、各種の制御信号を生成し、駆動系システム108に供給することにより、駆動系システム108の制御を行う。また、駆動系制御部107は、必要に応じて、駆動系システム108以外の各部に制御信号を供給し、駆動系システム108の制御状態の通知等を行う。
【0071】
駆動系システム108は、移動体の駆動系に関わる各種の装置を備える。例えば、駆動系システム108は、4本の脚の各関節に備わった角度やトルクを指定可能なサーボモータ、ロボット自体の移動の動きを4本の足の動きに分解・置換するモーションコントローラ並びに、各モータ内のセンサや足裏面のセンサによるフィードバック制御装置を備える。
【0072】
別の例では、駆動系システム108は、4基ないし6基の機体上向きのプロペラを持つモータ、ロボット自体の移動の動きを各モータの回転量に分解・置換するモーションコントローラを備える。
【0073】
さらに、別の例では、駆動系システム108は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。尚、出力制御部105、出力部106、駆動系制御部107、および駆動系システム108は、アクチュエータ群113を構成し、図1のアクチュエータ23a−1乃至23a−nからなるアクチュエータ群23に対応する。
【0074】
記憶部109は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部109は、移動体制御システム100の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部109は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、移動体の周囲の情報を含むローカルマップ等の地図データを記憶する。
【0075】
自律移動制御部110は、自動運転又は運転支援等の自律移動に関する制御を行う。具体的には、例えば、自律移動制御部110は、移動体の衝突回避あるいは衝撃緩和、移動体間距離に基づく追従移動、移動体速度維持移動、または、移動体の衝突警告の機能実現を目的とした協調制御を行う。また、例えば、自律移動制御部110は、操作者・ユーザの操作に拠らずに自律的に移動する自律移動等を目的とした協調制御を行う。自律移動制御部110は、検出部131、自己位置推定部132、状況分析部133、計画部134、及び、動作制御部135を備える。このうち、検出部131、自己位置推定部132、および状況分析部133は、認識処理部121を構成し、図1の認識処理部31に対応する。また、計画部134は、行動計画処理部122を構成し、図1の行動計画処理部32に対応する。さらに、動作制御部135は、行動制御処理部123を構成し、図1の行動制御処理部33に対応する。
【0076】
検出部131は、自律移動の制御に必要な各種の情報の検出を行う。検出部131は、移動体外部情報検出部141、移動体内部情報検出部142、及び、移動体状態検出部143を備える。
【0077】
移動体外部情報検出部141は、移動体制御システム100の各部からのデータ又は信号に基づいて、移動体の外部の情報の検出処理を行う。例えば、移動体外部情報検出部141は、移動体の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、移動体、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、移動体外部情報検出部141は、移動体の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。移動体外部情報検出部141は、検出処理の結果を示すデータを自己位置推定部132、状況分析部133のマップ解析部151、及び、状況認識部152、並びに、動作制御部135等に供給する。
【0078】
移動体内部情報検出部142は、移動体制御システム100の各部からのデータ又は信号に基づいて、移動体内部の情報の検出処理を行う。例えば、移動体内部情報検出部142は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、移動体内部の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる移動体内部の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。移動体内部情報検出部142は、検出処理の結果を示すデータを状況分析部133の状況認識部152、及び、動作制御部135等に供給する。
【0079】
移動体状態検出部143は、移動体制御システム100の各部からのデータ又は信号に基づいて、移動体の状態の検出処理を行う。検出対象となる移動体の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の移動体搭載機器の状態等が含まれる。移動体状態検出部143は、検出処理の結果を示すデータを状況分析部133の状況認識部152、及び、動作制御部135等に供給する。
【0080】
自己位置推定部132は、移動体外部情報検出部141、及び、状況分析部133の状況認識部152等の移動体制御システム100の各部からのデータ又は信号に基づいて、移動体の位置及び姿勢等の推定処理を行う。また、自己位置推定部132は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部132は、推定処理の結果を示すデータを状況分析部133のマップ解析部151、及び、状況認識部152等に供給する。また、自己位置推定部132は、自己位置推定用マップを記憶部109に記憶させる。
【0081】
さらに、自己位置推定部132は、センサ群112より供給される検出結果に基づいて、時系列に供給される時系列情報をデータベースに蓄積すると共に、蓄積した時系列の情報に基づいて、自己位置を推定し、時系列情報自己位置として出力する。また、自己位置推定部132は、センサ群112より供給される現在の検出結果に基づいて、自己位置を推定し、現在情報自己位置として出力する。そして、自己位置推定部132は、時系列情報自己位置と、現在情報自己位置とを統合する、または、切り替えることにより自己位置推定結果として出力する。さらに、自己位置推定部132は、現在情報自己位置を推定するにあたっては、センサ群112により検出される検出結果のうちの画像より抽出される画像特徴量と、位置とを対応付けた位置画像特徴量DB225(図4)を備えており、検出結果との照合により現在情報自己位置を推定する。自己位置推定部132は、センサ群112により撮像される画像に対して、位置を特定する上で有用ではない画像特徴量が多く検出される場所毎に、マスクすべき範囲の情報を備えている。自己位置推定部132は、位置画像特徴量DB225(図4)へと画像特徴量と位置とを対応付けて登録する際、センサ群112により撮像される画像に対して、場所に応じてマスクを付した状態で画像特徴量を抽出して登録する。これにより、位置を特定する上で有用ではない画像特徴量を多く含む範囲がマスクされて画像特徴量が抽出されることになるので、類似した画像特徴量、すなわち、位置を特定する上で有用ではない画像特徴量を多く含む環境でも、高精度に区別して自己位置を推定することが可能となる。尚、自己位置推定部132の詳細な構成については、図4を参照して後述する。
【0082】
状況分析部133は、移動体及び周囲の状況の分析処理を行う。状況分析部133は、マップ解析部151、状況認識部152、及び、状況予測部153を備える。
【0083】
マップ解析部151は、自己位置推定部132及び移動体外部情報検出部141等の移動体制御システム100の各部からのデータ又は信号を必要に応じて用いながら、記憶部109に記憶されている各種のマップの解析処理を行い、自律移動の処理に必要な情報を含むマップを構築する。マップ解析部151は、構築したマップを、状況認識部152、状況予測部153、並びに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
【0084】
状況認識部152は、自己位置推定部132、移動体外部情報検出部141、移動体内部情報検出部142、移動体状態検出部143、及び、マップ解析部151等の移動体制御システム100の各部からのデータ又は信号に基づいて、移動体に関する状況の認識処理を行う。例えば、状況認識部152は、移動体の状況、移動体の周囲の状況、及び、移動体の運転者の状況等の認識処理を行う。また、状況認識部152は、必要に応じて、移動体の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)、道路地図(Lane Map)、または、点群地図(Point Cloud Map)とされる。
【0085】
認識対象となる移動体の状況には、例えば、移動体の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、異常の有無及び内容等が含まれる。認識対象となる移動体の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
【0086】
状況認識部152は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部132及び状況予測部153等に供給する。また、状況認識部152は、状況認識用マップを記憶部109に記憶させる。
【0087】
状況予測部153は、マップ解析部151、及び状況認識部152等の移動体制御システム100の各部からのデータ又は信号に基づいて、移動体に関する状況の予測処理を行う。例えば、状況予測部153は、移動体の状況、移動体の周囲の状況、及び、運転者の状況等の予測処理を行う。
【0088】
予測対象となる移動体の状況には、例えば、移動体の挙動、異常の発生、及び、移動可能距離等が含まれる。予測対象となる移動体の周囲の状況には、例えば、移動体の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
【0089】
状況予測部153は、予測処理の結果を示すデータを、及び状況認識部152からのデータとともに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
【0090】
ルート計画部161は、マップ解析部151及び状況予測部153等の移動体制御システム100の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部161は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部161は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部161は、計画したルートを示すデータを行動計画部162等に供給する。
【0091】
行動計画部162は、マップ解析部151及び状況予測部153等の移動体制御システム100の各部からのデータ又は信号に基づいて、ルート計画部161により計画されたルートを計画された時間内で安全に移動するための移動体の行動を計画する。例えば、行動計画部162は、発進、停止、進行方向(例えば、前進、後退、左折、右折、方向転換等)、移動速度、及び、追い越し等の計画を行う。行動計画部162は、計画した移動体の行動を示すデータを動作計画部163等に供給する。
【0092】
動作計画部163は、マップ解析部151及び状況予測部153等の移動体制御システム100の各部からのデータ又は信号に基づいて、行動計画部162により計画された行動を実現するための移動体の動作を計画する。例えば、動作計画部163は、加速、減速、及び、移動軌道等の計画を行う。動作計画部163は、計画した移動体の動作を示すデータを、動作制御部135等に供給する。
【0093】
動作制御部135は、移動体の動作の制御を行う。
【0094】
より詳細には、動作制御部135は、移動体外部情報検出部141、移動体内部情報検出部142、及び、移動体状態検出部143の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、移動体の異常等の緊急事態の検出処理を行う。動作制御部135は、緊急事態の発生を検出した場合、急停止や急旋回等の緊急事態を回避するための移動体の動作を計画する。
【0095】
また、動作制御部135は、動作計画部163により計画された移動体の動作を実現するための加減速制御を行う。例えば、動作制御部135は、計画された加速、減速、又は、急停止を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
【0096】
動作制御部135は、動作計画部163により計画された移動体の動作を実現するための方向制御を行う。例えば、動作制御部135は、動作計画部163により計画された移動軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
【0097】
<認識処理部の詳細な構成例>
次に、図4を参照して、図3の移動体制御システム100のうち、認識処理部31に対応する自律移動制御部110の認識処理部121と、その周辺の具体的な構成例について説明する。
【0098】
尚、ここでは、移動体が車輪型移動ロボットからなる移動体11である例について説明するが、その他のロボットや車両などの移動体であってもよい。
【0099】
センサ群112は、LIDAR201、車輪エンコーダ202、およびステレオカメラ203を備えているものとする。当然のことながら、4足歩行ロボットや車両等であれば、その他のセンサを使用するようにしてもよい。
【0100】
LIDAR201は、移動体11の周囲の物体までの距離を3次元点群データとして取得し、検出部131を介して、自己位置推定部132の時系列情報自己位置推定部221に時系列情報として出力する。
【0101】
車輪エンコーダ202は、移動体11の位置情報(X,Y,Z)、姿勢(クォータニオン)、速度(dx,dy,dz)、加速度(ax,ay,az)、および角速度(wx,wy,wz)を検出し、検出部131を介して、時系列情報自己位置推定部221に時系列情報として出力する。
【0102】
ステレオカメラ203は、移動体11の周囲の視差画像を撮像して、検出部131を介して、自己位置推定部132に現在情報として出力する。
【0103】
自己位置推定部132は、デプス画像生成部220、時系列情報自己位置推定部221、時系列情報DB222、特徴量抽出部223、現在情報自己位置推定部224、位置画像特徴量DB225、自己位置推定結果統合部226、非特徴領域マスク生成部227、場所関連非特徴部DB228、位置画像特徴量登録部229、および位置場所変換部230を備えている。
【0104】
また、自己位置推定部132には、自己位置を推定する自己位置推定処理を実行するモードと、自己位置推定処理に必要な、位置画像特徴量DB225(図4)に位置の情報に対応付けて画像特徴量を登録する、位置画像特徴量登録処理を実行するモードとがある。
【0105】
そこで、自己位置推定部132においては、位置画像特徴量登録処理を実行するための構成からなる位置画像特徴量登録処理ブロック211と、自己位置推定処理を実行するための自己位置推定処理ブロック212とからなる。
【0106】
位置画像特徴量登録処理ブロック211は、デプス画像生成部220、時系列情報自己位置推定部221、時系列情報DB222、特徴量抽出部223、非特徴領域マスク生成部227、場所関連非特徴部DB228、位置画像特徴量登録部229、および位置場所変換部230からなる。
【0107】
また、自己位置推定処理ブロック212は、デプス画像生成部220、時系列情報自己位置推定部221、時系列情報DB222、特徴量抽出部223、および現在情報自己位置推定部224からなる。
【0108】
時系列情報自己位置推定部221は、LIDAR201および車輪エンコーダ202より供給される、自己位置、および周囲の障害物の位置を表現する3次元点群データ等の時系列情報を時系列情報DB222に格納する。また、時系列情報自己位置推定部221は、時系列情報DB222より、過去から現在までの時系列情報を必要に応じて読み出し、読み出した過去から現在までの時系列情報に基づいて自己位置を推定し、自己位置推定結果統合部226に供給する。
【0109】
尚、時系列情報自己位置推定部221による、SLAM(Simultaneous Localisation and Mapping)を用いた具体的な自己位置推定方法については、「拡張カルマンフィルタを用いた移動ロボットの自己位置推定と環境認識」森本祐介,正滑川徹、「Simultaneous Localisation and Mapping (SLAM): Part I The Essential Algorithms Hugh Durrant-Whyte, Fellow, IEEE, and Tim Bailey」、および「Simultaneous Localisation and Mapping (SLAM): Part II State of the Art Tim Bailey and Hugh Durrant-Whyte」を参照されたい。尚、時系列情報自己位置推定部221により時系列情報に基づいて推定される自己位置を時系列情報自己位置と称する。
【0110】
デプス画像生成部220は、ステレオカメラ203より供給される視差画像に基づいて、デプス画像(距離画像)を生成し、特徴量抽出部223、および非特徴領域マスク生成部227に出力する。
【0111】
特徴量抽出部223は、自己位置推定処理においては、デプス画像生成部220より供給されるデプス画像より画像特徴量を抽出して、現在情報自己位置推定部224、および位置画像特徴量登録部229に出力する。
【0112】
特徴量抽出部223は、位置画像特徴量登録処理においては、非特徴領域マスク生成部227より供給される、非特徴領域マスクにより一部がマスクされた、デプス画像より画像特徴量を抽出して、現在情報自己位置推定部224、および位置画像特徴量登録部229に出力する。
【0113】
現在情報自己位置推定部224は、位置と画像特徴量とが対応付けて記憶されている位置画像特徴量DB225より、抽出した特徴量に対応する位置の情報に基づいて、自己位置を推定し、自己位置推定結果統合部226に供給する。尚、現在情報自己位置推定部224により現在情報に基づいて推定される自己位置を現在情報自己位置と称する。
【0114】
自己位置推定結果統合部226は、自己位置推定処理においては、時系列情報自己位置と、現在情報自己位置とを、例えば、LIDAR201、車輪エンコーダ202、およびステレオカメラ203のそれぞれの状況に応じた信頼度などに応じて統合し、自己位置推定結果として状況認識部152に出力する。尚、自己位置推定結果統合部226は、求められた位置の情報と、そのタイミングで検出されたデプス画像の画像特徴量とを対応付けて位置画像特徴量DB225に登録する。すなわち、自己位置として推定された位置に対応付けて、そのタイミングにおけるデプス画像の特徴量を登録させることにより、一度、通った位置については、対応するデプス画像の画像特徴量が確実に存在することになるので、高精度に自己位置を推定することが可能となる。
【0115】
非特徴領域マスク生成部227は、位置画像特徴量登録処理において、時系列情報自己位置推定部221より供給される時系列情報自己位置により特定される場所に基づいて、場所と場所関連非特徴部とを対応付けて登録している場所関連非特徴部DB228より、対応付けて登録されている場所関連非特徴部を読み出す。
【0116】
ここで、位置場所変換部230は、位置情報と場所とが対応付けられて格納されたデータベースを記憶しており、時系列情報自己位置に基づいて、対応する場所の情報を読み出すことで、時系列情報位置情報を場所の情報に変換して出力する。位置場所変換部230が記憶するデータベースにおいては、例えば、時系列情報自己位置により特定される緯度経度の位置情報と、対応する建物の階数の部屋番号や廊下、道路などが場所の情報として対応付けて格納されている。
【0117】
これにより位置場所変換部230は、時系列情報自己位置推定部221より供給される時系列情報自己位置を、対応する場所の情報に変換して非特徴領域マスク生成部227に出力する。
【0118】
非特徴領域マスク生成部227は、位置場所変換部230より供給される場所の情報に基づいて、場所と場所関連非特徴部とを対応付けて登録している場所関連非特徴部DB228より、対応付けて登録されている場所関連非特徴部を読み出す。
【0119】
そして、非特徴領域マスク生成部227は、読み出した場所関連非特徴部に基づいて、非特徴領域マスクを生成して、デプス画像生成部220によりステレオカメラ203のステレオ画像から生成されたデプス画像に対して、非特徴領域マスクを付加して、特徴量抽出部223に出力する。
【0120】
場所関連非特徴部DB228において、場所に対応付けて登録されている場所関連非特徴部とは、例えば、図5の左部で示されるように、場所に対応付けて予め登録されるテーブルで定義され、位置を特定するために用いられるデプス画像のうち、他の位置との区別に有用でない特徴量が多く存在する範囲を特定する情報である。つまり、図2でも示したように、オフィスビル内の廊下などでは、天井の照明が特徴量として多く検出されるが、複数の階で同一の構造であることが多いため、天井の照明の特徴量を用いると、いずれの階のフロアであるのかを特定し難く、誤検出が発生し易い。すなわち、ビル内のような環境では、天井には、位置を特定するために用いられる有用な特徴量は少なく、天井を除く範囲の特徴量の情報を用いた方がフロアを識別し易い。そこで、このような場合については、天井の範囲が場所関連非特徴部とされる。天井以外にもビル内では、ブラインド、模様付きの壁、タイル床、等、屋外では整備された新興住宅街、タイル張りの地面等が場所関連非特徴部としてあげられる。上記は一例であり場所関連非特徴部は上記に限定されない。
【0121】
より具体的には、図5の左部においては、場所として特定される、ABCビルの8Fにおいては、天井を除く範囲が、デプス画像内のうち、現在情報自己位置を推定するために、他の位置との区別に有用な特徴量が多く存在するので、天井が、場所関連非特徴部とされる。
【0122】
また、図5の左部においては、場所として特定される、エレベータホールにおいては、南向き壁、および床を除く範囲が、デプス画像内のうち、現在情報自己位置を推定するために、他の位置との区別に有用な特徴量が多く存在するので、南向き壁、および床が、場所関連非特徴部とされる。
【0123】
非特徴領域マスク生成部227は、場所関連非特徴部の情報に基づいて、場所ごとの非特徴領域マスクを生成し、デプス画像生成部220より供給されるデプス画像に対して付加して、特徴量抽出部223に供給する。
【0124】
したがって、図5の左部である場合、例えば、時系列情報自己位置推定結果に基づいて、場所がABCビルの8Fであることが特定されるときには、非特徴領域マスク生成部227は、現在情報自己位置を特定するために用いられるデプス画像内のうち、有用な特徴量が多くない、換言すれば、他の位置との区別に有用ではない特徴量が含まれる、天井部分を場所関連非特徴部に設定し、非特徴領域マスクを付加したデプス画像を特徴量抽出部223に供給する。
【0125】
同様に、図5の左部である場合、例えば、時系列情報自己位置推定結果に基づいて、場所がエレベータホールであることが特定されるときには、非特徴領域マスク生成部227は、現在情報自己位置を特定するために用いられるデプス画像内のうち、有用な特徴量が多くない、換言すれば、他の位置との区別に有用ではない特徴量が含まれる、南向きの壁、および床部分を場所関連非特徴部に設定し、非特徴領域マスクを付加したデプス画像を特徴量抽出部223に供給する。
【0126】
位置画像特徴量登録部229は、位置画像特徴量登録処理において、特徴量抽出部223より供給される画像特徴量の情報を、時系列情報自己位置推定結果と対応付けて位置画像特徴量DB225に登録する。
【0127】
このようにして、位置画像特徴量登録処理においては、供給されたデプス画像に基づいて、特徴量抽出部223は、デプス画像のうち、非特徴領域マスクが付加されていない範囲から画像特徴量を抽出する。結果として、デプス画像のうち、他の位置との区別に有用ではない画像特徴量が多く含まれる範囲がマスクされて画像特徴量が抽出され、他の位置との区別に有用な多くの画像特徴量が生成されるので、誤検出の発生を抑制することが可能となる。
【0128】
また、場所関連非特徴部DB228に登録される場所関連非特徴部は、図5の左部で示される条件以外でもよく、コンピュータによって物理的な場所の範囲が指定できるデータ形式であればよい。例えば、図5の右部で示されるように、緯度<x、かつ、経度<yの範囲で特定される場所であるときでもよい。また、別の例では例えば、無線アクセスポイントXXXからの電波強度がY以内を場所といった、何らかの条件を満たす場所としてもよい。また、右部はコンピュータによってデプス画像内にマスクを生成可能な場所を指定できる情報及びデータ形式であればよい。たとえば所定の平面方向(例えば、重力方向に対して平行、または、重力方向に対して垂直のいずれか)であってもよい。また別の例では南向きの壁の範囲としてもよい。
【0129】
図4の自律移動制御部による自律移動推定処理>
次に、図6のフローチャートを参照して、自己位置推定処理について説明する。
【0130】
ステップS11において、時系列情報自己位置推定部221は、時系列情報自己位置推定処理を実行して、時系列情報自己位置を推定して、自己位置推定結果統合部226に出力する。尚、時系列情報自己位置推定処理については、図7のフローチャートを参照して、後述する。
【0131】
ステップS12において、現在情報自己位置推定部224は、現在情報自己位置推定処理を実行して、現在情報自己位置を推定して、自己位置推定結果統合部226に出力する。尚、現在情報自己位置推定処理については、図8のフローチャートを参照して、後述する。
【0132】
ステップS13において、自己位置推定結果統合部226は、時系列情報自己位置および現在情報自己位置を、例えば、カルマンフィルタや粒子フィルタにより統合し、統合した自己位置の情報を自己位置推定結果として状況認識部152に出力する。
【0133】
ステップS14において、自己位置推定結果統合部226は、自己位置推定結果と、その自己位置推定結果を特定するために利用した現在情報である視差画像より求められたデプス画像の特徴量とを対応付けて位置画像特徴量DB225に登録する。
【0134】
ステップS15において、状況認識部152は、自己位置推定結果に基づいて、移動体の状況、および移動体の周囲の状況の認識処理を行い、認識結果を行動計画処理部122に出力する。
【0135】
ステップS16において、行動計画処理部122のルート計画部161は、目的地までのルートを計画し、行動計画部162に出力する。
【0136】
ステップS17において、行動計画部162は、目的地までのルートに基づいて、行動を計画し、行動計画として動作計画部163に出力する。
【0137】
ステップS18において、動作計画部163は、行動計画部162より供給された行動計画に基づいて、動作を計画し、動作計画として行動制御処理部123に出力する。
【0138】
ステップS19において、行動制御処理部123は、動作計画に基づいて、アクチュエータ群113の各アクチュエータ23aの動作を制御して、移動体11の行動を制御する。
【0139】
ステップS20において、終了が指示されたか否かが判定され、終了が指示されていないとみなされた場合、処理は、ステップS11に戻る。すなわち、終了が指示されるまで、ステップS11乃至S20の処理が繰り返されて、移動体11は、自律的な移動を継続する。
【0140】
一方、ステップS20において、終了が指示された場合、自律移動制御処理が終了する。
【0141】
すなわち、自己位置として推定された位置と、その位置を特定するために利用された現在情報である視差画像より求められたデプス画像の特徴量とが対応付けられて位置画像特徴量DB225に登録される。これにより、一度通過した位置に対応する現在情報である視差画像より求められたデプス画像より得られる特徴量が、位置に対応付けられて新たな情報として蓄積される。結果として、再び同一の位置を通過するときには、高精度に自己位置推定することが可能となる。
【0142】
また、以上の処理により、時系列情報自己位置と現在情報自己位置とが順次求められて、相互に統合された位置が自己位置推定結果として出力され、自己位置推定結果に基づいて、移動体11の自律的な移動が制御される。
【0143】
<時系列情報自己位置推定処理>
次に、図7のフローチャートを参照して、時系列情報自己位置推定処理について説明する。
【0144】
ステップS31において、LIDAR201は、移動体11の周囲の物体までの距離を3次元点群データとして検出し、検出部131を介して、自己位置推定部132の時系列情報自己位置推定部221に時系列情報として出力する。
【0145】
ステップS32において、車輪エンコーダ202は、移動体11の位置情報、姿勢、速度、加速度、および角速度を検出し、検出部131を介して、時系列情報自己位置推定部221に時系列情報として出力する。
【0146】
ステップS33において、時系列情報自己位置推定部221は、最新の時系列情報を取得し、時系列情報DB222に登録する。
【0147】
ステップS34において、時系列情報自己位置推定部221は、時系列情報DB222に登録されている最新の時系列情報と、過去の時系列情報とから、例えば、カルマンフィルタや粒子フィルタを用いて、自己位置を推定する。そして、時系列情報自己位置推定部221は推定結果である自己位置を時系列情報自己位置情報として自己位置推定結果統合部226に出力する。
【0148】
以上の処理により、LIDAR201および車輪エンコーダ202により検出される時系列情報が順次検出されて、時系列情報DB222に順次蓄積されて、時系列に蓄積された過去から現在までの時系列に蓄積された時系列情報に基づいて、自己位置が推定されて、時系列情報自己位置として自己位置推定結果統合部226に出力される。
【0149】
<現在情報自己位置推定処理>
次に、図8のフローチャートを参照して、現在情報自己位置推定処理について説明する。
【0150】
ステップS51において、ステレオカメラ203は、移動体11の周囲の視差画像を撮像して、検出部131を介して、デプス画像生成部220に現在情報として出力する。
【0151】
ステップS52において、デプス画像生成部220は、ステレオカメラ203より供給される視差画像に基づいて、デプス画像(距離画像)を生成する。
【0152】
ステップS53において、特徴量抽出部223は、生成されたデプス画像に基づいて、画像特徴量を抽出する。
【0153】
ステップS54において、現在情報自己位置推定部224は、位置と画像特徴量とが対応付けて記憶されている位置画像特徴量DB225より、抽出した画像特徴量に対応する位置の情報に基づいて、自己位置を推定する。そして、現在情報自己位置推定部224は、推定結果である自己位置を現在情報自己位置として自己位置推定結果統合部226に供給する。
【0154】
以上の処理により、ステレオカメラ203により視差画像が現在情報として撮像され、視差画像よりデプス画像が生成され、生成されたデプス画像の画像特徴量が抽出されて、画像特徴量に対応付けて登録されている位置情報に基づいて、現在情報自己位置が推定され、自己位置推定結果統合部226に出力される。
【0155】
図4の自律移動制御部による位置画像特徴量登録処理>
次に、図9のフローチャートを参照して、図4の自律移動制御部110による位置画像特徴量登録処理について説明する。
【0156】
ステップS71において、ステレオカメラ203は、移動体11の周囲の視差画像を撮像して、検出部131を介して、デプス画像生成部220に現在情報として出力する。
【0157】
ステップS72において、デプス画像生成部220は、ステレオカメラ203より供給される視差画像に基づいて、デプス画像(距離画像)を生成する。
【0158】
ステップS73において、位置場所変換部230は、時系列情報自己位置推定部221の推定結果である時系列情報自己位置を取得し、時系列情報自己位置に対応する場所の情報に変換し、非特徴領域マスク生成部227に出力する。
【0159】
ステップS74において、非特徴領域マスク生成部227は、場所関連非特徴部DB228にアクセスし、時系列情報自己位置に対応する場所に対応付けて登録されている場所関連非特徴部を読み出す。そして、非特徴領域マスク生成部227は、場所関連非特徴部に基づいて、デプス画像内における、位置の特定に有用でない特徴量を多く含む範囲をマスクする非特徴領域マスクを生成する。
【0160】
ステップS75において、非特徴領域マスク生成部227は、デプス画像に対して、生成した非特徴領域マスクを付加して、特徴量抽出部223に出力する。
【0161】
ステップS76において、特徴量抽出部223は、非特徴領域マスクが付加されたデプス画像より画像特徴量を抽出し、位置画像特徴量登録部229に出力する。
【0162】
ステップS77において、位置画像特徴量登録部229は、時系列情報自己位置と、画像特徴量とを対応付けて、位置画像特徴量DB225に登録する。
【0163】
以上の処理により、位置に対応付けて登録される画像特徴量は、デプス画像のうち、他の位置との区別に有用ではない画像特徴量が多く含まれる範囲がマスクされて、画像特徴量が抽出され、他の位置との区別に有用な画像特徴量が生成される。
【0164】
結果として、他の位置との区別に有用な画像特徴量を用いた現在情報自己位置の推定が実現されるので、周辺に類似する物体が多く存在するような環境であっても、高精度に自己位置を推定することが可能となる。
【0165】
<場所関連非特徴部の応用例>
以上においては、場所関連非特徴部は、場所と対応付けられる、デプス画像のうちの、位置の区別に有用な画像特徴量が多く含まれる範囲の情報であるが、場所を抽象化した場所属性を定義して、場所属性に対して、位置の区別に有用な画像特徴量が多く含まれる範囲の情報を対応付けるテーブルを設定することで、全ての場所に対して、場所関連非特徴部が設定されていない状態であっても、場所関連非特徴部を利用することが可能となる。
【0166】
すなわち、例えば、図10の右部で示されるように、「特徴点が少ない高速道路」、「特徴点が多い高速道路」、「オフィスビル」、および「シティホテル」という、場所それぞれに対して抽象化された場所属性を定義し、それぞれの場所属性と、場所関連非特徴部とを対応付けたテーブルを設定するようにしてもよい。場所属性のそれぞれに対して設定される場所関連非特徴部としては、例えば、図10の右部で示されるように、「特徴点が少ない高速道路」に対して、「標識以外(標識以外をマスクして、標識の範囲の特徴量を利用する)」が対応付けて設定されるようにしてもよい。また、「特徴点が多い高速道路」に対して、「壁面と風景以外(壁面と風景以外をマスクして、壁面と風景の範囲の特徴量を利用する)」が対応付けて設定されるようにしてもよい。さらに、「オフィスビス」に対して、「天井と窓側面(天井と窓側面をマスクして、天井と窓側面以外の範囲の特徴量を利用する)」が設定されるようにしてもよい。また、「シティホテル」に対して、「無し(全面をマスクせず、全面の特徴量を利用する)」が対応付けて設定されるようにしてもよい。
【0167】
図10の右部のように場所属性と場所関連非特徴部とが対応付けられたテーブルを設定することにより、例えば、図10の左部で示されるように、「東名高速」と「特徴点が少ない高速道路」、「中国自動車道」と「特徴点が少ない高速道路」、「ABCビル」と「オフィスビル」、および、「XXホテル」と「シティホテル」とが対応付けられることにより、場所に対応付けて場所関連非特徴部が対応付けられていなくても、場所の抽象化概念である場所属性が特定できれば、場所関連非特徴部を読み出すことができるので、適切に非特徴領域マスクを設定することが可能となる。
【0168】
換言すれば、場所が抽象化された場所属性と場所関連非特徴部とが定義されることにより、具体的な場所が特定できない場合でも、場所よりも抽象的な場所属性が特定されるだけで、場所関連非特徴部を特定することが可能となり、場所関連非特徴部を利用する上での自由度を向上させることが可能となる。
【0169】
以上においては、場所関連非特徴部は、場所と対応付けられる、デプス画像のうちの、位置の区別に有用な画像特徴量が多く含まれる範囲の情報としては、画像内の特定の位置や方向を指定する例について説明してきたが、位置の区別に有用ではないものが含まれない範囲であればよい。例えば、場所関連非特徴部は、画像内に写り込んだディスプレイに表示された物体の範囲、時間の経過に伴って変化するような、例えば、木々、木漏れ日、空の領域、および動くものの範囲としてもよい。
【0170】
<<3.第2の実施の形態>>
以上においては、場所関連非特徴部DB228に、予め場所に対応付けて、場所関連非特徴部が登録されている例について説明してきたが、位置画像特徴量DB225には、自己位置が特定される度に、位置と画像特徴量とが新たに登録されるので、位置画像特徴量DB225に新たに登録された位置と対応付けて登録された画像特徴量を利用して、場所関連非特徴部を新たに生成して、場所関連非特徴部DB228に登録させるようにしてもよい。
【0171】
図11は、位置画像特徴量DB225に新たに登録された位置と対応付けて登録された画像特徴量を利用して、場所関連非特徴部を新たに生成して、場所関連非特徴部DB228に登録させるようにした自己位置推定部132の構成例が示されている。尚、図11の自己位置推定部132において、図4の自己位置推定部132と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
【0172】
すなわち、図11の自己位置推定部132において、図4の自己位置推定部132と異なる点は、場所関連非特徴部生成登録部241が新たに設けられている点である。
【0173】
場所関連非特徴部生成登録部241は、位置が特定される度に更新される位置画像特徴量DB225に登録されている位置に対応する場所を求め、同一の場所に対応付けて登録されている複数の画像特徴量を読み出し、統計的に比較して、所定の閾値以上に類似した画像特徴量が多く存在する範囲を場所関連非特徴部として抽出し、場所に対応付けて、場所関連非特徴部DB228に登録する。
【0174】
すなわち、同一の位置に対応付けられている複数の画像特徴量のうち、所定の閾値よりも類似した画像特徴量が多く存在する範囲は、同一の位置を識別する上で不要であるため、その範囲を場所関連非特徴部とすることで、誤検出の発生を抑制することが可能となる。
【0175】
<場所関連非特徴部生成登録処理>
次に、図12のフローチャートを参照して、場所関連非特徴部生成登録処理について説明する。
【0176】
ステップS91において、場所関連非特徴部生成登録部241は、位置画像特徴量DB225にアクセスし、位置に基づいて特定される場所について、同一の場所に対応付けられている複数の画像特徴量を読み出す。
【0177】
ステップS92において、場所関連非特徴部生成登録部241は、同一の場所に対応付けられている複数の画像特徴量を、統計的に処理し、所定の閾値よりも類似している画像特徴量を多く含む範囲を、新規の場所関連非特徴部として生成する。
【0178】
ステップS93において、場所関連非特徴部生成登録部241は、生成した新規の場所関連非特徴部を、場所に対応付けて、場所関連非特徴部DB228に登録する。
【0179】
以上の処理により、位置画像特徴量DB225に登録される画像特徴量のうち、同一の場所に対応付けられる画像特徴量において、所定の閾値よりも類似する画像特徴量が多く含まれる、すなわち、場所を区別するために必要のない画像特徴量が含まれる範囲からなる場所関連非特徴部が生成されることになるので、同一の場所を特定する画像特徴量を必要最小限にすることが可能となり、誤検出の発生を抑制することが可能となる。
【0180】
<<4.第3の実施の形態>>
以上においては、同一の位置において区別するために必要のない画像特徴量を排除して位置画像特徴量DB225を生成して、周囲に類似する物体が存在するような環境でも高精度に自己位置推定を実現する例について説明してきた。
【0181】
ところで、移動体が抱き上げられる、滑る、急激な段差に落ち込む、電源投入直後などにより、直前の移動状態から急激な変化が発生することにより、自己位置不定状態となることがあるが、このような場合、時系列情報自己位置の推定結果は誤差が大きくなるため、現在情報自己位置のみを利用して自己位置を推定することになる。
【0182】
このような場合、現在情報自己位置が高精度に検出されているか否かを判定することで自己位置不定状態から脱したか否かを判定し、判定結果に応じて、時系列情報自己位置の使用を復帰させるようにしてもよい。
【0183】
より詳細には、予め場所関連非特徴部の情報に基づいて、デプス画像に対して自己位置の特定に有用でない画像特徴量を含む特徴領域をマスクして得られる非特徴領域特徴量を位置に対応付けて登録した位置非特徴領域特徴量DBを生成する。そして、自己位置不定状態となった場合には、現在情報自己位置に対応付けられた場所関連非特徴部により、デプス画像から得られる非特徴領域特徴量を求めると共に、推定された現在情報自己位置に対応付けて位置非特徴領域特徴量DBに登録されている非特徴領域特徴量を読み出し、両者の類似度に基づいて、推定された現在情報自己位置が適正であるか否かを判定するようにしてもよい。
【0184】
図13は、予め位置非特徴領域特徴量DBを生成し、自己位置不定状態において、現在情報自己位置が適正であるか否かにより、自己位置不定状態を脱したか否かを判定するようにした自己位置推定部132の構成例を示している。
【0185】
図13の自己位置推定部132において、図11の自己位置推定部132における構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
【0186】
すなわち、図13の自己位置推定部132において、図11の自己位置推定部132と異なる点は、非特徴領域特徴量抽出部251、自己位置検査部252、特徴領域マスク生成部253、特徴量抽出部254、位置非特徴領域特徴量登録部255、位置非特徴領域特徴量DB256、および位置場所変換部257(位置場所変換部230と同様のもの)が新たに設けられ、自己位置推定結果統合部226に自己位置不定判定部271が設けられた点である。
【0187】
自己位置不定判定部271は、例えば、時系列の自己位置の推定結果の変化量や電源投入直後などで、自己位置不定状態になったか否かを判定し、自己位置不定状態であるとみなされた場合、動作モードを通常モードから自己位置不定モードに遷移させ、自己位置推定結果統合部226を制御して、現在情報自己位置を自己位置推定結果として選択させる。
【0188】
非特徴領域特徴量抽出部251は、自己位置不定モードにおいて、位置場所変換部257により現在情報自己位置に基づいて、位置場所変換部257により変換された場所の情報より、場所関連非特徴部DB228より場所関連非特徴部を読み出す。そして、非特徴領域特徴量抽出部251は、デプス画像生成部220より供給されるデプス画像から特徴領域をマスクした画像より得られる特徴量を、非特徴領域特徴量として抽出して自己位置検査部252に供給する。
【0189】
自己位置検査部252は、自己位置不定モードにおいて、位置非特徴領域特徴量DB256にアクセスし、現在情報自己位置の推定結果に対応付けて、予め登録されている非特徴領域特徴量を読み出す。そして、自己位置検査部252は、非特徴領域特徴量抽出部251より供給される非特徴領域特徴量との類似度に基づいて、現在情報自己位置を検査し、検査結果として、類似度の情報を自己位置推定結果統合部226に出力する。
【0190】
自己位置推定結果統合部226の自己位置不定判定部271は、類似度が所定値よりも高く、求められる現在情報自己位置の精度が十分であるとみなせるときには、動作モードを、自己位置不定モードから通常モードに復帰させる。
【0191】
特徴領域マスク生成部253は、位置画像特徴量登録処理において、時系列情報自己位置推定部221より供給される時系列情報自己位置により特定される場所に基づいて、場所と場所関連非特徴部とを対応付けて登録している場所関連非特徴部DB228より、対応付けて登録されている場所関連非特徴部を読み出す。そして、特徴領域マスク生成部253は、読み出した場所関連非特徴部に基づいて、特徴領域マスクを生成して、デプス画像生成部220によりステレオカメラ203のステレオ画像から生成されたデプス画像に対して、特徴領域マスクを付加して、特徴量抽出部254に出力する。
【0192】
特徴量抽出部254は、特徴領域マスクが付加されたデプス画像より特徴量を抽出して、非特徴領域特徴量として位置非特徴領域特徴量登録部255に出力する。
【0193】
位置非特徴領域特徴量登録部255は、位置画像特徴量登録処理において、特徴量抽出部254より供給される画像特徴量である非特徴領域特徴量を、時系列情報自己位置推定結果と対応付けて位置非特徴領域特徴量DB256に登録する。
【0194】
場所関連非特徴部DB228において、場所に対応付けて登録されている場所関連非特徴部とは、例えば、図5の左部で示されるように、場所に対応付けて予め登録される、現在情報自己位置を特定するために用いられるデプス画像内のうち、他の位置との区別に有用でない特徴量が多く存在する範囲を特定する情報である。
【0195】
図13の自律移動制御部による位置画像特徴量登録処理>
次に、図14のフローチャートを参照して、図13の自律移動制御部110による位置画像特徴量登録処理について説明する。
【0196】
ステップS101において、ステレオカメラ203は、移動体11の周囲の視差画像を撮像して、検出部131を介して、デプス画像生成部220に現在情報として出力する。
【0197】
ステップS102において、デプス画像生成部220は、ステレオカメラ203より供給される視差画像に基づいて、デプス画像(距離画像)を生成する。
【0198】
ステップS103において、位置場所変換部230は、時系列情報自己位置推定部221の推定結果である時系列情報自己位置を取得し、時系列情報自己位置に対応する場所の情報に変換して、非特徴領域マスク生成部227および特徴領域マスク生成部253に供給する。
【0199】
ステップS104において、非特徴領域マスク生成部227は、場所関連非特徴部DB228にアクセスし、場所に対応付けて登録されている場所関連非特徴部を読み出し、デプス画像内における、位置の特定に有用でない特徴量を多く含む範囲をマスクする非特徴領域マスクを生成する。
【0200】
ステップS105において、非特徴領域マスク生成部227は、デプス画像に対して、生成した非特徴領域マスクを付加して、特徴量抽出部223に出力する。
【0201】
ステップS106において、特徴量抽出部223は、非特徴領域マスクが付加されたデプス画像より画像特徴量を抽出し、位置画像特徴量登録部229に出力する。
【0202】
ステップS107において、位置画像特徴量登録部229は、時系列情報自己位置の推定結果と、画像特徴量とを対応付けて、位置画像特徴量DB225に登録する。
【0203】
ステップS108において、特徴領域マスク生成部253は、場所関連非特徴部DB228にアクセスし、時系列情報自己位置に基づいて、対応付けて登録されている場所関連非特徴部を読み出し、デプス画像内における、位置の特定に有用でない特徴量を多く含む範囲をマスクする特徴領域マスクを生成する。
【0204】
ステップS109において、特徴領域マスク生成部253は、デプス画像に対して、生成した特徴領域マスクを付加して、特徴量抽出部254に出力する。
【0205】
ステップS110において、特徴量抽出部254は、特徴領域マスクが付加されたデプス画像より画像特徴量を抽出し、非特徴領域特徴量として、位置非特徴領域特徴量登録部255に出力する。
【0206】
ステップS111において、位置非特徴領域特徴量登録部255は、時系列情報自己位置の推定結果と、非特徴領域特徴量とを対応付けて、位置非特徴領域特徴量DB256に登録する。
【0207】
以上の処理により、位置に対応付けて登録される画像特徴量は、デプス画像のうち、他の位置との区別に有用ではない画像特徴量が多く含まれる範囲がマスクされて、画像特徴量が抽出され、他の位置との区別に有用な多くの画像特徴量が生成されると共に、さらに、位置に対応付けて登録される非特徴領域特徴量は、デプス画像のうち、他の位置との区別に有用な画像特徴量が多く含まれる範囲がマスクされて、非特徴領域特徴量として抽出され、他の位置との区別に有用でない多くの非特徴領域特徴量が位置に対応付けて位置非特徴領域特徴量DB256が生成される。
【0208】
図13の自律移動制御部による自律移動制御処理>
次に、図15のフローチャートを参照して、図13の自律移動制御部110における自律移動制御処理について説明する。
【0209】
ステップS121において、時系列情報自己位置推定部221は、時系列情報自己位置推定処理を実行して、時系列情報自己位置を推定して、自己位置推定結果統合部226に出力する。尚、時系列情報自己位置推定処理については、図7のフローチャートを参照して説明した処理と同様の処理であるので、その説明は省略する。
【0210】
ステップS122において、現在情報自己位置推定部224は、現在情報自己位置推定処理を実行して、現在情報自己位置を推定して、自己位置推定結果統合部226に出力する。尚、現在情報自己位置推定処理については、図8のフローチャートを参照して説明した処理と同様の処理であるので、その説明は省略する。
【0211】
ステップS123において、自己位置推定結果統合部226は、時系列情報自己位置および現在情報自己位置を、例えば、カルマンフィルタや粒子フィルタにより統合し、統合した自己位置の情報を自己位置推定結果として状況認識部152に出力する。
【0212】
ステップS124において、自己位置不定判定部271は、自己位置不定状態であるか否かを判定する。例えば、自己位置不定判定部271は、例えば、それまでの自己位置推定結果の変化量が所定値より大きく変化しているか否か、または、電源投入直後であるか否かに基づいて、自己位置不定状態であるか否かを判定する。
【0213】
ステップS124において、自己位置不定状態ではないと判定された場合、処理は、ステップS125に進む。
【0214】
ステップS125において、自己位置推定結果統合部226は、自己位置推定結果と、その自己位置推定結果を特定するために利用した現在情報である視差画像より求められたデプス画像の特徴量とを対応付けて位置画像特徴量DB225に登録する。
【0215】
ステップS126において、状況認識部152は、自己位置推定結果に基づいて、移動体の状況、および移動体の周囲の状況の認識処理を行い、認識結果を行動計画処理部122に出力する。
【0216】
ステップS127において、行動計画処理部122のルート計画部161は、目的地までのルートを計画し、行動計画部162に出力する。
【0217】
ステップS128において、行動計画部162は、目的地までのルートに基づいて、行動を計画し、行動計画として動作計画部163に出力する。
【0218】
ステップS129において、動作計画部163は、行動計画部162より供給された行動計画に基づいて、動作を計画し、動作計画として行動制御処理部123に出力する。
【0219】
ステップS130において、行動制御処理部123は、動作計画に基づいて、アクチュエータ群113の各アクチュエータ23aの動作を制御して、移動体11の行動を制御する。
【0220】
ステップS131において、終了が指示されたか否かが判定され、終了が指示されていないとみなされた場合、処理は、ステップS121に戻る。すなわち、自己位置不定状態とならない限り、ステップS121乃至S131の処理、すなわち、動作状態が通常モードである場合の処理が繰り返されて、移動体11は、自律的な移動を継続する。
【0221】
一方、ステップS124において、自己位置不定状態であるとみなされた場合、処理は、ステップS132に進む。
【0222】
ステップS132において、自己位置不定判定部271は、動作モードを自己位置不定モードに切り替えて、自己位置不定モード処理を実行させ、現在情報自己位置による自律移動制御処理を実現できるように制御する。そして、現在情報自己位置が適切に推定できる状態になるまで、自己位置不定モードの処理が継続され、適切な現在情報自己位置が推定できる状態になった場合、動作モードが、自己位置不定モードから通常モード(ステップS121乃至S131の処理)に復帰する。
【0223】
<自己位置不定モード処理>
次に、図16のフローチャートを参照して、自己位置不定モード処理について説明する。
【0224】
ステップS151において、現在情報自己位置推定部224は、現在情報自己位置推定処理を実行して、現在情報自己位置を推定して、自己位置推定結果統合部226および位置場所変換部257に出力する。尚、現在情報自己位置推定処理については、図8のフローチャートを参照して説明した処理と同様の処理であるので、その説明は省略する。
【0225】
ステップS152において、位置場所変換部257は、現在情報自己位置に対応付けて登録されている場所の情報を読み出して非特徴領域特徴量抽出部251に出力する。
【0226】
ステップS153において、非特徴領域特徴量抽出部251は、場所関連非特徴部DB228にアクセスし、現在情報自己位置に対応する場所に対応付けて登録されている場所関連非特徴部を抽出する。
【0227】
ステップS154において、非特徴領域特徴量抽出部251は、現在情報自己位置に応じた場所に対応付けて登録されている場所関連非特徴部に基づいて、デプス画像に対して特徴領域をマスクして、画像特徴量を抽出し、非特徴領域特徴量として自己位置検査部252に出力する。
【0228】
ステップS155において、自己位置検査部252は、位置非特徴領域特徴量DB256にアクセスし、現在情報自己位置推定結果に対応付けて登録されている非特徴領域特徴量を読み出す。
【0229】
ステップS156において、自己位置検査部252は、現在情報自己位置推定結果に対応付けて登録されている非特徴領域特徴量と、デプス画像より抽出された非特徴領域特徴量との類似度を計算する。
【0230】
ステップS157において、自己位置検査部252は、類似度が所定の閾値よりも高いか否かにより、現在情報自己位置が所定の精度で求められているか否かを判定する。すなわち、現在情報自己位置が十分な精度で求められていれば、両者は一致するため、類似度は所定の閾値よりも高くなるはずであるが、現在情報自己位置が十分な精度で求められていなければ、両者は一致せず、類似度も所定の閾値よりも低くなる。例えば、類似度が所定の閾値よりも低く、現在情報自己位置の精度が十分ではないとみなされた場合、処理は、ステップS158に進む。
【0231】
ステップS158において、自己位置推定結果統合部226は、現在情報自己位置を自己位置推定結果として、状況認識部152に出力する。
【0232】
ステップS159において、状況認識部152は、自己位置推定結果に基づいて、移動体の状況、および移動体の周囲の状況の認識処理を行い、認識結果を行動計画処理部122に出力する。
【0233】
ステップS160において、行動計画処理部122のルート計画部161は、目的地までのルートを計画し、行動計画部162に出力する。
【0234】
ステップS161において、行動計画部162は、目的地までのルートに基づいて、行動を計画し、行動計画として動作計画部163に出力する。
【0235】
ステップS162において、動作計画部163は、行動計画部162より供給された行動計画に基づいて、動作を計画し、動作計画として行動制御処理部123に出力する。
【0236】
ステップS163において、行動制御処理部123は、動作計画に基づいて、アクチュエータ群113の各アクチュエータ23aの動作を制御して、移動体11の行動を制御する。
【0237】
ステップS164において、終了が指示されたか否かが判定され、終了が指示されていないとみなされた場合、処理は、ステップS151に戻る。すなわち、終了が指示されるまで、ステップS151乃至S164の処理が繰り返されて、移動体11は、自己位置不定モードのまま、現在情報自己位置に基づいて、自律的な移動を継続する。
【0238】
一方、ステップS164において、終了が指示された場合、自律移動制御処理が終了する。すなわち、この場合、自己位置不定モードのまま自律移動制御処理が終了する。
【0239】
また、ステップS157において、類似度が所定の閾値よりも高く、現在情報自己位置推定結果により予め求められている非特徴領域特徴量が、現在情報自己位置に対応して求められる場所関連非特徴部に基づいて、デプス画像から得られる非特徴領域特徴量と一致する場合、現在情報自己位置が所定の精度以上であるとみなせる。このため、処理は、図15のステップS131に戻り、動作モードが、自己位置不定モードから通常モードに戻り、それ以降の処理が繰り返される。
【0240】
すなわち、時系列情報自己位置は、絶対位置を取得することができないので、自己位置不定状態となった場合については、一度は現在情報自己位置により、絶対位置を取得する必要がある。そこで、以上のような処理により、自己位置不定状態となった場合については、現在情報自己位置が所定の精度で絶対位置を取得できる状態になるまで、現在情報自己位置を自己位置推定結果として利用し、自己位置推定結果がある程度の精度となった後のタイミングから時系列情報自己位置とを併せて、自己位置を推定させるようにする。
【0241】
尚、以上においては、現在情報自己位置推定処理にあたっては、ステレオカメラ203により撮像されたステレオ画像よりデプス画像生成部220によりデプス画像を生成して、デプス画像に対して、場所関連非特徴部に応じたマスクを施した後、画像特徴量を抽出することで、位置画像特徴量DB225より対応付けて登録された位置情報を読み出すことで、現在情報自己位置を推定する例について説明してきたが、ステレオカメラ203に代えて、例えば、LIDARを用いた3次元点群データを3次元画像として利用することにより、現在情報自己位置を推定するようにしてもよい。
【0242】
また、2次元の画像と、ToF(Time of Flight)センサとを組み合わせて、デプス画像を生成して現在情報自己位置を推定するようにしてもよい。
【0243】
<<5.ソフトウェアにより実行させる例>>
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
【0244】
図17は、汎用のコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)1001を内蔵している。CPU1001にはバス1004を介して、入出力インタフェース1005が接続されている。バス1004には、ROM(Read Only Memory)1002およびRAM(Random Access Memory)1003が接続されている。
【0245】
入出力インタフェース1005には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部1006、処理操作画面や処理結果の画像を表示デバイスに出力する出力部1007、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部1008、LAN(Local Area Network)アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部1009が接続されている。また、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどのリムーバブルメディア1011に対してデータを読み書きするドライブ1010が接続されている。
【0246】
CPU1001は、ROM1002に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア1011ら読み出されて記憶部1008にインストールされ、記憶部1008からRAM1003にロードされたプログラムに従って各種の処理を実行する。RAM1003にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0247】
以上のように構成されるコンピュータでは、CPU1001が、例えば、記憶部1008に記憶されているプログラムを、入出力インタフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
【0248】
コンピュータ(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【0249】
コンピュータでは、プログラムは、リムーバブルメディア1011をドライブ1010に装着することにより、入出力インタフェース1005を介して、記憶部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記憶部1008にインストールすることができる。その他、プログラムは、ROM1002や記憶部1008に、あらかじめインストールしておくことができる。
【0250】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0251】
尚、図17におけるCPU1001が、図3における自律移動制御部110の機能を実現させる。また、図17における記憶部1008が、図3における記憶部109を実現する。
【0252】
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
【0253】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【0254】
例えば、本開示は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0255】
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0256】
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0257】
尚、本開示は、以下のような構成も取ることができる。
【0258】
<1> 自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第1のマスク生成部と、
第1のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第1の特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部とを含む
制御装置。
<2> 前記第1のマスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成する
<1>に記載の制御装置。
<3> 前記場所に対応付けて、前記場所関連非特徴部を登録する場所関連非特徴部データベースをさらに含み、
前記第1のマスク生成部は、前記自己位置に対応する場所に対応付けて、前記場所関連非特徴部データベースに登録された前記場所関連非特徴部に基づいて、前記周囲の画像にいて前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成する
<2>に記載の制御装置。
<4> 前記第1の特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より、画像特徴量を抽出し、
前記データベースにおいて、前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する現在情報自己位置推定部をさらに含む
<1>乃至<3>のいずれかに記載の制御装置。
<5> 前記現在情報自己位置推定部により推定された現在情報自己位置と、前記自己位置推定部により推定された自己位置とを統合し、自己位置推定結果として出力する統合部をさらに含み、
前記統合部は、前記自己位置推定結果と、前記第1の特徴量抽出部により抽出された画像特徴量とを対応付けて、前記データベースに登録する
<4>に記載の制御装置。
<6> 前記自己位置に対応する場所に対応付けて、前記場所関連非特徴部を登録する場所関連非特徴部データベースと、
前記データベースに登録された位置に基づいて特定される同一の場所における複数の前記画像特徴量において、統計的に類似する範囲を、前記同一の場所に対応付けて、新規の前記場所関連非特徴部として生成し、前記場所関連非特徴部データベースに登録する場所関連非特徴部生成登録部をさらに含む
<5>に記載の制御装置。
<7> 前記周囲の画像において自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である特徴領域にマスクを生成する第2のマスク生成部と、
前記第2のマスク生成部によりマスクされた前記周囲の画像より画像特徴量を非特徴領域特徴量として抽出する第2の特徴量抽出部と、
前記非特徴領域特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けて位置非特徴領域特徴量データベースに登録する位置非特徴領域特徴量データベース登録部と、
前記現在情報自己位置に対応する場所の場所関連非特徴部に基づいて、前記周囲の画像に対して、非特徴領域特徴量を抽出する非特徴領域特徴量抽出部と、
前記非特徴領域特徴量抽出部により抽出された前記非特徴領域特徴量と、前記現在情報自己位置に対応付けて、前記位置非特徴領域特徴量データベースに登録されている前記非特徴領域特徴量との類似度により、前記現在情報自己位置を検査する検査部とをさらに含む
<5>に記載の制御装置。
<8> 前記統合部より出力される自己位置推定結果の時系列の変化量に基づいて、または、電源投入の有無により、自己位置不定状態であるか否かを判定する自己位置不定状態判定部をさらに含み、
前記自己位置不定状態である場合、前記統合部は、前記現在情報自己位置を自己位置推定結果として出力し、
前記検査部は、前記非特徴領域特徴量抽出部により抽出された前記非特徴領域特徴量と、前記現在情報自己位置に対応して、前記位置非特徴領域特徴量データベースに登録されている前記非特徴領域特徴量との類似度により、前記現在情報自己位置を検査し、
前記類似度が所定の閾値よりも低い場合、前記自己位置不定状態であるものとみなし、前記統合部は、前記現在情報自己位置を自己位置推定結果として出力し、
前記類似度が所定の閾値よりも高い場合、前記自己位置不定状態が解消したものとみなし、前記統合部は、前記現在情報自己位置推定部により推定された現在情報自己位置と、前記自己位置推定部により推定された自己位置とを統合し、自己位置推定結果として出力する
<7>に記載の制御装置。
<9> 前記場所関連非特徴部は、前記自己位置に対応する場所と、場所関連非特徴部とのテーブルより構成される
<1>乃至<8>のいずれかに記載の制御装置。
<10> 前記場所関連非特徴部は、前記自己位置に対応する場所と、前記場所を抽象化した場所属性とのテーブル、および、前記場所属性と、前記場所関連非特徴部とのテーブルより構成される
<9>に記載の制御装置。
<11> 前記撮像部は、ステレオカメラであり、
前記ステレオカメラにより撮像される、前記周囲の画像は、ステレオ画像であり、
前記ステレオ画像に基づいて、デプス画像を生成するデプス画像生成部をさらに含み、
前記第1のマスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記デプス画像からなる前記周囲の画像にマスクを生成し、
前記第1の特徴量抽出部は、前記デプス画像からなる、前記マスクされた前記周囲の画像より、画像特徴量を抽出する
<1>乃至<10>のいずれかに記載の制御装置。
<12> 前記自己位置推定部は、
時系列に供給されるセンサ情報からなる時系列情報を用いて、前記自己位置を推定し、推定結果を時系列情報自己位置として出力する時系列情報自己位置推定部を含む
<1>乃至<11>のいずれかに記載の制御装置。
<13> 前記時系列情報は、LIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)により検出される3次元点群データ、および車輪エンコーダにより検出される位置情報、姿勢、速度、加速度、および角速度である
<12>に記載の制御装置。
<14> 自己位置を推定する自己位置推定処理と、
周囲の画像を撮像する撮像処理と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第1のマスク生成処理と、
第1のマスク生成処理によりマスクされた前記周囲の画像より、画像特徴量を抽出する第1の特徴量抽出処理と、
前記画像特徴量と、前記自己位置推定処理により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録処理とを含む
制御方法。
<15> 自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第1のマスク生成部と、
第1のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第1の特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と
してコンピュータを機能させるプログラム。
<16> 自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第1のマスク生成部と、
第1のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第1の特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と
を含む移動体。
<17> 自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、
マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と、
前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部とをさらに含み、
前記現在情報自己位置を推定する場合、
前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、
前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
制御装置。
<18> 自己位置を推定する自己位置推定処理と、
周囲の画像を撮像する撮像処理と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成処理と、
マスク生成処理によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出処理と、
前記画像特徴量と、前記自己位置推定処理により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録処理と、
前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定処理とをさらに含み、
前記現在情報自己位置を推定する場合、
前記特徴量抽出処理は、前記撮像処理により撮像された前記周囲の画像より前記画像特徴量を抽出し、
前記現在情報自己位置推定処理は、前記データベースにおいて、前記特徴量抽出処理により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
制御方法。
<19> 自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、
マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースに登録する登録部と、
前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部としてコンピュータを機能させ、
前記現在情報自己位置を推定する場合、
前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、
前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
プログラム。
<20> 自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、
マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と、
前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部とをさらに含み、
前記現在情報自己位置を推定する場合、
前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、
前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
移動体。
【符号の説明】
【0259】
11 移動体, 21 センサ群, 21a,21a−1乃至21a−n センサ, 22 自律移動制御部, 23 アクチュエータ群, 23a,23a−1乃至23a−n アクチュエータ, 31 認識処理部, 32 行動計画処理部, 33 行動制御処理部, 41 ルート計画部, 42 行動計画部, 43 動作計画部, 102 データ取得部, 105 出力制御部, 106 出力部, 107 駆動系制御部, 108 駆動系システム, 110 自律移動制御部, 112 センサ群, 113 アクチュエータ群, 121 認識処理部, 122 行動計画処理部, 123 行動制御処理部, 134 計画部, 161 ルート計画部, 162 行動計画部, 163 動作計画部, 201 LIDAR, 202 車輪エンコーダ, 203 ステレオカメラ, 220 デプス画像生成部, 221 時系列情報自己位置推定部, 222 時系列情報DB, 223 特徴量抽出部, 224 現在情報自己位置推定部, 225 位置画像特徴量DB, 226 自己位置推定結果統合部, 227 非特徴領域マスク生成部, 228 場所関連非特徴部DB, 229 位置画像特徴量登録部, 230 位置場所変換部, 241 場所関連非特徴部生成登録部, 251 非特徴領域特徴量抽出部, 252 自己位置検査部, 253 特徴領域マスク生成部, 254 特徴量抽出部, 255 位置非特徴領域特徴量登録部, 256 位置非特徴領域特徴量DB, 257 位置場所変換部, 271 自己位置不定状態判定部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
【国際調査報告】