特許 7564742 情報処理装置及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-01

(45)【発行日】2024-10-09

(54)【発明の名称】情報処理装置及び情報処理方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20241002BHJP

【ＦＩ】

G06T7/70 Z

【請求項の数】 8

(21)【出願番号】P 2021047828

(22)【出願日】2021-03-22

(65)【公開番号】P2022146718

(43)【公開日】2022-10-05

【審査請求日】2023-01-27

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】317011920

【氏名又は名称】東芝デバイス＆ストレージ株式会社

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100118843

【弁理士】

【氏名又は名称】赤岡 明

(74)【代理人】

【識別番号】100202429

【弁理士】

【氏名又は名称】石原 信人

(72)【発明者】

【氏名】大木 豊

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１９－１０７０８３（ＪＰ，Ａ）

【文献】特開平０４－１８８２８４（ＪＰ，Ａ）

【文献】特開２０１３－２１４２５８（ＪＰ，Ａ）

【文献】特開２００９－１８０６６１（ＪＰ，Ａ）

【文献】特開２０２０－１３５６７９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／７０

(57)【特許請求の範囲】

【請求項1】

入力された画像において、第1方向に第1画素数のずれを有し、前記第1方向と交わる方向の第2方向に第2画素数のずれを有する複数の画素の情報を取得する、画素抽出部と、
自己位置を推定する、自己位置推定部と、
前記画素抽出部が取得した前記複数の画素において対象に含まれる候補の対象画素が存在するかを判定し、前記対象画素が存在する場合に前記対象画素の周辺の画素の情報に基づいて、前記対象が存在するかを判定する、判定部、
前記判定部の判定結果と、前記自己位置とに基づいて、3次元情報を再構成する、3次元位置推定部と、
を備える情報処理装置。

【請求項2】

前記判定部はさらに、
前記複数の画素における勾配を算出して、前記対象が存在するかを判定し、又は、
前記複数の画素において、前記対象画素が存在する場合に、前記対象画素の周辺の画素において、勾配を算出し、前記対象が存在するかを判定する、
請求項1に記載の情報処理装置。

【請求項3】

前記画素抽出部は、前記対象ごとに、前記第1画素数及び前記第2画素数を制御する、
請求項1又は請求項2に記載の情報処理装置。

【請求項4】

前記画像を取得する、画像取得部、
をさらに備え、
前記自己位置推定部は、前記画像取得部の位置及び姿勢を推定する、
請求項1から請求項3のいずれかに記載の情報処理装置。

【請求項5】

前記画像の画像処理を実行する、画像処理部、
をさらに備え、
前記画素抽出部は、前記画像処理部が画像処理をした前記画像において、画素の情報を取得する、
請求項1から請求項4のいずれかに記載の情報処理装置。

【請求項6】

前記画素抽出部は、前記画像ごとに、前記第1画素数及び前記第2画素数を制御する、
請求項1から請求項5のいずれかに記載の情報処理装置。

【請求項7】

前記画素抽出部は、前記自己位置推定部の推定する位置情報に基づいて、前記第1画素数及び前記第2画素数を制御し、前記画像において、制御された前記第1画素数及び前記第2画素数に基づいて、前記複数の画素を抽出する、
請求項3又は請求項6に記載の情報処理装置。

【請求項8】

処理回路が、
入力された画像において、第1方向に第1画素数のずれを有し、前記第1方向と交わる方向の第2方向に第2画素数のずれを有する複数の画素の情報を取得し、
前記複数の画素において対象に含まれる候補の対象画素が存在するかを判定し、
前記対象画素が存在する場合に前記対象画素の周辺の画素の情報に基づいて、前記対象が存在するかを判定し、
自己位置を推定し、
前記対象が存在するかを判定した結果と、前記自己位置とに基づいて、前記対象の3次元位置を推定する、
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、情報処理装置及び情報処理方法に関する。

【背景技術】

【0002】

今日、乗り物の自動運転や装置の自動操縦等の分野において、SfM(Structure from Motion)の手法が広く研究されている。このSfMは、複数枚の画像から対象の3D構造を複製する技術である。この手法には、画像とカメラ間の相対姿勢情報とから高精度かつ密度の高い3D復元を行うビデオベース、又は、リアルタイムマルチビューステレオといったアルゴリズムがある。

【0003】

これらのアルゴリズムは、比較的処理量が大きいため、エッジ等の勾配が強い特徴がある部分のみに復元を行うのが、例えば、LSD-SLAM(Large-Scale Direct Monocular Simultaneous Localization and Mapping)等の手法に見られるように主流である。

【0004】

しかしながら、すべてのエッジ付近の点において3Dの復元をリアルタイム処理するのは、処理量が少ない組み込みLSI(Large Scale Integration)上では困難である。一方で、復元する点を減らすことは、オブジェクトの未検知等の精度に影響を及ぼす蓋然性が高い。

【先行技術文献】

【特許文献】

【0005】

【文献】特表2016-540230号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

一実施形態は、3D復元を適切に行うことができる点を配置する、情報処理装置について提案する。

【課題を解決するための手段】

【0007】

一実施形態によれば、情報処理装置は、画素抽出部と、自己位置推定部と、3次元位置推定部と、を備える。画素抽出部は、入力された画像において、第1方向に第1画素数のずれを有し、前記第1方向に少なくとも1画素のずれを有するとともに前記第1方向と交わる方向の第2方向に第2画素数のずれを有する複数の画素の情報を取得する。自己位置推定部は、自己位置を推定する。3次元位置推定部は、前記画素抽出部が抽出した前記複数の画素の情報と、前記自己位置とに基づいて、3次元情報を再構成する。

【図面の簡単な説明】

【0008】

【図1】一実施形態に係る情報処理装置の一例を示すブロック図。

【図2】一実施形態に係る画素の抽出の一例を示す図。

【図3】一実施形態に係る画素の抽出の一例を示す図。

【図4】一実施形態に係る情報処理装置の処理を示すフローチャート。

【図5】一実施形態に係る情報処理装置の一例を示すブロック図。

【発明を実施するための形態】

【0009】

以下、図面を参照して実施形態について説明する。図面は、限定されない例として示されているものであり、本開示の態様は、図面及びそれに対する説明に限られるものではない。本明細書において、「以上」「以下」等の記載があるかもしれないが、これは、適宜適切に「より大きい」「より小さい」と読み替えてもよい。

【0010】

(第1実施形態)
図1は、一実施形態に係る情報処理装置を模式的に示すブロック図である。情報処理装置1は、情報取得部100と、記憶部102と、画素抽出部104と、判定部106と、自己位置推定部108と、3次元位置推定部110と、を備える。情報処理装置1は、対象までの3次元位置を推定する装置である。

【0011】

この情報処理装置1は、例えば、自動車に搭載される装置であり、周辺の状況、及び、自車の情報を取得し、周辺環境における障害物等の3次元情報を取得する。なお、自動車に限られるものではなく、ロボット、AGV(Automatic Guided Vehicle)、飛行機、ドローン(UAV: Unmanned Aerial Vehicle)、船、潜水艦、AUV(Autonomous Underwater Vehicle)等の他の乗り物、又は、他の移動体に搭載されるものであってもよい。以下、自動車に搭載される例を挙げて説明するが、特に記載の無い限り他の筐体に備えられる場合であっても同様の処理を実行することが可能である。

【0012】

情報取得部100は、所定のセンサを介して周辺の環境に関する情報を取得する。センサは、例えば、画像取得部としてカメラを含み、周辺、特に自車の前方の様子を画像情報として取得する。これには限られず、自車の側方、後方の情報を取得してもよい。また、センサは、例えば、LiDAR(Light Detection and Ranging)、IMU(Inertial Measurement Unit)、GPS(Global Positioning System)等のセンサにより、自己位置、自己姿勢に関する情報を取得する自己位置推定するための情報を取得するセンサを含む。

【0013】

図1においては、情報処理装置1は、情報取得部100を備えるものとしたが、これには限られない。別の例として、情報処理装置1の外部にセンサを含む情報取得部100が備えられ、情報処理装置1が備える所定の入力インタフェースを介して、情報取得部100からの情報を情報処理装置1に入力する形態であってもよい。

【0014】

記憶部102は、情報処理装置1の動作に必要となるデータを格納する。記憶部102は、例えば、一時的又は非一時的なメモリ、ストレージ等のうち少なくとも1つを備える。記憶部102は、例えば、情報取得部100が取得した情報のうち、動作に必要となる画像情報、位置情報、姿勢情報等を格納する。情報処理装置1がソフトウェアによる情報処理がハードウェア資源を用いて具体的に実現されて動作するものである場合には、このソフトウェアによる情報処理に必要となるプログラム、実行ファイル等が格納されてもよい。

【0015】

画素抽出部104は、情報取得部100が取得した2次元の画像情報において、対象の画像中の位置を判定するための画素を指定し、当該画素の情報を抽出する。画素抽出部104は、例えば、画像の横方向を第1方向、縦方向を第2方向とすると、第1方向に第1画素数のずれを有し、第2方向に第2画素数のずれを有する複数の画素群を選択し、これら選択された画素群に含まれる画素の情報を、対象の位置を判定するための情報として抽出する。画素の選択方法は、後述にて詳しく説明する。

【0016】

判定部106は、画素抽出部104が抽出した画素の情報に基づいて、選択された画素に対象が存在するか否かを判定する。判定部106は、例えば、当該画素と、当該画素の周辺の画素の情報から、当該画素における勾配を取得する。勾配を求める手法は、特に限定されるものではない。例えば、当該画素と対象の移動方向に沿った隣接画素との画素値の差を取得してもよいし、当該画素を対象に、ソーベルフィルタ、ラプラシアンフィルタその他の微分フィルタの処理を実行して勾配を取得してもよい。判定部106は、例えば、勾配が所定値以上である場合に、当該画素が対象に属する画素であると判定してもよい。これに限られるものではなく、判定部106は、他の方法、例えば、輝度、彩度、色彩等の他の画素値に関する情報等、又は、統計情報等を用いて当該画素が対象に属する画素か否かを判定してもよい。

【0017】

自己位置推定部108は、情報取得部100が取得した情報に基づいて、自己位置推定を実行する。3次元位置推定部110において画像情報と自己位置情報との情報に基づいて、対象までの3次元位置を推定するため、自己位置推定部108は、この画像情報を取得するカメラの自己位置及び姿勢を自己位置情報として推定する。一例として、自己位置推定部108は、LiDAR、IMU、GPS等から取得された情報と、画像情報と、に基づいて、カメラのエゴモーション(並進移動及び回転移動)を推定する。推定のアルゴリズムは、任意のアルゴリズムを用いてよい。

【0018】

3次元位置推定部110は、判定部106が判定した2次元画像上の対象の位置と、自己位置推定部108が推定した画像に対するカメラの位置、姿勢情報と、に基づいて、カメラに対する対象の3次元位置(カメラからの対象の相対位置)を推定する。この推定のアルゴリズムは任意のアルゴリズムを使用することができる。例えば、判定部106により対象であると判定された画像中の疎な領域の情報から、3次元位置推定ができるアルゴリズムを利用して、対象の3次元位置を推定する。

【0019】

情報処理装置1は、推定された対象の3次元位置に基づいて、ユーザにアラートを出すための情報を出力したり、自動運転における障害物の位置を出力したりする。別の例として、情報処理装置1は、3次元位置に基づいて直接的に、アラートを出力したり、障害物の位置情報等を出力したりしてもよい。

【0020】

次に、画素抽出部104において情報を取得する画素の選択方法について説明する。

【0021】

図2は、一実施形態に係る画素の選択状態を示す図である。画素抽出部104は、図に斜線で示される画素を、対象Tが含まれるか否かを判定する画素として選択する。このように判定する画素を選択することにより、図に示されるような対象Tが判定する画素を含む確率を上げることができる。より具体的には、例えば、第2方向に沿った同じ列に判定する画素を設定した場合と比較して、対象Tが判定する画素を含む可能性を2倍程度高めることができる。

【0022】

一例として、画素抽出部104は、判定する画素として抽出された画素から、第1方向に沿って、同じ行内に4画素のピッチを有する(5画素分のずれを有する)画素を抽出する。同様に、第1方向に1画素ずれた列において、第2方向に沿って4画素のピッチを有する(5画素分のずれを有する)画素を抽出する。第2方向に延伸する対象について連続したフレームにおいて撮影をすることで、このように第1方向にずれた画素を判定する画素として設定することにより、いずれかの判定する画素が対象に含まれる可能性が高くなる。このように対象があるか否かを判定する画素における画素情報を抽出することにより、画像内において対象が抽出される可能性を高くする。

【0023】

第1方向及び第2方向に対する抽出画素のずれは、対象の大きさ等に基づいて決定されてもよい。例えば、自動車の運転中に画像を取得する場合には、道路上のポール、人間、といったある程度大きさの決まっているオブジェクトをアラート等の対象としてその3次元位置を推定したい場合が多い。対象となるオブジェクトを例えばポールとした場合に、ポールの画像内における横幅(第1方向に沿った画素数)と、縦幅(第2方向に沿った画素数)と、に基づいてこのずれを決定してもよい。

【0024】

例えば、第1方向のずれである第1画素数は、対象の大きさの2倍の画素数としてもよい。図2においては、対象となるオブジェクトの横幅が2画素であるので、限定されない一例として、この2倍である4画素のピッチを有するように設定される。このずれの大きさは、プロセッサの処理量に応じて任意に決定することも可能である。例えば、処理量を少なくする場合や自動車の速度が低い場合等には、3倍、4倍等のピッチ、また、整数ではない倍率のピッチを設定してもよい。

【0025】

なお、対象となるオブジェクトが画像に写るサイズは、オブジェクトとカメラまでの距離、カメラの向き、カメラの内部パラメータ等により変わるものである。したがって、オブジェクトの実サイズのみからだと、判定する画素のピッチをオブジェクトの抽出の精度を高めるべく適切に決定できないことがある。このため、対象となるオブジェクトがカメラから何mの位置に置かれているかを任意に決定し、この場合の投影サイズからピッチ幅を決定してもよい。さらに、道路におけるポール等のように大体のサイズが取得でき、かつ、このポールよりも太いものを検出する場合には、ピッチ幅を広くすることもできる。ポール等のサイズは、記憶部102に格納されていてもよい。

【0026】

また、第2方向のずれである第2画素数は、オブジェクトの縦幅[pixel] / (第1画素数 － 1)としてもよい。

【0027】

図3は、前述の式に基づいて画素を設定する一例を示した図である。第1画素数を5画素とし、第2画素数を2画素としている。なお、図2、図3においては、第2方向に沿って1組の抽出画素を示しているが、抽出画素の配置は、例えば、上下方向にサイクリックに繰り返されてもよい。例えば、図2には、第2方向おいて3つの判定する画素が示されているが、さらに、一番上の判定する画素の上側に第2画素数離れ、左側に第1画素数離れた位置に判定する画素があってもよい。

【0028】

自動車の運転においては、画面縦軸方向と平行であるポール等の情報の取得が望まれることが多い。このような場合には、オブジェクトは概ね画面縦軸方向(第2方向)と平行と仮定して、最小限に見つけたいオブジェクトの高さ、幅、距離とから、各方向に対するずれ数を設定することができる。

【0029】

検出したいオブジェクトで最小のものに基づいて、この第1画素数と第2画素数を決定することもできる。例えば、最小のオブジェクトを、どのような速度(何km/h)で走行中に、どのような距離(何m先)での3次元位置を求めたいかにより設定することもできる。この場合、3次元位置推定部110が3次元位置を求めるまでに掛かる平均フレーム数と走行速度とから、抽出画素を設定するフレームにおけるオブジェクトが画像に投影されるサイズを計算する。この投影サイズに基づいて、上記のように第1画素数及び第2画素数を設定してもよい。

【0030】

また、現在の走行位置情報に基づいて、検出対象のオブジェクトの大きさ、走行速度を動的に変化させてもよい。この場合、第1画素数と第2画素数を動的に調整することもできる。現在の走行位置情報は、例えば、GPS等により取得したり、画像又は点群情報と地図情報とをマッチングして取得するリローカライゼーションの手法を用いたりすることもできる。ここで、地図情報は、例えば、V2X(Vehicle-to-everything)、又は、記憶部102に記憶している情報等であってもよい。

【0031】

また、上記においては、自動車向けとして、横方向に移動するオブジェクトを対象として判定することを記載したが、これには限られない。例えば、ドローン向けの場合には、横方向の情報が必要となる可能性がある。このような場合には、上記の第1画素数と第2画素数との求め方を逆にして、縦方向に移動する物体を検出しやすいように制御することもできる。

【0032】

また、画像以外の他の要素、例えば、自動車の運転速度、ステアリングの状態に基づいて、第1画素数及び第2画素数を変更できる態様としてもよい。これらの情報は、フレーム間の画像情報から取得してもよいし、CAN(Controller Area Network)等を介して情報処理装置1が取得した情報であってもよい。

【0033】

図4は、本実施形態に係る情報処理装置1の動作を示すフローチャートである。

【0034】

情報処理装置1は、情報取得部100を介して画像情報を取得する(S100)。

【0035】

次に、画素抽出部104は、画像情報から対象の判定する画素を選択し、選択された画素の情報を取得する(S102)。画素の選択は、上述の方法により、例えば、図2、図3のように実行される。

【0036】

次に、判定部106は、画素抽出部104が抽出した画素の情報に基づいて、対象が存在するか否かを判定する(S104)。対象に含まれる画素がある場合には、当該画素の周辺の画素情報をさらに抽出してもよい。判定部106は、このように、対象がある領域を推定する。

【0037】

次に、3次元位置推定部110は、自己位置推定部108が推定する自己位置情報と、判定部106が判定した情報と、に基づいて、オブジェクト(対象)の3次元位置を推定する(S106)。3次元位置推定部110は、判定部106が判定した結果、対象に属する画素の情報である疎な情報から、3次元位置を推定する。このアルゴリズムには、任意のアルゴリズムを用いることができる。

【0038】

なお、自己位置推定部108による自己位置、姿勢の推定は、S100からS104までの間の任意のタイミングで行ってもよい。この処理は、S100からS104までの処理と並列して処理されてもよい。また、所定フレームにわたって同じ位置、姿勢情報を用いてもよい。

【0039】

以上のように、本実施形態によれば、情報処理装置1は、対象を判定する画素数を少なくしつつ、対象の精度のよい抽出を実現し、この抽出結果に基づいて対象までの3次元位置の精度の高い推定を可能とする。判定する画素数を少なくすることにより、プロセッサの処理量を低くしつつ、精度のよい対象までの距離推定を実現することができる。すなわち、リアルタイムに対象を精度よく検知して距離情報を推定することができる。例えば、エッジ画像を生成したり、このエッジ画像又は画像全体の点において判定したりといった高負荷の処理を省略することができるため、実行時間の高速化とともに、消費電力をも削減することができる。

【0040】

なお、別の形態として、情報処理装置1は、判定部106を備えていない構成としてもよい。この場合、3次元位置推定部110は、画素抽出部104が抽出した複数の画素の情報と、自己位置推定部108が推定した情報と、に基づいて、カメラに対する周囲の3次元情報を推定(再構成)してもよい。そして、再構成された3次元情報に基づいて、情報処理装置1は、例えば、周囲の環境における情報、又は、この情報に基づいた補正された自己位置に関する情報の少なくとも1つを取得してもよい。

【0041】

このように、対象の判定をしない場合においても、上記と同様に、第1所定数、第2所定数を設定することで、疎な画素群から情報を取得した場合に移動方向に依存して取得されづらい周囲の環境等を適切に取得する可能性を高めることが可能となる。この結果、3次元再構成に用いる画素数を少なくしつつ、精度のよい3次元再構成を実現することができる。疎な画像情報から3次元再構成をする手法は、一般的な手法を用いることができる。

【0042】

(第2実施形態)
一般的なカメラにはレンズが備えられており、このレンズ等の光学系の影響により、画像に歪みが生じることがある。また、カメラのセンサの方向のずれにより、第2方向と鉛直方向とがずれることがある。本実施形態においては、このような光学系の影響を少なくする情報処理装置1について説明する。

【0043】

情報処理装置1は、前述の第1実施形態の構成要素に加え、画像処理部112をさらに備える。

【0044】

画像処理部112は、情報取得部100を介して取得した画像情報に対して、所定の補正処理を実行する。例えば、この補正処理は、地面に垂直に立っているオブジェクトが画像の第2方向と平行になるように変換する処理である。例えば、画像処理部112は、レンズの歪み補正を実行して、オブジェクトの方向を画像の第2方向と平行となるように補正する。この他、例えば、特開2012-68923号に記載の方法により画像補正を実行してもよい。

【0045】

画素抽出部104は、画像処理部112が処理した画像において、画素情報を抽出する。また、自己位置推定部108においても、この画像処理部112が処理した画像を用いて、自己位置を推定してもよい。

【0046】

画像処理部112を備える場合、図4におけるS100と、S102との処理の間に、画像の補正処理を実行する。

【0047】

以上のように、本実施形態によれば、情報処理装置1は、判定する画素情報を抽出する前に、画像を補正することも可能となる。画像の補正をすることにより、カメラ等のセンサにおいて光学系に依存する影響や、設置方法等に依存する影響を小さくすることが可能となる。このように補正をすることで、対象の抽出をより正確に実現することができ、より精度の高い対象までの距離推定を実行することが可能となる。

【0048】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0049】

1: 情報処理装置、
100: 情報取得部、
102: 記憶部、
104: 画素抽出部、
106: 判定部、
108: 自己位置推定部、
110: 3次元位置推定部
112: 画像処理部

【図1】

【図2】

【図3】

【図4】

【図5】