特開 2024-64911 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024064911

(43)【公開日】2024-05-14

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240507BHJP

【ＦＩ】

G06T7/00 650B

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022175698

(22)【出願日】2022-11-01

(31)【優先権主張番号】P 2022172777

(32)【優先日】2022-10-27

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】591280485

【氏名又は名称】ソフトバンクグループ株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】孫 正義

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096AA09

5L096BA04

5L096CA05

5L096DA02

5L096FA16

5L096HA04

(57)【要約】      （修正有）

【課題】車両の自動運転を行う情報処理装置を提供する。
【解決手段】情報処理装置１０は、撮影された物体の画像を、第１のフレームレートで出力する第１のプロセッサであるＩＰＵ１１と、撮影された物体の動きを示す動き情報を、第１のフレームレートよりも高い第２のフレームレートで出力する第２のプロセッサであるＭｏＰＵ１２と、画像及び動き情報に基づいて、車両の運転制御を実行する第３のプロセッサであるＣｅｎｔｒａｌ Ｂｒａｉｎ１５と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

撮影された物体の画像を、第１のフレームレートで出力する第１のプロセッサと、
撮影された物体の動きを示す動き情報を、前記第１のフレームレートよりも高い第２のフレームレートで出力する第２のプロセッサと、
前記画像及び前記動き情報に基づいて、車両の運転制御を実行する第３のプロセッサと、
を備えた情報処理装置。

【請求項2】

前記第２のフレームレートは、前記第１のフレームレートの５０倍以上である
請求項１に記載の情報処理装置。

【請求項3】

前記第２のフレームレートは、１０００フレーム／秒以上である
請求項１に記載の情報処理装置。

【請求項4】

前記第２のプロセッサは、物体の存在位置を示す点の、所定の座標軸に沿った動きのベクトル情報を出力する
請求項１に記載の情報処理装置。

【請求項5】

２つの前記第２のプロセッサを用いて、物体の存在位置を示す点の、三次元直交座標系における３つの座標軸の各々に沿った動きのベクトル情報を出力する
請求項４に記載の情報処理装置。

【請求項6】

前記第３のプロセッサは、１０億分の１秒単位で複数の情報を処理する能力を有する
請求項５に記載の情報処理装置。

【請求項7】

フレームレートが１０００フレーム／秒以上のカメラで撮影された物体の画像から、物体の存在位置を示す点のみを抽出し、前記の物体の存在位置を示す点の、所定の座標軸に沿った動きのベクトル情報をプロセッサから出力する、情報処理装置。

【請求項8】

前記第２のプロセッサは、物体の輪郭を囲む四角形の頂点の少なくとも対角となる２つ点について前記ベクトル情報を出力する
請求項５に記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、車両の運転制御を行う情報処理装置に関する。

【背景技術】

【0002】

特許文献１には、自動運転機能を有する車両について記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－０３５１９８号公報

【発明の概要】

【課題を解決するための手段】

【0004】

開示の技術に係る情報処理装置は、撮影された物体の画像を、第１のフレームレートで出力する第１のプロセッサと、撮影された物体の動きを示す動き情報を、前記第１のフレームレートよりも高い第２のフレームレートで出力する第２のプロセッサと、前記画像及び前記動き情報に基づいて、車両の運転制御を実行する第３のプロセッサと、を備える。

【0005】

前記第２のフレームレートは、前記第１のフレームレートの５０倍以上であってもよい。前記第２のフレームレートは、１０００フレーム／秒以上であってもよい。

【0006】

前記第２のプロセッサは、物体の存在位置を示す点の、所定の座標軸に沿った動きのベクトル情報を出力してもよい。２つの前記第２のプロセッサを用いて、物体の存在位置を示す点の、三次元直交座標系における３つの座標軸の各々に沿った動きのベクトル情報を出力してもよい。前記第２のプロセッサは、物体の輪郭を囲む四角形の頂点の少なくとも対角となる２つ点について前記ベクトル情報を出力してもよい。

【0007】

前記第３のプロセッサは、１０億分の１秒単位で複数の情報を処理する能力を有していてもよい。

【0008】

開示の技術に係る情報処理装置は、フレームレートが１０００フレーム／秒以上のカメラで撮影された物体の画像から、物体の存在位置を示す点のみを抽出し、前記の物体の存在位置を示す点の、所定の座標軸に沿った動きのベクトル情報をプロセッサから出力するものであってもよい。

【0009】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0010】

【図1】Ｃｅｎｔｒａｌ Ｂｒａｉｎを搭載した車両の一例を示す概略図である。

【図2】開示の技術の実施形態に係る情報処理装置の構成の一例を示すブロック図である。

【図3】開示の技術の実施形態に係るＭｏＰＵからＣｅｎｔｒａｌ Ｂｒａｉｎへのデータ転送の態様の一例を示す図である。

【図4】開示の技術の実施形態に係るＭｏＰＵによる物体の座標検出の態様の一例を示す図である。

【発明を実施するための形態】

【0011】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0012】

開示の技術の実施形態に係る情報処理装置は、車両の制御に関連する多くの情報に基づいて、運転制御に必要なインデックス値を高精度に求めるものであってよい。したがって、本開示の情報処理装置は、少なくとも一部が車両に搭載されて、車両の制御を実現するものであってよい。

【0013】

また、開示の技術の実施形態に係る情報処理装置は、Ａｕｔｏｎｏｍｏｕｓ ＤｒｉｖｉｎｇをＬｅｖｅｌ６によるＡＩ／多変量解析／ゴールシーク／戦略立案／最適確率解／最適スピード解／最適コースマネジメント／エッジにおける多種センサ入力により得られたデータを基にリアルタイムで実現でき、デルタ最適解に基づいて調整される走行システムを提供し得る。

【0014】

図１は、Ｃｅｎｔｒａｌ Ｂｒａｉｎを搭載した車両の一例を示す概略図である。Ｃｅｎｔｒａｌ Ｂｒａｉｎは、図１に示すように、複数のＧａｔｅ Ｗａｙが通信可能に接続されていてよい。本実施の形態に係るＣｅｎｔｒａｌ Ｂｒａｉｎは、Ｇａｔｅ Ｗａｙを介して取得した複数の情報に基づいて、ＬｅｖｅＬ６の自動運転を実現し得るものである。

【0015】

「Ｌｅｖｅｌ６」とは、自動運転を表すレベルであり、完全自動運転を表すＬｅｖｅｌ５よりも更に上のレベルに相当する。Ｌｅｖｅｌ５は完全自動運転を表すものの、それは人が運転するのと同等のレベルであり、それでも未だ事故等が発生する確率はある。Ｌｅｖｅｌ６とは、Ｌｅｖｅｌ５よりも上のレベルを表すものであり、Ｌｅｖｅｌ５よりも事故が発生する確率が低いレベルに相当する。

【0016】

Ｌｅｖｅｌ６における計算力は、Ｌｅｖｅｌ５の計算力の１０００倍程度である。したがって、Ｌｅｖｅｌ５では実現できなかった高性能な運転制御が実現可能である。

【0017】

図２は、開示の技術の実施形態に係る情報処理装置１０の構成の一例を示すブロック図である。情報処理装置１０は、ＩＰＵ（Image Processing Unit）１１、ＭｏＰＵ（Motion Processing Unit）１２、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６を備えている。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＧＮＰＵ（Graphics Neural network Processing Unit）１３及びＣＰＵ（Central Processing Unit）１４を含んで構成されている。

【0018】

ＩＰＵ１１は、車両に設置された超高解像度カメラ（図示せず）に内蔵され得る。ＩＰＵ１１は、車両の周囲に存在する物体の画像について、ベイヤ―変換、デモザイク、ノイズ除去、シャープ化等の所定の画像処理を行い、処理された物体の画像を、例えば１０フレーム／秒のフレームレート且つ１２００万画素の解像度で出力する。ＩＰＵ１１から出力された画像は、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６に供給される。ＩＰＵ１１は、開示の技術における「第１のプロセッサ」の一例である。

【0019】

ＭｏＰＵ１２は、車両に設置された超高解像度カメラとは別のカメラに内蔵され得る。ＭｏＰＵ１２は、１０００フレーム／秒以上のフレームレートで撮影された物体の画像から、撮影された物体の動きを示す動き情報を、例えば１０００フレーム／秒以上のフレームレートで出力する。すなわち、ＭｏＰＵ１２の出力のフレームレートは、ＩＰＵ１１の出力のフレームレートの１００倍である。ＭｏＰＵ１２は、物体の存在位置を示す点の、所定の座標軸に沿った動きのベクトル情報を動き情報として出力する。すなわち、ＭｏＰＵ１２から出力される動き情報には、撮影された物体が何であるか（例えば、人なのか、障害物なのか）を識別するために必要な情報は含まれておらず、当該物体の中心点（又は重心点）の座標軸（ｘ軸、ｙ軸、ｚ軸）上の動き（移動方向と移動速度）を示す情報のみが含まれている。ＭｏＰＵ１２から出力された情報は、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６に供給される。動き情報が画像情報を含まないことで、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６に転送される情報量を画期的に抑制することできる。ＭｏＰＵ１２は、開示の技術における「第２のプロセッサ」の一例である。

【0020】

Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１から出力された画像及びＭｏＰＵ１２から出力された動き情報に基づいて、車両の運転制御を実行する。例えば、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１から出力された画像に基づいて、車両の周囲に存在する物体（人、動物、道路、信号、標識、横断歩道、障害物、建物など）を認識する。また、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＭｏＰＵ１２から出力された動き情報に基づいて、車両の周囲に存在する、何であるか認識された物体の動きを認識する。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は認識した情報に基づいて、例えば、車輪を駆動するモータの制御（速度制御）、ブレーキ制御、ハンドル制御を行う。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５において、ＧＮＰＵ１３は画像認識に関する処理を担ってもよく、ＣＰＵ１４は、車両制御に関する処理を担ってもよい。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、開示の技術における「第３のプロセッサ」の一例である。

【0021】

一般的に自動運転における画像認識を行うために超高解像度カメラが使用されている。高解像度カメラによって撮影された画像から、当該画像に含まれる物体が何であるかを認識することは可能である。しかしながら、Ｌｅｖｅｌ６時代の自動運転ではこれだけでは不十分である。Ｌｅｖｅｌ６時代では、物体の動きをより高精度に認識することも必要である。ＭｏＰＵ１２によって物体の動きをより高精度に認識することで、例えば、自動運転によって走行する車両が障害物を回避する回避動作を、より高精度で行うことが可能となる。しかしながら、高解像度カメラでは、１秒間に１０フレーム程度しか画像を取得することができず、物体の動きを解析する精度はＭｏＰＵ１２を搭載したカメラに比べると低い。一方、ＭｏＰＵ１２を搭載したカメラでは、例えば１０００フレーム／秒の高フレームレートでの出力が可能である。

【0022】

そこで、本開示の技術では、ＩＰＵ１１及びＭｏＰＵ１２の２つの独立したプロセッサを用いる。高解像度カメラ（ＩＰＵ１１）には、捉えた物体が何なのかを認識するために必要な画像情報を取得する役割を与え、ＭｏＰＵ１２には、物体の動きを検出する役割を与えている。ＭｏＰＵ１２は、物体を点としてとらえ、その点の座標がｘ軸、ｙ軸、ｚ軸上のどの方向に、どの程度の速度で動くかを解析する。物体の全体の輪郭と、その物体が何なのかの検知は、高解像度カメラからの画像によって行うことが可能であることから、ＭｏＰＵ１２によって、物体の中心点がどのように移動するかさえ分かれば、物体全体がどのような挙動をするかがわかる。

【0023】

物体の中心点の移動と速度のみを解析する手法によれば、物体の画像全体がどのように動くかを判断することに比べて、Ｃｅｔｒａｌ Ｂｒａｉｎ１５に転送する情報量を大幅に抑制し、Ｃｅｔｒａｌ Ｂｒａｉｎ１５における計算量を大幅に低減することが可能である。例えば、１０００ピクセル×１０００ピクセルの画像を、１０００フレーム／秒のフレームレートでＣｅｔｒａｌ Ｂｒａｉｎ１５に送信する場合、色情報を含めると、４０億ビット／秒のデータをＣｅｔｒａｌ Ｂｒａｉｎ１５に送信することになる。ＭｏＰＵ１２が、物体の中心点の動きを示す動き情報のみを送信することで、Ｃｅｔｒａｌ Ｂｒａｉｎ１５に転送されるデータの量を２万ビット／秒に圧縮することができる。すなわち、Ｃｅｔｒａｌ Ｂｒａｉｎ１５に転送されるデータの量が２０万分の１に圧縮される。

【0024】

このように、ＩＰＵ１１から出力される低フレームレート且つ高解像度の画像と、ＭｏＰＵ１２から出力される高フレームレート且つ軽量の動き情報を組み合わせて用いることで、物体の動きを含む物体認識を、少ないデータ量で実現することが可能となる。

【0025】

なお、１つのＭｏＰＵ１２を用いた場合には、物体の存在位置を示す点の、三次元直交座標系における２つの座標軸（ｘ軸及びｙ軸）の各々に沿った動きのベクトル情報を取得することが可能である。ステレオカメラの原理を利用して、２つのＭｏＰＵ１２を用いて、物体の存在位置を示す点の、三次元直交座標系における３つの座標軸（ｘ軸、ｙ軸、ｚ軸）の各々に沿った動きのベクトル情報を出力してもよい。ｚ軸は、奥行方法（車両の走行）に沿った軸である。

【0026】

また、図３に示すように、車両の左側に取り付けられたカメラからの画像及び車両の右側に取り付けられたカメラからの画像を、ＭｏＰＵ１２のコア１２Ａに入力してもよい。これらの画像は、それぞれ、例えば１０００ピクセル×１０００ピクセルの色情報を含む画像であり、１０００フレーム／秒のフレームレートでコア１２Ａに入力されてもよい。ＭｏＰＵ１２のコア１２Ａは、これらの画像に基づいて、三次元直交座標系における３つの座標軸（ｘ軸、ｙ軸、ｚ軸）の各々に沿った動きのベクトル情報を１０００フレーム／秒のフレームレートでＣｅｎｔｒａｌ Ｂｒａｉｎ１５に転送してもよい。

【0027】

また、以上の説明では、ＭｏＰＵ１２が、物体の中心点の動きを示す動き情報を出力する形態を例示した。しかしながら、開示の技術はこの態様に限定されない。ＭｏＰＵ１２は、カメラによって撮影された画像から認識した物体の輪郭を囲む四角形の頂点の少なくとも対角となる２つの座標点について動き情報を出力してもよい。図４には、ＭｏＰＵ１２が、画像に含まれる４つの物体のそれぞれについて、当該物体の輪郭を囲むバウンディングボックス２１、２２、２３、２４を出力し、バウンディングボックス２１、２２、２３、２４の頂点の対角となる２つの座標点について動き情報を出力する態様が例示されている。このように、ＭｏＰＵ１２は物体を点としてではなく、一定の大きさを持つオブジェクトとして捉えてもよい。

【0028】

本実施の形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

【0029】

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0030】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

【0031】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0032】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0033】

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0034】

１０ 情報処理装置
１１ ＩＰＵ
１２ ＭｏＰＵ
１３ ＧＮＰＵ
１４ ＣＰＵ
１５ Ｃｅｎｔｒａｌ Ｂｒｅｉｎ

【図1】

【図2】

【図3】

【図4】