特開 2024-62348 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024062348

(43)【公開日】2024-05-09

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240430BHJP

   G06T 7/215 20170101ALI20240430BHJP

   G06T 7/00 20170101ALI20240430BHJP

   H04N 7/18 20060101ALI20240430BHJP

   G08G 1/16 20060101ALI20240430BHJP

【ＦＩ】

G06T7/70 B

G06T7/215

G06T7/00 650B

H04N7/18 J

G08G1/16 C

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023069618

(22)【出願日】2023-04-20

(31)【優先権主張番号】P 2022175679

(32)【優先日】2022-11-01

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2022187648

(32)【優先日】2022-11-24

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2022172777

(32)【優先日】2022-10-27

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2022181362

(32)【優先日】2022-11-11

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2022186040

(32)【優先日】2022-11-21

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2022170165

(32)【優先日】2022-10-24

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2022182131

(32)【優先日】2022-11-14

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2022187649

(32)【優先日】2022-11-24

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2022189546

(32)【優先日】2022-11-28

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2023036967

(32)【優先日】2023-03-09

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】591280485

【氏名又は名称】ソフトバンクグループ株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】孫 正義

【テーマコード（参考）】

5C054

5H181

5L096

【Ｆターム（参考）】

5C054CA04

5C054CA05

5C054CC02

5C054FC12

5C054HA30

5H181AA01

5H181BB13

5H181BB20

5H181CC02

5H181CC04

5H181CC14

5H181FF27

5H181LL09

5L096BA04

5L096CA05

5L096FA66

5L096FA67

5L096HA03

(57)【要約】      （修正有）

【課題】移動物体の検出精度を向上させる情報処理装置を提供する。
【解決手段】情報処理装置４１０は、第１の水平画角の高解像度カメラ３０Ｌと、第１の水平画角よりも広い第２の水平画角の全方位カメラ３０Ｒと、高解像度カメラの撮影方向を調整する調整部と、を有するＭｏＰＵ１２と、を備える。調整部は、全方位カメラが取得した画像において高解像度カメラの死角にある物体の動きを検知した場合、高解像度カメラの撮影方向を、動きを検知した物体の方向に向けるように制御する。
【選択図】図１２

【特許請求の範囲】

【請求項1】

第１の水平画角の第１のカメラと、
前記第１の水平画角よりも広い第２の水平画角の第２のカメラと、
前記第１のカメラの撮影方向を調整する調整部と、
第１のプロセッサと、を備え、
前記第１のプロセッサは、前記第２のカメラにより取得された画像において前記第１のカメラの死角にある物体の動きを検知した場合、前記第１のカメラの撮影方向を検知した物体の方向に向けるように前記調整部を制御する
情報処理装置。

【請求項2】

前記第２のカメラの水平画角は、３６０°である
請求項１に記載の情報処理装置。

【請求項3】

前記調整部の水平方向における撮影方向の調整範囲は、基準方向に対して±１３５°以内の範囲である
請求項２に記載の情報処理装置。

【請求項4】

前記第１のカメラは、前記第２のカメラよりも単位画角当たりの解像度が高い
請求項１に記載の情報処理装置。

【請求項5】

前記第１のプロセッサは、前記第１のカメラにより取得された画像、及び、前記第２のカメラにより取得された画像を用いて、画像中の物体までの距離の情報を取得する
請求項１に記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、移動する物体を検出する情報処理装置に関する。

【背景技術】

【0002】

特許文献１には、自動運転機能を有する車両について記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－０３５１９８号公報

【発明の概要】

【課題を解決するための手段】

【0004】

開示の技術に係る情報処理装置は、第１のプロセッサを備える。前記第１のプロセッサは、物体の画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点の、所定の座標軸に沿った動きを示す動き情報を１０００フレーム／秒以上のフレームレートで出力する。

【0005】

前記第１のプロセッサは、前記物体の中心点又は重心点の所定の座標軸に沿った動きのベクトル情報を前記動き情報として出力してもよい。前記第１のプロセッサは、前記物体の輪郭を囲む四角形の頂点の少なくとも対角となる２つ点について前記ベクトル情報を出力してもよい。

【0006】

前記画像は、赤外線画像を含んでいてもよい。前記画像は、互いに同期した可視光画像及び赤外線画像を含んでいてもよい。

【0007】

２つの前記第１のプロセッサを用いて、前記物体の存在位置を示す点の、三次元直交座標系における３つの座標軸の各々に沿った動きのベクトル情報を前記動き情報として出力してもよい。

【0008】

前記第１のプロセッサは、前記物体に照射された電磁波の前記物体からの反射波に基づいて、前記物体までの距離を導出し、前記物体の存在位置を示す点の、三次元直交座標系における３つの座標軸の各々に沿った動きのベクトル情報を前記動き情報として出力してもよい。

【0009】

情報処理装置は、前記物体の画像を１０００フレーム／秒未満のフレームレートで出力する第２のプロセッサと、前記動き情報と、前記第２のプロセッサから出力された画像とに基づいて、前記物体に対する応答制御を行う第３のプロセッサと、を更に含んでいてもよい。

【0010】

開示の技術に係る情報処理装置は、第１のプロセッサを備える。前記第１のプロセッサは、物体が写る画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力する。

【0011】

前記情報処理装置は、フレームレートを変更することが可能なカメラを備え、前記第１プロセッサは、外部環境に関するスコアを計算し、前記スコアに応じて、前記カメラのフレームレートを決定し、決定した前記フレームレートにより画像の撮像を指示する制御信号を前記カメラに対して出力し、前記カメラによって撮像された画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力してもよい。

【0012】

前記情報処理装置は車両に搭載され、前記第１プロセッサは、前記外部環境に関するスコアとして、前記車両の走行に関する危険度を計算し、前記危険度に応じて、前記カメラのフレームレートを決定し、決定した前記フレームレートにより画像の撮像を指示する制御信号を前記カメラ対して出力し、前記カメラによって撮像された画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力してもよい。

【0013】

前記第１プロセッサは、前記画像から物体を抽出し、前記物体の存在位置が所定領域である場合に、前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力してもよい。

【0014】

前記第１プロセッサは、前記画像から物体を抽出し、前記物体毎にスコアを計算し、前記スコアが所定閾値以上の前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力してもよい。

【0015】

開示の技術に係る情報処理装置は、第１の水平画角の第１のカメラと、前記第１の水平画角よりも広い第２の水平画角の第２のカメラと、前記第１のカメラの撮影方向を調整する調整部と、第１のプロセッサと、を備え、前記第１のプロセッサは、前記第２のカメラにより取得された画像において前記第１のカメラの死角にある物体の動きを検知した場合、前記第１のカメラの撮影方向を検知した物体の方向に向けるように前記調整部を制御する。

【0016】

前記第２のカメラの水平画角は、３６０°であってもよい。

【0017】

前記調整部の水平方向における撮影方向の調整範囲は、基準方向に対して±１３５°以内の範囲であってもよい。

【0018】

前記第１のカメラは、前記第２のカメラよりも単位画角当たりの解像度が高くてもよい。

【0019】

前記第１のプロセッサは、前記第１のカメラにより取得された画像、及び、前記第２のカメラにより取得された画像を用いて、画像中の物体までの距離の情報を取得してもよい。

【0020】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0021】

【図1】Ｃｅｎｔｒａｌ Ｂｒａｉｎを搭載した車両の一例を示す概略図である。

【図2】開示の技術の第１実施形態に係る情報処理装置の構成の一例を示すブロック図である。

【図3】開示の技術の第１実施形態に係るＭｏＰＵからＣｅｎｔｒａｌ Ｂｒａｉｎへのデータ転送の態様の一例を示す図である。

【図4】開示の技術の第１実施形態に係るＭｏＰＵからＣｅｎｔｒａｌ Ｂｒａｉｎへのデータ転送の態様の一例を示す図である。

【図5】開示の技術の第１実施形態に係るＭｏＰＵによる物体の座標検出の態様の一例を示す図である。

【図6】開示の技術の第１実施形態に係るＭｏＰＵの処理の一例を示す図である。

【図7】開示の技術の第１実施形態に係るＭｏＰＵの処理の一例を示す図である。

【図8】開示の技術の第２実施形態に係る情報処理装置の構成の一例を示すブロック図である。

【図9】開示の技術の第２実施形態に係る情報処理装置の構成の一例を示すブロック図である。

【図10】開示の技術の第２実施形態を説明するための図である。

【図11】開示の技術の第２実施形態を説明するための図である。

【図12】開示の技術の第３実施形態に係る情報処理装置の構成の一例を示すブロック図である。

【図13】開示の技術の第３実施形態を説明するための図である。

【図14】開示の技術の第３実施形態を説明するための図である。

【図15】開示の技術の第３実施形態を説明するための図である。

【図16】開示の技術の第３実施形態を説明するための図である。

【発明を実施するための形態】

【0022】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0023】

開示の技術の実施形態に係る情報処理装置は、車両の制御に関連する多くの情報に基づいて、運転制御に必要なインデックス値を高精度に求めるものであってよい。したがって、本開示の情報処理装置は、少なくとも一部が車両に搭載されて、車両の制御を実現するものであってよい。

【0024】

＜第１実施形態＞
開示の技術の実施形態に係る情報処理装置は、Ａｕｔｏｎｏｍｏｕｓ ＤｒｉｖｉｎｇをＬｅｖｅｌ６によるＡＩ／多変量解析／ゴールシーク／戦略立案／最適確率解／最適スピード解／最適コースマネジメント／エッジにおける多種センサ入力により得られたデータを基にリアルタイムで実現でき、デルタ最適解に基づいて調整される走行システムを提供し得る。

【0025】

図１は、Ｃｅｎｔｒａｌ Ｂｒａｉｎを搭載した車両の一例を示す概略図である。Ｃｅｎｔｒａｌ Ｂｒａｉｎは、図１に示すように、複数のＧａｔｅ Ｗａｙが通信可能に接続されていてよい。本実施の形態に係るＣｅｎｔｒａｌ Ｂｒａｉｎは、Ｇａｔｅ Ｗａｙを介して取得した複数の情報に基づいて、ＬｅｖｅＬ６の自動運転を実現し得るものである。

【0026】

「Ｌｅｖｅｌ６」とは、自動運転を表すレベルであり、完全自動運転を表すＬｅｖｅｌ５よりも更に上のレベルに相当する。Ｌｅｖｅｌ５は完全自動運転を表すものの、それは人が運転するのと同等のレベルであり、それでも未だ事故等が発生する確率はある。Ｌｅｖｅｌ６とは、Ｌｅｖｅｌ５よりも上のレベルを表すものであり、Ｌｅｖｅｌ５よりも事故が発生する確率が低いレベルに相当する。

【0027】

Ｌｅｖｅｌ６における計算力は、Ｌｅｖｅｌ５の計算力の１０００倍程度である。したがって、Ｌｅｖｅｌ５では実現できなかった高性能な運転制御が実現可能である。

【0028】

図２は、開示の技術の実施形態に係る情報処理装置１０の構成の一例を示すブロック図である。情報処理装置１０は、ＩＰＵ（Image Processing Unit）１１、ＭｏＰＵ（Motion Processing Unit）１２、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６を備えている。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＧＮＰＵ（Graphics Neural network Processing Unit）１３及びＣＰＵ（Central Processing Unit）１４を含んで構成されている。

【0029】

ＩＰＵ１１は、車両に設置された超高解像度カメラ（図示せず）に内蔵され得る。ＩＰＵ１１は、車両の周囲に存在する物体の画像について、ベイヤ―変換、デモザイク、ノイズ除去、シャープ化等の所定の画像処理を行い、処理された物体の画像を、例えば１０フレーム／秒のフレームレート且つ１２００万画素の解像度で出力する。ＩＰＵ１１から出力された画像は、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６に供給される。ＩＰＵ１１は、開示の技術における「第２のプロセッサ」の一例である。

【0030】

ＭｏＰＵ１２は、車両に設置された超高解像度カメラとは別のカメラに内蔵され得る。ＭｏＰＵ１２は、１０００フレーム／秒以上のフレームレートで撮影された物体の画像から、撮影された物体の動きを示す動き情報を、例えば１０００フレーム／秒以上のフレームレートで出力する。すなわち、ＭｏＰＵ１２の出力のフレームレートは、ＩＰＵ１１の出力のフレームレートの１００倍である。ＭｏＰＵ１２は、物体の存在位置を示す点の、所定の座標軸に沿った動きのベクトル情報を動き情報として出力する。すなわち、ＭｏＰＵ１２から出力される動き情報には、撮影された物体が何であるか（例えば、人なのか、障害物なのか）を識別するために必要な情報は含まれておらず、当該物体の中心点（又は重心点）の座標軸（ｘ軸、ｙ軸、ｚ軸）上の動き（移動方向と移動速度）を示す情報のみが含まれている。ＭｏＰＵ１２から出力された情報は、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６に供給される。動き情報が画像情報を含まないことで、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６に転送される情報量を画期的に抑制することできる。ＭｏＰＵ１２は、開示の技術における「第１のプロセッサ」の一例である。

【0031】

Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１から出力された画像及びＭｏＰＵ１２から出力された動き情報に基づいて、当該物体に対する応答制御として、車両の運転制御を実行する。例えば、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１から出力された画像に基づいて、車両の周囲に存在する物体（人、動物、道路、信号、標識、横断歩道、障害物、建物など）を認識する。また、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＭｏＰＵ１２から出力された動き情報に基づいて、車両の周囲に存在する、何であるか認識された物体の動きを認識する。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は認識した情報に基づいて、例えば、車輪を駆動するモータの制御（速度制御）、ブレーキ制御、ハンドル制御を行う。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５において、ＧＮＰＵ１３は画像認識に関する処理を担ってもよく、ＣＰＵ１４は、車両制御に関する処理を担ってもよい。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、開示の技術における「第３のプロセッサ」の一例である。

【0032】

一般的に自動運転における画像認識を行うために超高解像度カメラが使用されている。高解像度カメラによって撮影された画像から、当該画像に含まれる物体が何であるかを認識することは可能である。しかしながら、Ｌｅｖｅｌ６時代の自動運転ではこれだけでは不十分である。Ｌｅｖｅｌ６時代では、物体の動きをより高精度に認識することも必要である。ＭｏＰＵ１２によって物体の動きをより高精度に認識することで、例えば、自動運転によって走行する車両が障害物を回避する回避動作を、より高精度で行うことが可能となる。しかしながら、高解像度カメラでは、１秒間に１０フレーム程度しか画像を取得することができず、物体の動きを解析する精度はＭｏＰＵ１２を搭載したカメラに比べると低い。一方、ＭｏＰＵ１２を搭載したカメラでは、例えば１０００フレーム／秒の高フレームレートでの出力が可能である。

【0033】

そこで、本開示の技術では、ＩＰＵ１１及びＭｏＰＵ１２の２つの独立したプロセッサを用いる。ＩＰＵ１１には、捉えた物体が何なのかを認識するために必要な画像情報を取得する役割を与え、ＭｏＰＵ１２には、物体の動きを検出する役割を与えている。ＭｏＰＵ１２は、物体を点としてとらえ、その点の座標がｘ軸、ｙ軸、ｚ軸上のどの方向に、どの程度の速度で動くかを解析する。物体の全体の輪郭と、その物体が何なのかの検知は、高解像度カメラからの画像によって行うことが可能であることから、ＭｏＰＵ１２によって、例えば、物体の中心点がどのように移動するかさえ分かれば、物体全体がどのような挙動をするかがわかる。

【0034】

物体の中心点の移動と速度のみを解析する手法によれば、物体の画像全体がどのように動くかを判断することに比べて、Ｃｅｔｒａｌ Ｂｒａｉｎ１５に転送する情報量を大幅に抑制し、Ｃｅｔｒａｌ Ｂｒａｉｎ１５における計算量を大幅に低減することが可能である。例えば、１０００ピクセル×１０００ピクセルの画像を、１０００フレーム／秒のフレームレートでＣｅｔｒａｌ Ｂｒａｉｎ１５に送信する場合、色情報を含めると、４０億ビット／秒のデータをＣｅｔｒａｌ Ｂｒａｉｎ１５に送信することになる。ＭｏＰＵ１２が、物体の中心点の動きを示す動き情報のみを送信することで、Ｃｅｔｒａｌ Ｂｒａｉｎ１５に転送されるデータの量を２万ビット／秒に圧縮することができる。すなわち、Ｃｅｔｒａｌ Ｂｒａｉｎ１５に転送されるデータの量が２０万分の１に圧縮される。

【0035】

このように、ＩＰＵ１１から出力される低フレームレート且つ高解像度の画像と、ＭｏＰＵ１２から出力される高フレームレート且つ軽量の動き情報を組み合わせて用いることで、物体の動きを含む物体認識を、少ないデータ量で実現することが可能となる。

【0036】

なお、１つのＭｏＰＵ１２を用いた場合には、物体の存在位置を示す点の、三次元直交座標系における２つの座標軸（ｘ軸及びｙ軸）の各々に沿った動きのベクトル情報を取得することが可能である。ステレオカメラの原理を利用して、２つのＭｏＰＵ１２を用いて、物体の存在位置を示す点の、三次元直交座標系における３つの座標軸（ｘ軸、ｙ軸、ｚ軸）の各々に沿った動きのベクトル情報を出力してもよい。ｚ軸は、奥行方法（車両の走行）に沿った軸である。

【0037】

また、図３に示すように、車両の左側に取り付けられたカメラからの画像及び車両の右側に取り付けられたカメラからの画像を、ＭｏＰＵ１２のコア１２Ａ（例えば、１つ以上のＣＰＵにより構成される）に入力してもよい。これらの画像は、それぞれ、例えば１０００ピクセル×１０００ピクセルの色情報を含む画像であり、１０００フレーム／秒のフレームレートでコア１２Ａに入力されてもよい。ＭｏＰＵ１２のコア１２Ａは、これらの画像に基づいて、三次元直交座標系における３つの座標軸（ｘ軸、ｙ軸、ｚ軸）の各々に沿った動きのベクトル情報を１０００フレーム／秒のフレームレートでＣｅｎｔｒａｌ Ｂｒａｉｎ１５に転送してもよい。また、図４に示すように、車両の左側に取り付けられたカメラからの画像及び車両の右側に取り付けられたカメラからの画像を、それぞれ、別々のコア１２Ａ_１及び１２Ａ_２を用いて処理してもよい。

【0038】

また、以上の説明では、ＭｏＰＵ１２が、物体の中心点の動きを示す動き情報を出力する形態を例示した。しかしながら、開示の技術はこの態様に限定されない。ＭｏＰＵ１２は、カメラによって撮影された画像から認識した物体の輪郭を囲む四角形の頂点の少なくとも対角となる２つの座標点について動き情報を出力してもよい。図５には、ＭｏＰＵ１２が、画像に含まれる４つの物体のそれぞれについて、当該物体の輪郭を囲むバウンディングボックス２１、２２、２３、２４を設定し、バウンディングボックス２１、２２、２３、２４の頂点の対角となる２つの座標点について動き情報を出力する態様が例示されている。このように、ＭｏＰＵ１２は物体を点としてではなく、一定の大きさを持つオブジェクトとして捉えてもよい。

【0039】

また、図６に示すように、ＭｏＰＵ１２は、可視光画像及び赤外線画像の少なくとも一方に基づいて動き情報を出力してもよい。可視光画像は可視光カメラによって撮影された画像であり、赤外線画像は赤外線カメラによって撮影された画像である。可視光画像及び赤外線画像は、それぞれ、１０００フレーム／秒以上のフレームレートでコア１２Ａに入力される。可視光画像及び赤外線画像は、互いに同期していることが好ましい。ＭｏＰＵ１２による物体検出において赤外線画像を用いることで、例えば夜間等の可視光画像による物体検出が困難である場合でも物体検出が可能となる。ＭｏＰＵ１２は、可視光画像及び赤外線画像うち、赤外線画像のみに基づいて動き情報を出力してもよいし、可視光画像及び赤外線画像の双方に基づいて動き情報を出力してもよい。

【0040】

また、図７に示すように、ＭｏＰＵ１２は、画像及びレーダー信号に基づいて動き情報を出力してもよい。レーダー信号は、物体に照射された電磁波の当該物体からの反射波に基づく信号である。ＭｏＰＵ１２は、画像及びレーダー信号に基づいて、物体までの距離を導出し、当該物体の存在位置を示す点の、三次元直交座標系における３つの軸の各々に沿った動きのベクトル情報を動き情報として出力してもよい。画像は、可視光画像及び赤外線画像の少なくとも１つを含むものであってもよい。画像及びレーダー信号は、１０００フレーム／秒以上のフレームレートでコア１２Ａに入力される。

【0041】

また、以上の説明では、Ｃｅｔｒａｌ Ｂｒａｉｎ１５が、ＩＰＵ１１から出力された画像及びＭｏＰＵ１２から出力された動き情報に基づいて車両の運転制御を実行する場合を例示したが、開示の技術は、この態様に限定されるものではない。Ｃｅｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１から出力された画像及びＭｏＰＵ１２から出力された動き情報に基づいて、当該物体に対する応答制御として、ロボットの動作制御を行ってもよい。ロボットは例えば、人間の代わりに作業を行う人型のスマートロボットであってもよい。例えば、Ｃｅｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１から出力された画像及びＭｏＰＵ１２から出力された動き情報に基づいて、ロボットの腕、手のひら、指、足の動作制御を行って、当該物体を握る、掴む、抱える、背負う、移動させる、運ぶ、投げる、蹴る、避ける等の動作制御を行ってもよい。ＩＰＵ１１及びＭｏＰＵ１２は、例えば、ロボットの右目及び左目の位置に搭載されてもよい。つまり右目には右目用のＩＰＵ１１及びＭｏＰＵ１２を搭載し、左目には左目用のＩＰＵ１１及びＭｏＰＵ１２を搭載してもよい。

【0042】

＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態は、画像を撮像する際のフレームレートが可変である点等が第１実施形態と異なる。

【0043】

（車両に搭載される情報処理装置：Ｓｍａｒｔ Ｃａｒ）
図８は、車両に搭載される、第２実施形態に係る情報処理装置２１０のブロック図である。図８に示されているように、車両に搭載される情報処理装置２１０は、左側の目に相当するＭｏＰＵ１２Ｌと、右側の目に相当するＭｏＰＵ１２Ｒと、ＩＰＵ１１と、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５とを備えている。

【0044】

ＭｏＰＵ１２Ｌは、カメラ３０Ｌと、レーダー３２Ｌと、赤外線カメラ３４Ｌと、コア１２Ｌとを備えている。また、ＭｏＰＵ１２Ｒは、カメラ３０Ｒと、レーダー３２Ｒと、赤外線カメラ３４Ｒと、コア１２Ｒとを備えている。レーダー３２Ｌ，３２Ｒは、上述したレーダー信号を検知する。赤外線カメラ３４Ｌ，３４Ｒは、上述した赤外線画像を取得する。

【0045】

ＩＰＵ１１は、上述したような高解像度カメラ（図示省略）を備えており、高解像度カメラによって撮像された高解像度画像から物体を検知し、物体の種別を表す情報（以下、単に「ラベル情報」と称する。）を出力する。

【0046】

なお、以下では、左側の目に相当するＭｏＰＵ１２Ｌの処理についてのみ説明する。

【0047】

ＭｏＰＵ１２Ｌが備えるカメラ３０Ｌは、ＩＰＵ１１が備える高解像度カメラ（例えば、１０フレーム／秒で撮像）よりも高いフレーム数（１２０，２４０，４８０，９６０，又は１９２０フレーム／秒）で画像を撮像する。カメラ３０Ｌは、フレームレートを変更することが可能なカメラである。

【0048】

ＭｏＰＵ１２Ｌのコア１２Ｌ（例えば、１つ以上のＣＰＵにより構成される）は、３０Ｌが撮像した１フレームの画像毎に特徴点を抽出し、その座標値（Ｘ，Ｙ）を出力する。ＭｏＰＵ１２Ｌは、例えば、画像から抽出した物体の中心点（重心点）を特徴点として出力する。なお、特徴点は、物体を疑似的に囲む矩形の対角頂点２点であってもよい。

【0049】

具体的には、ＭｏＰＵ１２Ｌは、１つの物体から抽出された特徴点の座標値（Ｘ，Ｙ）を出力する。なお、例えば、複数の物体（例えば、物体Ａ、物体Ｂ、及び物体Ｃ等）が１つの画像に写っている場合には、ＭｏＰＵ１２Ｌは、それら複数の物体の各々から抽出された特徴点の座標値（Ｘｎ，Ｙｎ）を出力するようにしてもよい。各時刻に撮像された画像の特徴点の系列は、物体の動き情報に相当する。

【0050】

また、例えば、暗闇の影響によって、ＭｏＰＵ１２Ｌが物体を識別できない場合が想定される。この場合には、ＭｏＰＵ１２Ｌは、赤外線カメラ３４Ｌを用いて物体の熱を検知し、その検知結果である赤外線画像と、カメラ３０Ｌによって撮像された画像とに基づいて、物体の座標（Ｘｎ，Ｙｎ）を出力するようにしてもよい。また、カメラ３０Ｌによる画像の撮像と赤外線カメラ３４Ｌによる赤外線画像の撮像とを同期させるようにしてもよい。この場合には、例えば、カメラ３０Ｌによって撮像される１秒当たりの画像数と、赤外線カメラ３４Ｌによって撮像される１秒当たりの画像数とを同期させる（例えば、１９２０フレーム／秒）。

【0051】

また、ＭｏＰＵ１２Ｌは、レーダー３２Ｌによって取得された３次元点群データに基づいて、物体のＺ軸の座標値を取得してもよい。なお、この場合には、カメラ３０Ｌによる画像の撮像とレーダー３２Ｌによる３次元点群データの取得とを同期させるようにしてもよい。例えば、レーダー３２Ｌによって取得される１秒当たりの３次元点群データの数と、カメラ３０Ｌによって撮像される１秒当たりの画像数とを同期させる（例えば、１９２０フレーム／秒）。

【0052】

また、カメラ３０Ｌによって撮像される１秒当たりの画像数と、赤外線カメラ３４Ｌによって撮像される１秒当たりの画像数と、レーダー３２Ｌによって取得される１秒当たりの３次元点群データの数とを同一にし、データ取得のタイミングを同期させるようにしてもよい。

【0053】

コア１２Ｘは、ＭｏＰＵ１２Ｌから出力された特徴点の座標と、ＩＰＵ１１から出力された対象物のラベル情報（物体が犬なのか、猫なのか、又はクマなのかを表す情報）とを取得する。そして、コア１２Ｘは、ラベル情報と特徴点に対応する座標とを対応付けて出力する。これにより、特徴点が表す物体が何を表しているのかという情報と、特徴点が表す物体の動き情報とを対応付けることが可能になる。

【0054】

以上が左側の目に相当するＭｏＰＵ１２Ｌの処理である。右側の目に相当するＭｏＰＵ１２Ｒは、左側の目に相当するＭｏＰＵ１２Ｌと同様の処理を実行する。

【0055】

なお、ＭｏＰＵ１２Ｌのカメラ３０Ｌによって撮像された画像と、ＭｏＰＵ１２Ｒの３０Ｒによって撮像された画像とに基づいて、ステレオカメラの原理を利用して、特徴点の奥行き方向の座標値Ｚｎを更に算出してもよい。

【0056】

（ロボットに搭載される情報処理装置：Ｓｍａｒｔ Ｒｏｂｏｔ）
図９は、ロボットに搭載される、第２実施形態に係る情報処理装置３１０のブロック図である。図９に示されているように、ロボットに搭載される情報処理装置３１０は、左側の目に相当するＭｏＰＵ１２Ｌと、右側の目に相当するＭｏＰＵ１２Ｒと、赤外線カメラ３４と、ストラクチャードライト３６と、コア１２Ｘと、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５とを備えている。ロボットに搭載される情報処理装置３１０は、車両に搭載される情報処理装置２１０と同様の機能を有している。

【0057】

例えば、暗闇の影響によって、ＭｏＰＵ１２Ｌが物体を識別できない場合には、ＭｏＰＵ１２Ｌは、赤外線カメラ３４を用いて物体の熱を検知し、その検知結果である赤外線画像と、カメラ３０Ｌによって撮像された画像とに基づいて、物体の座標（Ｘｎ，Ｙｎ）を出力する。また、カメラ３０Ｌによる画像の撮像と赤外線カメラ３４による赤外線画像の撮像とを同期させるようにしてもよい。この場合には、例えば、カメラ３０Ｌによって撮像される１秒当たりの画像数と、赤外線カメラ３４によって撮像される１秒当たりの画像数とを同期させる（例えば、１９２０フレーム／秒）。

【0058】

また、コア１２Ｘは、物体の奥行き方向の座標Ｚｎを取得するために、ストラクチャードライト３６を使用してもよい。ストラクチャードライト３６は、例えば、参考文献（http://ex-press.jp/wp-content/uploads/2018/10/018_teledyne_3rd.pdf）に開示されている。この場合には、カメラ３０Ｌ，３０Ｒによる画像の撮像とストラクチャードライト３６による３次元データとの計測とを同期させるようにしてもよい。例えば、カメラ３０Ｌ，３０Ｒによって撮像される１秒当たりの画像数と、ストラクチャードライト３６によって計測される１秒当たりの３次元データとを同期させるようにしてもよい（例えば、１９２０フレーム／秒）。

【0059】

更に、赤外線カメラ３４によって撮像された赤外線画像とストラクチャードライト３６によって計測された３次元データとの両方を併用してもよい。

【0060】

（外部環境に応じたフレームレートの変更）
情報処理装置２１０，３１０は、外部環境に応じてカメラのフレームレートを変更するようにしてもよい。例えば、情報処理装置２１０，３１０は、外部環境に関するスコアを計算し、スコアに応じて、カメラ３０Ｌ，３０Ｒのフレームレートを決定する。そして、情報処理装置２１０，３１０は、決定したフレームレートにより画像の撮像を指示する制御信号をカメラ３０Ｌ，３０Ｒに対して出力する。カメラ３０Ｌ，３０Ｒは、決定されたフレームレートで画像を撮像する。そして、情報処理装置２１０，３１０は、カメラ３０Ｌ，３０Ｒによって撮像された画像から物体の存在位置を示す点を抽出し、物体の存在位置を示す点を出力する。

【0061】

なお、車両に搭載される情報処理装置２１０は、図示しない複数種類のセンサを備えている。車両に搭載される情報処理装置２１０が備える１つ以上のプロセッサは、複数種類のセンサ（図示省略）から取り入れられたセンサ情報（例えば、体重の重心移動、道路の材質の検知、外気温度の検知、外気湿度の検知、坂道の上下横斜め傾き角度の検知、道路の凍り方、水分量の検知、それぞれのタイヤの材質、摩耗状況、空気圧の検知、道路幅、追い越し禁止有無、対向車、前後車両の車種情報、それらの車のクルージング状態、又は周囲の状況(鳥、動物、サッカーボール、事故車、地震、家事、風、台風、大雨、小雨、吹雪、霧、など)等）に基づいて、外部環境に関するスコアとして、自車両が今後どの程度の危険な場所を走行するかの危険度を計算する。

【0062】

そして、情報処理装置２１０が備える１つ以上のプロセッサは、計算した危険度と閾値とに基づいて、１秒当たりに撮像される画像数（フレームレート）を切り替える。

【0063】

例えば、情報処理装置２１０が備える１つ以上のプロセッサは、危険度が第１閾値より低い場合は、１２０フレーム／秒を選択し、そのフレームレートで画像の撮像、レーダー信号の取得、又は赤外線画像の撮像をするように、カメラ３０Ｌ，３０Ｒ、レーダー３２Ｌ，３２Ｒ、及び赤外線カメラ３４Ｌ，３４Ｒへ制御信号を出力する。

【0064】

また、例えば、情報処理装置２１０が備える１つ以上のプロセッサは、危険度が第１閾値以上であり、かつ第４閾値より低い場合は、２４０，４８０，９６０フレーム／秒の何れかを選択し、そのフレームレートで各種のデータを取得するように各機器へ制御信号を出力する。

【0065】

また、例えば、情報処理装置２１０が備える１つ以上のプロセッサは、危険度が第４閾値以上である場合は、１９２０フレーム／秒を選択し、そのフレームレートで各種のデータを取得するように各機器へ制御信号を出力する。

【0066】

また、情報処理装置２１０が備える１つ以上のプロセッサは、危険度を予測する情報としてロングテールインシデントＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ） ＤＡＴＡ（例えば、レベル５の自動運転制御方式が実装された車両のＴｒｉｐデータ）又は地図情報等、車両が走行する前から既知である走行に関するビッグデータを利用し、危険度を予測するようにしてもよい。

【0067】

また、ロボットに搭載される情報処理装置３１０が備える１つ以上のプロセッサは、例えば、カメラ３０Ｌ，３０Ｒに写る物体の速度等に基づいて、外部環境に関するスコアを計算し、そのスコアに応じてフレームレートを変更するようにしてもよい。例えば、外部環境に関するスコアは、物体の速度が速いほど大きくなるように計算される。このため、ロボットに搭載される情報処理装置３１０が備える１つ以上のプロセッサは、外部環境に関するスコアが大きい場合には、１９２０フレーム／秒を選択し、そのフレームレートで各種のデータを取得するように各機器へ制御信号を出力する。また、ロボットに搭載される情報処理装置３１０が備える１つ以上のプロセッサは、外部環境に関するスコアが小さい場合には、１２０フレーム／秒を選択し、そのフレームレートで各種のデータを取得するように各機器へ制御信号を出力する。その他の制御は、上記の車両に搭載される情報処理装置２１０と同様である。

【0068】

（物体が検出された領域に応じた特徴点の出力）
情報処理装置２１０，３１０は、画像に写る物体の存在位置が所定領域である場合に、物体の存在位置を示す点をするようにしてもよい。この場合、情報処理装置２１０，３１０は、物体が検出された領域に応じてその物体の特徴点を出力するか否かを判定する。例えば、車両に搭載される情報処理装置２１０のコア１２Ｌ，１２Ｒは、車両が走行する道路領域において検出された物体とは異なる物体（例えば、歩道上に存在している物体）からは特徴点を抽出しないようにする。図１０に、例えば、歩道上に存在している物体からは特徴点を抽出しない場合の処理を説明するための図を示す。

【0069】

図１０（Ａ）では、物体Ｂ１～Ｂ４が抽出されている。本来であれば、物体Ｂ１～Ｂ４の各々について特徴点を表す座標が抽出される。

【0070】

この場合、例えば、図１０（Ｂ）に示されているように、車両に搭載される情報処理装置２１０が備えるコア１２Ｌ，１２Ｒは、既知の技術を用いて、車両前方の画像から道路境界Ｌを逐次検出する。そして、情報処理装置２１０が備えるコア１２Ｌ，１２Ｒは、道路境界Ｌによって特定される道路上に位置する物体Ｂ１～Ｂ３からのみ特徴点を表す座標を抽出する。

【0071】

また、例えば、情報処理装置２１０が備えるコア１２Ｌ，１２Ｒは、道路上に位置する物体Ｂ１～Ｂ３とは異なる物体Ｂ４についてはその物体領域自体を抽出せずに、物体Ｂ１～Ｂ３からのみ特徴点を表す座標を抽出するようにしてもよい。

【0072】

（物体の動きに応じた特徴点の出力）
情報処理装置２１０，３１０は、画像に写る物体毎にスコアを計算し、スコアが所定閾値以上の物体の存在位置を示す点を抽出するようにしてもよい。この場合、例えば、情報処理装置２１０，３１０は、物体の動きに応じてその物体の特徴点を出力するか否かを判定するようにしてもよい。例えば、情報処理装置２１０のコア１２Ｌ，１２Ｒは、車両の走行に影響の無い物体からは特徴点を抽出しないようにしてもよい。具体的には、情報処理装置２１０のコア１２Ｌ，１２Ｒは、ＡＩを利用することなどにより、画像に写る物体の移動方向又は速さ等を計算する。そして、例えば、情報処理装置２１０のコア１２Ｌ，１２Ｒは、道路から遠ざかっていく歩行者等からは特徴点を抽出しない。一方、情報処理装置２１０のコア１２Ｌ，１２Ｒは、道路に近づく物体（例えば、道路に飛び出しそうな子供）からは特徴点を抽出する。

【0073】

また、情報処理装置２１０が備える１つ以上のプロセッサは、例えば、イベントカメラ（https://dendenblog.xyz/event-based-camera/）によって撮像された画像からも特徴点を抽出することが可能である。図１１に、イベントカメラによって撮像された画像を説明するための図を示す。

【0074】

図１１に示されているように、イベントカメラによって撮像された画像は、現時刻に撮像された画像と前時刻に撮像された画像との差異部分が点として抽出される。このため、イベントカメラを利用した場合には、例えば、図１１（Ｂ）に示されるように、図１１（Ａ）に示される人物領域のうちの移動している各箇所の点が抽出されてしまう。

【0075】

これに対し、情報処理装置２１０が備える１つ以上のプロセッサは、図１１（Ｃ）に示されるように、物体である人物を抽出した後に、人物領域を表す特徴点の座標（例えば、１点のみ）を抽出する。これにより、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６に転送される情報量を抑制させることできる。

【0076】

以上説明したように、第２実施形態の情報処理装置２１０，３１０は、物体が写る画像から物体の存在位置を示す点を抽出し、物体の存在位置を示す点を出力する。これにより、コア１２Ｘ、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５、及びメモリ１６に転送される情報量を抑制させることできる。また、物体の存在位置を示す点とＩＰＵ１１から出力されたラベル情報とを対応付けることにより、どのような物体がどのような動きをしているのかに関する情報が把握される。特に、ＭｏＰＵ１２Ｌ，１２Ｒに搭載されるカメラ３０Ｌ，３０Ｒは、最大１９２０フレーム／秒のフレームレートで画像を撮像することが可能であるため、物体の動き情報を精度良く捉えることができる。

【0077】

また、情報処理装置２１０，３１０は、フレームレートを変更することが可能なカメラ３０Ｌ，３０Ｒを備え、外部環境に関するスコアを計算し、当該スコアに応じてカメラのフレームレートを決定する。そして、情報処理装置２１０，３１０は、決定したフレームレートにより画像の撮像を指示する制御信号をカメラ３０Ｌ，３０Ｒに対して出力し、カメラ３０Ｌ，３０Ｒによって撮像された画像から物体の存在位置を示す点を抽出し、物体の存在位置を示す点を出力する。これにより、外部環境に適したフレームレートで画像を撮像することができる。

【0078】

また、情報処理装置２１０は、外部環境に関するスコアとして、車両の走行に関する危険度を計算し、危険度に応じて、カメラ３０Ｌ，３０Ｒのフレームレートを決定し、決定したフレームレートにより画像の撮像を指示する制御信号をカメラ３０Ｌ，３０Ｒ対して出力し、カメラ３０Ｌ，３０Ｒによって撮像された画像から物体の存在位置を示す点を抽出する。これにより、車両の走行に関する危険度に応じてフレームレートを変更することができる。

【0079】

また、情報処理装置２１０，３１０は、画像から物体を抽出し、物体の存在位置が所定領域である場合に、物体の存在位置を示す点を抽出し、物体の存在位置を示す点を出力する。これにより、情報処理装置２１０，３１０のコア１２Ｌ，１２Ｒは、制御処理にとって重要度が低い領域の点を取得せずに済む。

【0080】

また、情報処理装置２１０，３１０は、画像から物体を抽出し、物体毎にスコアを計算し、スコアが所定閾値以上の物体の存在位置を示す点を抽出し、物体の存在位置を示す点を出力する。これにより、情報処理装置２１０，３１０のコア１２Ｌ，１２Ｒは、制御処理にとって重要度が低い物体の点を取得せずに済む。

【0081】

＜第３実施形態＞
次に、第３実施形態について説明する。第３実施形態は、ＭｏＰＵ１２が画角の異なる複数のカメラを備えている点等が第１実施形態と異なる。

【0082】

（車両に搭載される情報処理装置：Ｓｍａｒｔ Ｃａｒ）
図１２は、車両５０（図１３参照）に搭載される、第３実施形態に係る情報処理装置４１０のブロック図である。図１３は、車両５０に搭載される高解像度カメラ３０Ｌ及び全方位カメラ３０Ｒの撮影方向及び撮影画角範囲を示す図である。なお、説明の便宜上、図１３に示す矢印Ｈに沿った方向を車両５０の上下方向とし、矢印Ｗに沿った方向を車両５０の左右方向とし、矢印Ｄに沿った方向を車両５０の前後方向とする。

【0083】

図１２に示されているように、車両５０（図１３参照）に搭載される情報処理装置４１０は、ＩＰＵ１１と、ＭｏＰＵ１２と、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５とを備えている。

【0084】

ＩＰＵ１１は、上述したような高解像度カメラ３０Ａと、コア１１Ａ（例えば、１つ以上のＣＰＵにより構成される）とを備えており、高解像度カメラ３０Ａによって撮像された高解像度画像から物体を検知し、物体の種別を表す情報を出力する。

【0085】

ＭｏＰＵ１２は、高解像度カメラ３０Ｌと、全方位カメラ３０Ｒと、調整部４０と、コア１２Ａ（例えば、１つ以上のＣＰＵにより構成される）とを備えており、高解像度カメラ３０Ｌ及び全方位カメラ３０Ｒによって撮像された画像から物体を検知し、物体の動きを示す動き情報を出力する。

【0086】

高解像度カメラ３０Ｌは、所定の水平画角のカメラであり、全方位カメラ３０Ｒよりも単位画角当たりの解像度が高いカメラである。本実施形態において、高解像度カメラ３０Ｌの水平画角は、一例として４５°とするが、これに限らず、どのような画角としてもよい。また、高解像度カメラ３０Ｌの水平画角は、例えばズーム機能等により、変更できるようにしてもよい。高解像度カメラ３０Ｌは、開示の技術における「第１のカメラ」の一例である。

【0087】

また、全方位カメラ３０Ｒは、水平画角が３６０°のカメラである。全方位カメラ３０Ｒは、開示の技術における「第２のカメラ」の一例である。なお、「第２のカメラ」としては、「第１のカメラ」の水平画角よりも広い水平画角のカメラであれば、全方位カメラ３０Ｒに限らず、例えば、水平画角が２７０°のカメラとする等、どのようなカメラでもよい。

【0088】

図１３に示すように、高解像度カメラ３０Ｌ及び全方位カメラ３０Ｒは、車両５０のルーフに設置されている。高解像度カメラ３０Ｌは、車両５０の高さ方向Ｈと平行な回転軸を中心に回転自在に設置されており、後述の調整部４０により撮影方向が水平方向において調整可能に構成されている。高解像度カメラ３０Ｌの撮影方向は、通常時では車両５０の前方に向けられている。

【0089】

また、高解像度カメラ３０Ｌ及び全方位カメラ３０Ｒは、車両５０の左右方向において異なる位置に設置されている。高解像度カメラ３０Ｌは相対的に左側に設置されており、全方位カメラ３０Ｒは相対的に右側に設置されている。本実施形態のＭｏＰＵ１２は、上記実施形態で説明した通り、高解像度カメラ３０Ｌにより取得された画像と、全方位カメラ３０Ｒにより取得された画像とに基づいて、ステレオカメラの原理を利用して、特徴点の奥行き方向の座標値Ｚを算出することが可能である。

【0090】

なお、画角が異なる２つのカメラにより取得された画像に基づいて、ステレオカメラの原理を利用して特徴点の奥行き方向の座標値Ｚを算出する場合には、例えば、画角が広い方の全方位カメラ３０Ｒにおいて取得された画像を、画角が狭い方の高解像度カメラ３０Ｌにおいて取得された画像の撮影方向及び撮影範囲と一致するようにトリミングした補正画像とすればよい。

【0091】

調整部４０は、例えばモータ等により構成され、コア１２Ａの制御により、高解像度カメラ３０Ｌを回転させて、水平方向における撮影方向を調整可能に構成されている。調整部４０は、車両５０の前方を高解像度カメラ３０Ｌの撮影方向の基準方向（０°）として、プラス方向（右回転方向）及びマイナス方向（左回転方向）に高解像度カメラ３０Ｌの撮影方向を調整可能に構成されている。

【0092】

コア１２Ａは、全方位カメラ３０Ｒにより取得された画像において高解像度カメラ３０Ｌの死角にある物体の動きを検知した場合、高解像度カメラ３０Ｌの撮影方向を、検知した物体の方向に向けるように調整部４０を制御する。

【0093】

ここで、コア１２Ａにおける高解像度カメラ３０Ｌの撮影方向の制御について詳細に説明する。図１４は全方位カメラ３０Ｒにより取得された画像と高解像度カメラ３０Ｌにより取得された画像との撮影範囲の関係を示す図である。

【0094】

図１４に示すように、全方位カメラ３０Ｒにより取得された画像ＧＲは、水平画角が３６０°の画像である。すなわち、画像ＧＲは、車両５０の前方を高解像度カメラ３０Ｌの撮影方向の基準方向（０°）として、±１８０°の範囲の画像である。

【0095】

高解像度カメラ３０Ｌにより取得された画像ＧＬは、水平画角が４５°の画像である。高解像度カメラ３０Ｌの撮影方向は、通常時では車両５０の前方に設定されている。従って、通常時の画像ＧＬは、車両５０の前方を高解像度カメラ３０Ｌの撮影方向の基準方向（０°）として、±２２．５°の範囲の画像である。

【0096】

一例として、図１３に示すように、車両５０の前方を基準方向（０°）として－１００°の方向に移動物体Ｂが存在する場合について説明する。この場合、図１４に示すように、全方位カメラ３０Ｒにより取得された画像ＧＲにおいて、車両５０の前方を基準方向（０°）として－１００°に対応する位置に、移動物体Ｂが写る。

【0097】

コア１２Ａは、画像ＧＲにおいて移動物体Ｂを検知すると、この移動物体Ｂが高解像度カメラ３０Ｌの撮影範囲に含まれるか判定する。図１３及び図１４に示す移動物体Ｂは、高解像度カメラ３０Ｌの撮影範囲から外れており、高解像度カメラ３０Ｌの死角にある物体である。

【0098】

この場合、コア１２Ａは、図１５及び図１６に示すように、高解像度カメラ３０Ｌの水平方向における撮影方向を、移動物体Ｂの中心位置の方向（－１００°の方向）に向けるように調整部４０を制御する。

【0099】

なお、高解像度カメラ３０Ｌの撮影方向の調整については、撮影方向の調整後に取得される画像ＧＬ内に移動物体Ｂが含まれるように調整すればよく、移動物体Ｂの中心位置と合致するように撮影方向を調整する態様に限らない。例えば、画像ＧＬにおける回転方向側の端部に移動物体Ｂが写るように調整すれば、画像ＧＬの中心に移動物体Ｂが写るように調整する場合と比較して、高解像度カメラ３０Ｌの回転量を少なくすることができる。

【0100】

また、全方位カメラ３０Ｒにより取得された画像ＧＲにおける移動物体Ｂの移動方向を予測して、高解像度カメラ３０Ｌの撮影方向の調整制御に反映させてもよい。

【0101】

例えば、上記の例のように、高解像度カメラ３０Ｌの撮影方向を基準方向（０°）から移動物体Ｂの中心位置の方向（－１００°の方向）に調整する場合において、移動物体Ｂが基準方向側に移動している場合、高解像度カメラ３０Ｌの撮影方向の調整目標を－１００°よりも絶対値が小さい角度に修正してもよい。これにより、高解像度カメラ３０Ｌの回転量を少なくすることができる。

【0102】

また、高解像度カメラ３０Ｌの撮影方向を基準方向（０°）から移動物体Ｂの中心位置の方向（－１００°の方向）に調整する場合において、移動物体Ｂが基準方向と反対側に移動している場合、高解像度カメラ３０Ｌの撮影方向の調整目標を－１００°よりも絶対値が大きい角度に修正してもよい。これにより、高解像度カメラ３０Ｌの撮影方向の調整後に移動物体Ｂが高解像度カメラ３０Ｌの撮像範囲に含まれなくなることを防ぐことができる。

【0103】

上記の場合においては、全方位カメラ３０Ｒにより取得された画像ＧＲにおける移動物体Ｂの移動速度に応じて、調整目標からの修正量を変更してもよい。例えば、移動物体Ｂの移動速度が速い程、調整目標からの修正量を大きくし、移動物体Ｂの移動速度が遅い程、調整目標からの修正量を小さくしてもよい。これにより、高解像度カメラ３０Ｌの撮影方向の調整をより適切に行うことができる。

【0104】

以上説明したように、第３実施形態の情報処理装置４１０において、ＭｏＰＵ１２は、第２のカメラ（本例では、全方位カメラ３０Ｒ）により取得された画像において第１のカメラ（本例では、高解像度カメラ３０Ｌ）の死角にある物体の動きを検知した場合、第１のカメラの撮影方向を検知した物体の方向に向けるように調整部４０を制御するようにしている。

【0105】

これにより、第２のカメラにより取得された画像を用いて広範囲の情報を取得しつつ、動きのある物体を検知した際には、第１のカメラにより取得された画像を組み合わせて移動物体の検知を行うことができるため、移動物体の検出精度を向上させることができる。

【0106】

また、第２のカメラの水平画角を、３６０°としている。これにより、情報処理装置４１０が搭載された移動体の全周囲の情報を取得できる。

【0107】

また、第１のカメラは、第２のカメラよりも単位画角当たりの解像度が高いものとしている。これにより、移動物体の検出精度をさらに向上させることができる。

【0108】

なお、第３実施形態の情報処理装置４１０において、調整部４０の水平方向における撮影方向の調整範囲は、基準方向に対して±１３５°以内、好ましく±１３５°以内は±９０°以内の範囲とし、移動物体が当該調整範囲から外れた位置にある場合には、撮影方向の調整を行わないようにしてもよい。

【0109】

このように、撮影方向の調整範囲を前方付近に限定することにより、第１のカメラは情報処理装置４１０が搭載された移動体の移動制御において重要度が高い前方付近の検出に専念できるため、前方付近の移動物体に対する追従性を向上させることができる。

【0110】

また、ＭｏＰＵ１２は、第１のカメラにより取得された画像、及び、第２のカメラにより取得された画像を用いて、画像中の物体までの距離の情報を取得してもよい。上記の通り、画角が異なる２つのカメラにより取得された画像であっても、ステレオカメラの原理を利用して画像中の物体までの距離の情報を取得することは可能であり、このような態様とすることにより、ＭｏＰＵ１２において取得する情報量を多くすることができる。

【0111】

本実施の形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

【0112】

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0113】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

【0114】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0115】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0116】

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【0117】

（付記１）
第１のプロセッサを備えた情報処理装置であって、
前記第１のプロセッサは、物体の画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点の、所定の座標軸に沿った動きを示す動き情報を１０００フレーム／秒以上のフレームレートで出力する
情報処理装置。

【0118】

（付記２）
前記第１のプロセッサは、前記物体の中心点又は重心点の所定の座標軸に沿った動きのベクトル情報を前記動き情報として出力する
付記１に記載の情報処理装置。

【0119】

（付記３）
前記第１のプロセッサは、前記物体の輪郭を囲む四角形の頂点の少なくとも対角となる２つ点について所定の座標軸に沿った動きのベクトル情報を前記動き情報として出力する
付記１に記載の情報処理装置。

【0120】

（付記４）
前記画像は、赤外線画像を含む
付記１に記載の情報処理装置。

【0121】

（付記５）
前記画像は、互いに同期した可視光画像及び赤外線画像を含む
付記１に記載の情報処理装置。

【0122】

（付記６）
２つの前記第１のプロセッサを用いて、前記物体の存在位置を示す点の、三次元直交座標系における３つの座標軸の各々に沿った動きのベクトル情報を前記動き情報として出力する
付記１に記載の情報処理装置。

【0123】

（付記７）
前記第１のプロセッサは、前記物体に照射された電磁波の前記物体からの反射波に基づいて、前記物体までの距離を導出し、前記物体の存在位置を示す点の、三次元直交座標系における３つの座標軸の各々に沿った動きのベクトル情報を前記動き情報として出力する
付記７に記載の情報処理装置。

【0124】

（付記８）
前記物体の画像を１０００フレーム／秒未満のフレームレートで出力する第２のプロセッサと、
前記動き情報と、前記第２のプロセッサから出力された画像とに基づいて、前記物体に対する応答制御を行う第３のプロセッサと、
を更に含む付記１に記載の情報処理装置。

【0125】

（付記９）
第１のプロセッサを備えた情報処理装置であって、
前記第１のプロセッサは、物体が写る画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力する、
情報処理装置。

【0126】

（付記１０）
前記情報処理装置は、フレームレートを変更することが可能なカメラを備え、
前記第１のプロセッサは、
外部環境に関するスコアを計算し、
前記スコアに応じて、前記カメラのフレームレートを決定し、
決定した前記フレームレートにより画像の撮像を指示する制御信号を前記カメラに対して出力し、
前記カメラによって撮像された画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力する、
付記９に記載の情報処理装置。

【0127】

（付記１１）
前記情報処理装置は車両に搭載され、
前記第１のプロセッサは、
前記外部環境に関するスコアとして、前記車両の走行に関する危険度を計算し、
前記危険度に応じて、前記カメラのフレームレートを決定し、
決定した前記フレームレートにより画像の撮像を指示する制御信号を前記カメラに対して出力し、
前記カメラによって撮像された画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力する、
付記１０に記載の情報処理装置。

【0128】

（付記１２）
前記第１のプロセッサは、
前記画像から物体を抽出し、
前記物体の存在位置が所定領域である場合に、前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力する、
付記９に記載の情報処理装置。

【0129】

（付記１３）
前記第１のプロセッサは、
前記画像から物体を抽出し、
前記物体毎にスコアを計算し、
前記スコアが所定閾値以上の前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力する、
付記９に記載の情報処理装置。

【符号の説明】

【0130】

１０ 情報処理装置
１１ ＩＰＵ
１２ ＭｏＰＵ
１３ ＧＮＰＵ
１４ ＣＰＵ
１５ Ｃｅｎｔｒａｌ Ｂｒｅｉｎ
３０Ｌ カメラ
３０Ｒ 全方位カメラ
４０ 調整部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】