ホーム > 特許ランキング > ソフトバンクグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024066386
(43)【公開日】2024-05-15
(54)【発明の名称】情報処理装置、情報処理方法、及び情報処理プログラム
(51)【国際特許分類】
H04N 23/667 20230101AFI20240508BHJP
G06T 7/00 20170101ALI20240508BHJP
G06T 7/215 20170101ALI20240508BHJP
H04N 23/60 20230101ALI20240508BHJP
G08G 1/16 20060101ALI20240508BHJP
【ＦＩ】
H04N23/667
G06T7/00 650B
G06T7/215
H04N23/60 500
G08G1/16 C
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023004742
(22)【出願日】2023-01-16
(31)【優先権主張番号】P 2022175679
(32)【優先日】2022-11-01
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2022187648
(32)【優先日】2022-11-24
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】591280485
【氏名又は名称】ソフトバンクグループ株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】孫 正義
【テーマコード（参考）】
5C122
5H181
5L096
【Ｆターム（参考）】
5C122FH11
5C122FH12
5C122GA01
5C122GA23
5C122HA88
5H181AA01
5H181BB20
5H181CC02
5H181CC04
5H181CC14
5H181CC24
5H181LL01
5H181LL02
5H181LL04
5H181LL09
5L096BA04
5L096DA02
5L096FA52
5L096FA59
5L096FA69
5L096GA34
5L096HA03
(57)【要約】 （修正有）
【課題】移動する物体を検出する情報処理装置、情報処理方法及び情報処理プログラムを提供する。
【解決手段】情報処理装置１０において、第１のプロセッサであるＭｏＰＵ１２は、物体の画像から物体の存在位置を示す点を抽出し、物体の存在位置を示す点の、所定の座標軸に沿った動きを示す動き情報を１０００フレーム／秒以上のフレームレートで出力する。
【選択図】図２
【解決手段】情報処理装置１０において、第１のプロセッサであるＭｏＰＵ１２は、物体の画像から物体の存在位置を示す点を抽出し、物体の存在位置を示す点の、所定の座標軸に沿った動きを示す動き情報を１０００フレーム／秒以上のフレームレートで出力する。
【選択図】図２
【特許請求の範囲】
【請求項1】
フレームレートを変更することが可能なカメラと、
プロセッサと、
を備えた情報処理装置であって、
前記プロセッサは、
前記カメラによって各時刻に撮像された画像に写る物体を検出し、
検出された前記物体の数の時系列、前記物体の加速度の時系列、及び前記物体の大きさの時系列の少なくとも１つに応じて、前記カメラの前記フレームレートを変更するように制御する、
情報処理装置。
プロセッサと、
を備えた情報処理装置であって、
前記プロセッサは、
前記カメラによって各時刻に撮像された画像に写る物体を検出し、
検出された前記物体の数の時系列、前記物体の加速度の時系列、及び前記物体の大きさの時系列の少なくとも１つに応じて、前記カメラの前記フレームレートを変更するように制御する、
情報処理装置。
【請求項2】
前記プロセッサは、
前記物体の数の時系列に応じて前記フレームレートを変更する際に、
現時刻の画像に写る前記物体の数が、前時刻の画像に写る前記物体の数よりも多い場合に、前記フレームレートを高くするように制御し、
現時刻の画像に写る前記物体の数が、前時刻の画像に写る前記物体の数よりも少ない場合に、前記フレームレートを低くするように制御する、
請求項１に記載の情報処理装置。
前記物体の数の時系列に応じて前記フレームレートを変更する際に、
現時刻の画像に写る前記物体の数が、前時刻の画像に写る前記物体の数よりも多い場合に、前記フレームレートを高くするように制御し、
現時刻の画像に写る前記物体の数が、前時刻の画像に写る前記物体の数よりも少ない場合に、前記フレームレートを低くするように制御する、
請求項１に記載の情報処理装置。
【請求項3】
前記プロセッサは、
前記物体の加速度の時系列に応じて前記フレームレートを変更する際に、
現時刻の画像に写る前記物体の加速度が、前時刻の画像に写る前記物体の加速度よりも大きい場合に、前記フレームレートを高くするように制御し、
現時刻の画像に写る前記物体の加速度が、前時刻の画像に写る前記物体の加速度よりも小さい場合に、前記フレームレートを低くするように制御する、
請求項１に記載の情報処理装置。
前記物体の加速度の時系列に応じて前記フレームレートを変更する際に、
現時刻の画像に写る前記物体の加速度が、前時刻の画像に写る前記物体の加速度よりも大きい場合に、前記フレームレートを高くするように制御し、
現時刻の画像に写る前記物体の加速度が、前時刻の画像に写る前記物体の加速度よりも小さい場合に、前記フレームレートを低くするように制御する、
請求項１に記載の情報処理装置。
【請求項4】
前記プロセッサは、
前記物体の大きさの時系列に応じて前記フレームレートを変更する際に、
現時刻の画像に写る前記物体の大きさが、前時刻の画像に写る前記物体の大きさよりも大きい場合に、前記フレームレートを高くするように制御し、
現時刻の画像に写る前記物体の大きさが、前時刻の画像に写る前記物体の大きさよりも小さい場合に、前記フレームレートを低くするように制御する、
請求項１に記載の情報処理装置。
前記物体の大きさの時系列に応じて前記フレームレートを変更する際に、
現時刻の画像に写る前記物体の大きさが、前時刻の画像に写る前記物体の大きさよりも大きい場合に、前記フレームレートを高くするように制御し、
現時刻の画像に写る前記物体の大きさが、前時刻の画像に写る前記物体の大きさよりも小さい場合に、前記フレームレートを低くするように制御する、
請求項１に記載の情報処理装置。
【請求項5】
前記プロセッサは、
前記物体の数の時系列、前記物体の加速度の時系列、及び前記物体の大きさの時系列の少なくとも１つに応じて、外部環境に関するスコアを計算し、
前記外部環境に関するスコアに応じて、前記フレームレートを変更するように制御する、
請求項１に記載の情報処理装置。
前記物体の数の時系列、前記物体の加速度の時系列、及び前記物体の大きさの時系列の少なくとも１つに応じて、外部環境に関するスコアを計算し、
前記外部環境に関するスコアに応じて、前記フレームレートを変更するように制御する、
請求項１に記載の情報処理装置。
【請求項6】
前記プロセッサは、
前記カメラによって撮像された画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力する、
請求項１に記載の情報処理装置。
前記カメラによって撮像された画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力する、
請求項１に記載の情報処理装置。
【請求項7】
前記情報処理装置は、２つの前記プロセッサを用いて、前記物体の存在位置を示す点の、三次元直交座標系における３つの座標軸の各々に沿った動きのベクトル情報を前記動き情報として出力する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項8】
フレームレートを変更することが可能なカメラと、
プロセッサと、
を備えた情報処理装置が実行する情報処理方法であって、
前記プロセッサが、
前記カメラによって各時刻に撮像された画像に写る物体を検出し、
検出された前記物体の数の時系列、前記物体の加速度の時系列、及び前記物体の大きさの時系列の少なくとも１つに応じて、前記カメラの前記フレームレートを変更するように制御する、
情報処理方法。
プロセッサと、
を備えた情報処理装置が実行する情報処理方法であって、
前記プロセッサが、
前記カメラによって各時刻に撮像された画像に写る物体を検出し、
検出された前記物体の数の時系列、前記物体の加速度の時系列、及び前記物体の大きさの時系列の少なくとも１つに応じて、前記カメラの前記フレームレートを変更するように制御する、
情報処理方法。
【請求項9】
フレームレートを変更することが可能なカメラと、
プロセッサと、
を備えた情報処理装置の前記プロセッサに実行させるための情報処理プログラムであって、
前記プロセッサが、
前記カメラによって各時刻に撮像された画像に写る物体を検出し、
検出された前記物体の数の時系列、前記物体の加速度の時系列、及び前記物体の大きさの時系列の少なくとも１つに応じて、前記カメラの前記フレームレートを変更するように制御する、
情報処理プログラム。
プロセッサと、
を備えた情報処理装置の前記プロセッサに実行させるための情報処理プログラムであって、
前記プロセッサが、
前記カメラによって各時刻に撮像された画像に写る物体を検出し、
検出された前記物体の数の時系列、前記物体の加速度の時系列、及び前記物体の大きさの時系列の少なくとも１つに応じて、前記カメラの前記フレームレートを変更するように制御する、
情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
開示の技術は、移動する物体を検出する情報処理装置、情報処理方法、及び情報処理プログラムに関する。
【背景技術】
【0002】
特許文献１には、自動運転機能を有する車両について記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２２－０３５１９８号公報
【発明の概要】
【課題を解決するための手段】
【0004】
開示示の技術に係る情報処理装置は、第１のプロセッサを備える。前記第１のプロセッサは、物体の画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点の、所定の座標軸に沿った動きを示す動き情報を１０００フレーム／秒以上のフレームレートで出力する。
【0005】
前記第１のプロセッサは、前記物体の中心点又は重心点の所定の座標軸に沿った動きのベクトル情報を前記動き情報として出力してもよい。前記第１のプロセッサは、前記物体の輪郭を囲む四角形の頂点の少なくとも対角となる２つ点について前記ベクトル情報を出力してもよい。
【0006】
前記画像は、赤外線画像を含んでいてもよい。前記画像は、互いに同期した可視光画像及び赤外線画像を含んでいてもよい。
【0007】
２つの前記第１のプロセッサを用いて、前記物体の存在位置を示す点の、三次元直交座標系における３つの座標軸の各々に沿った動きのベクトル情報を前記動き情報として出力してもよい。
【0008】
前記第１のプロセッサは、前記物体に照射された電磁波の前記物体からの反射波に基づいて、前記物体までの距離を導出し、前記物体の存在位置を示す点の、三次元直交座標系における３つの座標軸の各々に沿った動きのベクトル情報を前記動き情報として出力してもよい。
【0009】
情報処理装置は、前記物体の画像を１０００フレーム／秒未満のフレームレートで出力する第２のプロセッサと、前記動き情報と、前記第２のプロセッサから出力された画像とに基づいて、前記物体に対する応答制御を行う第３のプロセッサと、を更に含んでいてもよい。
【0010】
開示の技術に係る情報処理装置は、第１のプロセッサを備える。前記第１のプロセッサは、物体が写る画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力する。
【0011】
前記情報処理装置は、フレームレートを変更することが可能なカメラを備え、前記第１プロセッサは、外部環境に関するスコアを計算し、前記スコアに応じて、前記カメラのフレームレートを決定し、決定した前記フレームレートにより画像の撮像を指示する制御信号を前記カメラに対して出力し、前記カメラによって撮像された画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力する。
【0012】
前記情報処理装置は車両に搭載され、前記第１プロセッサは、前記外部環境に関するスコアとして、前記車両の走行に関する危険度を計算し、前記危険度に応じて、前記カメラのフレームレートを決定し、決定した前記フレームレートにより画像の撮像を指示する制御信号を前記カメラ対して出力し、前記カメラによって撮像された画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力する。
【0013】
前記第１プロセッサは、前記画像から物体を抽出し、前記物体の存在位置が所定領域である場合に、前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力する。
【0014】
前記第１プロセッサは、前記画像から物体を抽出し、前記物体毎にスコアを計算し、前記スコアが所定閾値以上の前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力する。
【0015】
また、開示の技術に係る情報処理装置は、フレームレートを変更することが可能なカメラと、プロセッサと、を備えた情報処理装置であって、前記プロセッサは、前記カメラによって各時刻に撮像された画像に写る物体を検出し、検出された前記物体の数の時系列、前記物体の加速度の時系列、及び前記物体の大きさの時系列の少なくとも１つに応じて、前記カメラの前記フレームレートを変更するように制御する、情報処理装置である。
【0016】
前記プロセッサは、前記物体の数の時系列に応じて前記フレームレートを変更する際に、現時刻の画像に写る前記物体の数が、前時刻の画像に写る前記物体の数よりも多い場合に、前記フレームレートを高くするように制御し、現時刻の画像に写る前記物体の数が、前時刻の画像に写る前記物体の数よりも少ない場合に、前記フレームレートを低くするように制御するようにしてもよい。
【0017】
前記プロセッサは、前記物体の加速度の時系列に応じて前記フレームレートを変更する際に、現時刻の画像に写る前記物体の加速度が、前時刻の画像に写る前記物体の加速度よりも大きい場合に、前記フレームレートを高くするように制御し、現時刻の画像に写る前記物体の加速度が、前時刻の画像に写る前記物体の加速度よりも小さい場合に、前記フレームレートを低くするように制御するようにしてもよい。
【0018】
前記プロセッサは、前記物体の大きさの時系列に応じて前記フレームレートを変更する際に、現時刻の画像に写る前記物体の大きさが、前時刻の画像に写る前記物体の大きさよりも大きい場合に、前記フレームレートを高くするように制御し、現時刻の画像に写る前記物体の大きさが、前時刻の画像に写る前記物体の大きさよりも小さい場合に、前記フレームレートを低くするように制御するようにしてもよい。
【0019】
前記プロセッサは、前記物体の数の時系列、前記物体の加速度の時系列、及び前記物体の大きさの時系列の少なくとも１つに応じて、外部環境に関するスコアを計算し、前記外部環境に関するスコアに応じて、前記フレームレートを変更するように制御するようにしてもよい。
【0020】
前記プロセッサは、前記カメラによって撮像された画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力するようにしてもよい。
【0021】
前記情報処理装置は、２つの前記プロセッサを用いて、前記物体の存在位置を示す点の、三次元直交座標系における３つの座標軸の各々に沿った動きのベクトル情報を前記動き情報として出力するようにしてもよい。
【0022】
開示の技術に係る情報処理方法は、フレームレートを変更することが可能なカメラと、プロセッサと、を備えた情報処理装置が実行する情報処理方法であって、前記プロセッサが、前記カメラによって各時刻に撮像された画像に写る物体を検出し、検出された前記物体の数の時系列、前記物体の加速度の時系列、及び前記物体の大きさの時系列の少なくとも１つに応じて、前記カメラの前記フレームレートを変更するように制御する、情報処理方法である。
【0023】
開示の技術に係る情報処理プログラムは、フレームレートを変更することが可能なカメラと、プロセッサと、を備えた情報処理装置の前記プロセッサに実行させるための情報処理プログラムであって、前記プロセッサが、前記カメラによって各時刻に撮像された画像に写る物体を検出し、検出された前記物体の数の時系列、前記物体の加速度の時系列、及び前記物体の大きさの時系列の少なくとも１つに応じて、前記カメラの前記フレームレートを変更するように制御する、情報処理プログラムである。
【0024】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【0025】
【図1】Ｃｅｎｔｒａｌ Ｂｒａｉｎを搭載した車両の一例を示す概略図である。
【図2】開示の技術の実施形態に係る情報処理装置の構成の一例を示すブロック図である。
【図3】開示の技術の実施形態に係るＭｏＰＵからＣｅｎｔｒａｌ Ｂｒａｉｎへのデータ転送の態様の一例を示す図である。
【図4】開示の技術の実施形態に係るＭｏＰＵからＣｅｎｔｒａｌ Ｂｒａｉｎへのデータ転送の態様の一例を示す図である。
【図5】開示の技術の実施形態に係るＭｏＰＵによる物体の座標検出の態様の一例を示す図である。
【図6】開示の技術の実施形態に係るＭｏＰＵの処理の一例を示す図である。
【図7】開示の技術の実施形態に係るＭｏＰＵの処理の一例を示す図である。
【図8】開示の技術の実施形態に係る情報処理装置の構成の一例を示すブロック図である。
【図9】開示の技術の実施形態に係る情報処理装置の構成の一例を示すブロック図である。
【図10】開示の技術の実施形態を説明するための図である。
【図11】開示の技術の実施形態を説明するための図である。
【発明を実施するための形態】
【0026】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0027】
＜第１実施形態＞
開示の技術の実施形態に係る情報処理装置は、車両の制御に関連する多くの情報に基づいて、運転制御に必要なインデックス値を高精度に求めるものであってよい。したがって、本開示の情報処理装置は、少なくとも一部が車両に搭載されて、車両の制御を実現するものであってよい。
開示の技術の実施形態に係る情報処理装置は、車両の制御に関連する多くの情報に基づいて、運転制御に必要なインデックス値を高精度に求めるものであってよい。したがって、本開示の情報処理装置は、少なくとも一部が車両に搭載されて、車両の制御を実現するものであってよい。
【0028】
また、開示の技術の実施形態に係る情報処理装置は、Ａｕｔｏｎｏｍｏｕｓ ＤｒｉｖｉｎｇをＬｅｖｅｌ６によるＡＩ／多変量解析／ゴールシーク／戦略立案／最適確率解／最適スピード解／最適コースマネジメント／エッジにおける多種センサ入力により得られたデータを基にリアルタイムで実現でき、デルタ最適解に基づいて調整される走行システムを提供し得る。
【0029】
図１は、Ｃｅｎｔｒａｌ Ｂｒａｉｎを搭載した車両の一例を示す概略図である。Ｃｅｎｔｒａｌ Ｂｒａｉｎは、図１に示すように、複数のＧａｔｅ Ｗａｙが通信可能に接続されていてよい。本実施の形態に係るＣｅｎｔｒａｌ Ｂｒａｉｎは、Ｇａｔｅ Ｗａｙを介して取得した複数の情報に基づいて、ＬｅｖｅＬ６の自動運転を実現し得るものである。
【0030】
「Ｌｅｖｅｌ６」とは、自動運転を表すレベルであり、完全自動運転を表すＬｅｖｅｌ５よりも更に上のレベルに相当する。Ｌｅｖｅｌ５は完全自動運転を表すものの、それは人が運転するのと同等のレベルであり、それでも未だ事故等が発生する確率はある。Ｌｅｖｅｌ６とは、Ｌｅｖｅｌ５よりも上のレベルを表すものであり、Ｌｅｖｅｌ５よりも事故が発生する確率が低いレベルに相当する。
【0031】
Ｌｅｖｅｌ６における計算力は、Ｌｅｖｅｌ５の計算力の１０００倍程度である。したがって、Ｌｅｖｅｌ５では実現できなかった高性能な運転制御が実現可能である。
【0032】
図２は、開示の技術の実施形態に係る情報処理装置１０の構成の一例を示すブロック図である。情報処理装置１０は、ＩＰＵ（Image Processing Unit）１１、ＭｏＰＵ（Motion Processing Unit）１２、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６を備えている。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＧＮＰＵ（Graphics Neural network Processing Unit）１３及びＣＰＵ（Central Processing Unit）１４を含んで構成されている。
【0033】
ＩＰＵ１１は、車両に設置された超高解像度カメラ（図示せず）に内蔵され得る。ＩＰＵ１１は、車両の周囲に存在する物体の画像について、ベイヤ―変換、デモザイク、ノイズ除去、シャープ化等の所定の画像処理を行い、処理された物体の画像を、例えば１０フレーム／秒のフレームレート且つ１２００万画素の解像度で出力する。ＩＰＵ１１から出力された画像は、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６に供給される。ＩＰＵ１１は、開示の技術における「第２のプロセッサ」の一例である。
【0034】
ＭｏＰＵ１２は、車両に設置された超高解像度カメラとは別のカメラに内蔵され得る。ＭｏＰＵ１２は、１０００フレーム／秒以上のフレームレートで撮影された物体の画像から、撮影された物体の動きを示す動き情報を、例えば１０００フレーム／秒以上のフレームレートで出力する。すなわち、ＭｏＰＵ１２の出力のフレームレートは、ＩＰＵ１１の出力のフレームレートの１００倍である。ＭｏＰＵ１２は、物体の存在位置を示す点の、所定の座標軸に沿った動きのベクトル情報を動き情報として出力する。すなわち、ＭｏＰＵ１２から出力される動き情報には、撮影された物体が何であるか（例えば、人なのか、障害物なのか）を識別するために必要な情報は含まれておらず、当該物体の中心点（又は重心点）の座標軸（ｘ軸、ｙ軸、ｚ軸）上の動き（移動方向と移動速度）を示す情報のみが含まれている。ＭｏＰＵ１２から出力された情報は、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６に供給される。動き情報が画像情報を含まないことで、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６に転送される情報量を画期的に抑制することできる。ＭｏＰＵ１２は、開示の技術における「第１のプロセッサ」の一例である。
【0035】
Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１から出力された画像及びＭｏＰＵ１２から出力された動き情報に基づいて、当該物体に対する応答制御として、車両の運転制御を実行する。例えば、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１から出力された画像に基づいて、車両の周囲に存在する物体（人、動物、道路、信号、標識、横断歩道、障害物、建物など）を認識する。また、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＭｏＰＵ１２から出力された動き情報に基づいて、車両の周囲に存在する、何であるか認識された物体の動きを認識する。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は認識した情報に基づいて、例えば、車輪を駆動するモータの制御（速度制御）、ブレーキ制御、ハンドル制御を行う。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５において、ＧＮＰＵ１３は画像認識に関する処理を担ってもよく、ＣＰＵ１４は、車両制御に関する処理を担ってもよい。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、開示の技術における「第３のプロセッサ」の一例である。
【0036】
一般的に自動運転における画像認識を行うために超高解像度カメラが使用されている。高解像度カメラによって撮影された画像から、当該画像に含まれる物体が何であるかを認識することは可能である。しかしながら、Ｌｅｖｅｌ６時代の自動運転ではこれだけでは不十分である。Ｌｅｖｅｌ６時代では、物体の動きをより高精度に認識することも必要である。ＭｏＰＵ１２によって物体の動きをより高精度に認識することで、例えば、自動運転によって走行する車両が障害物を回避する回避動作を、より高精度で行うことが可能となる。しかしながら、高解像度カメラでは、１秒間に１０フレーム程度しか画像を取得することができず、物体の動きを解析する精度はＭｏＰＵ１２を搭載したカメラに比べると低い。一方、ＭｏＰＵ１２を搭載したカメラでは、例えば１０００フレーム／秒の高フレームレートでの出力が可能である。
【0037】
そこで、本開示の技術では、ＩＰＵ１１及びＭｏＰＵ１２の２つの独立したプロセッサを用いる。高解像度カメラ（ＩＰＵ１１）には、捉えた物体が何なのかを認識するために必要な画像情報を取得する役割を与え、ＭｏＰＵ１２には、物体の動きを検出する役割を与えている。ＭｏＰＵ１２は、物体を点としてとらえ、その点の座標がｘ軸、ｙ軸、ｚ軸上のどの方向に、どの程度の速度で動くかを解析する。物体の全体の輪郭と、その物体が何なのかの検知は、高解像度カメラからの画像によって行うことが可能であることから、ＭｏＰＵ１２によって、例えば、物体の中心点がどのように移動するかさえ分かれば、物体全体がどのような挙動をするかがわかる。
【0038】
物体の中心点の移動と速度のみを解析する手法によれば、物体の画像全体がどのように動くかを判断することに比べて、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５に転送する情報量を大幅に抑制し、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５における計算量を大幅に低減することが可能である。例えば、１０００ピクセル×１０００ピクセルの画像を、１０００フレーム／秒のフレームレートでＣｅｎｔｒａｌ Ｂｒａｉｎ１５に送信する場合、色情報を含めると、４０億ビット／秒のデータをＣｅｎｔｒａｌ Ｂｒａｉｎ１５に送信することになる。ＭｏＰＵ１２が、物体の中心点の動きを示す動き情報のみを送信することで、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５に転送されるデータの量を２万ビット／秒に圧縮することができる。すなわち、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５に転送されるデータの量が２０万分の１に圧縮される。
【0039】
このように、ＩＰＵ１１から出力される低フレームレート且つ高解像度の画像と、ＭｏＰＵ１２から出力される高フレームレート且つ軽量の動き情報を組み合わせて用いることで、物体の動きを含む物体認識を、少ないデータ量で実現することが可能となる。
【0040】
なお、１つのＭｏＰＵ１２を用いた場合には、物体の存在位置を示す点の、三次元直交座標系における２つの座標軸（ｘ軸及びｙ軸）の各々に沿った動きのベクトル情報を取得することが可能である。ステレオカメラの原理を利用して、２つのＭｏＰＵ１２を用いて、物体の存在位置を示す点の、三次元直交座標系における３つの座標軸（ｘ軸、ｙ軸、ｚ軸）の各々に沿った動きのベクトル情報を出力してもよい。ｚ軸は、奥行方法（車両の走行）に沿った軸である。
【0041】
また、図３に示すように、車両の左側に取り付けられたカメラからの画像及び車両の右側に取り付けられたカメラからの画像を、ＭｏＰＵ１２のコア１２Ａに入力してもよい。これらの画像は、それぞれ、例えば１０００ピクセル×１０００ピクセルの色情報を含む画像であり、１０００フレーム／秒のフレームレートでコア１２Ａに入力されてもよい。ＭｏＰＵ１２のコア１２Ａは、これらの画像に基づいて、三次元直交座標系における３つの座標軸（ｘ軸、ｙ軸、ｚ軸）の各々に沿った動きのベクトル情報を１０００フレーム／秒のフレームレートでＣｅｎｔｒａｌ Ｂｒａｉｎ１５に転送してもよい。また、図４に示すように、車両の左側に取り付けられたカメラからの画像及び車両の右側に取り付けられたカメラからの画像を、それぞれ、別々のコア１２Ａ１及び１２Ａ２を用いて処理してもよい。
【0042】
また、以上の説明では、ＭｏＰＵ１２が、物体の中心点の動きを示す動き情報を出力する形態を例示した。しかしながら、開示の技術はこの態様に限定されない。ＭｏＰＵ１２は、カメラによって撮影された画像から認識した物体の輪郭を囲む四角形の頂点の少なくとも対角となる２つの座標点について動き情報を出力してもよい。図５には、ＭｏＰＵ１２が、画像に含まれる４つの物体のそれぞれについて、当該物体の輪郭を囲むバウンディングボックス２１、２２、２３、２４を設定し、バウンディングボックス２１、２２、２３、２４の頂点の対角となる２つの座標点について動き情報を出力する態様が例示されている。このように、ＭｏＰＵ１２は物体を点としてではなく、一定の大きさを持つオブジェクトとして捉えてもよい。一定の大きさを持つオブジェとして捉える場合は、カメラによって撮影された画像から認識した物体の輪郭を囲む四角形の頂点の少なくとも対角となる２つの座標点だけである必要はなく、輪郭を含む複数の座標点を抽出しても良い。
【0043】
また、図６に示すように、ＭｏＰＵ１２は、可視光画像及び赤外線画像の少なくとも一方に基づいて動き情報を出力してもよい。可視光画像は可視光カメラによって撮影された画像であり、赤外線画像は赤外線カメラによって撮影された画像である。可視光画像及び赤外線画像は、それぞれ、１０００フレーム／秒以上のフレームレートでコア１２Ａに入力される。可視光画像及び赤外線画像は、互いに同期していることが好ましい。ＭｏＰＵ１２による物体検出において赤外線画像を用いることで、例えば夜間等の可視光画像による物体検出が困難である場合でも物体検出が可能となる。ＭｏＰＵ１２は、可視光画像及び赤外線画像うち、赤外線画像のみに基づいて動き情報を出力してもよいし、可視光画像及び赤外線画像の双方に基づいて動き情報を出力してもよい。
【0044】
また、図７に示すように、ＭｏＰＵ１２は、画像及びレーダー信号に基づいて動き情報を出力してもよい。レーダー信号は、物体に照射された電磁波の当該物体からの反射波に基づく信号である。ＭｏＰＵ１２は、画像及びレーダー信号に基づいて、物体までの距離を導出し、当該物体の存在位置を示す点の、三次元直交座標系における３つの軸の各々に沿った動きのベクトル情報を動き情報として出力してもよい。画像は、可視光画像及び赤外線画像の少なくとも１つを含むものであってもよい。画像及びレーダー信号は、１０００フレーム／秒以上のフレームレートでコア１２Ａに入力される。
【0045】
また、以上の説明では、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５が、ＩＰＵ１１から出力された画像及びＭｏＰＵ１２から出力された動き情報に基づいて車両の運転制御を実行する場合を例示したが、開示の技術は、この態様に限定されるものではない。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１から出力された画像及びＭｏＰＵ１２から出力された動き情報に基づいて、当該物体に対する応答制御として、ロボットの動作制御を行ってもよい。ロボットは例えば、人間の代わりに作業を行う人型のスマートロボットであってもよい。例えば、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１から出力された画像及びＭｏＰＵ１２から出力された動き情報に基づいて、ロボットの腕、手のひら、指、足の動作制御を行って、当該物体を握る、掴む、抱える、背負う、移動させる、運ぶ、投げる、蹴る、避ける等の動作制御を行ってもよい。ＩＰＵ１１及びＭｏＰＵ１２は、例えば、ロボットの右目及び左目の位置に搭載されてもよい。つまり右目には右目用のＩＰＵ１１及びＭｏＰＵ１２を搭載し、左目には左目用のＩＰＵ１１及びＭｏＰＵ１２を搭載してもよい。
【0046】
＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態は、画像を撮像する際のフレームレートが可変である点等が第１実施形態と異なる。
次に、第２実施形態について説明する。第２実施形態は、画像を撮像する際のフレームレートが可変である点等が第１実施形態と異なる。
【0047】
（車両に搭載される情報処理装置：Ｓｍａｒｔ Ｃａｒ）
図８は、車両に搭載される、第２実施形態に係る情報処理装置２１０のブロック図である。図８に示されているように、車両に搭載される情報処理装置２１０は、左側の目に相当するＭｏＰＵ１２ＭＬと、右側の目に相当するＭｏＰＵ１２ＭＲと、ＩＰＵ１１と、コア１２Ｘと、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５とを備えている。
図８は、車両に搭載される、第２実施形態に係る情報処理装置２１０のブロック図である。図８に示されているように、車両に搭載される情報処理装置２１０は、左側の目に相当するＭｏＰＵ１２ＭＬと、右側の目に相当するＭｏＰＵ１２ＭＲと、ＩＰＵ１１と、コア１２Ｘと、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５とを備えている。
【0048】
ＭｏＰＵ１２ＭＬは、カメラ３０Ｌと、レーダー３２Ｌと、赤外線カメラ３４Ｌとを備えている。また、ＭｏＰＵ１２ＭＲは、カメラ３０Ｒと、レーダー３２Ｒと、赤外線カメラ３４Ｒとを備えている。レーダー３２Ｌ，３２Ｒは、上述したレーダー信号を検知する。赤外線カメラ３４Ｌ，３４Ｒは、上述した赤外線画像を取得する。
【0049】
ＩＰＵ１１は、上述したような高解像度カメラ（図示省略）を備えており、高解像度カメラによって撮像された高解像度画像から物体を検知し、物体の種別を表す情報（以下、単に「ラベル情報」と称する。）を出力する。
【0050】
なお、以下では、左側の目に相当するＭｏＰＵ１２ＭＬの処理についてのみ説明する。
【0051】
ＭｏＰＵ１２ＭＬが備えるカメラ３０Ｌは、ＩＰＵ１１が備える高解像度カメラ（例えば、１０フレーム／秒で撮像）よりも高いフレーム数（１２０，２４０，４８０，９６０，又は１９２０フレーム／秒）で画像を撮像する。カメラ３０Ｌは、フレームレートを変更することが可能なカメラである。
【0052】
ＭｏＰＵ１２ＭＬのコア１２Ｌ（例えば、１つ以上のＣＰＵにより構成される）は、３０Ｌが撮像した１フレームの画像毎に特徴点を抽出し、その座標値（Ｘ，Ｙ）を出力する。ＭｏＰＵ１２ＭＬは、例えば、画像から抽出した物体の中心点（重心点）を特徴点として出力する。なお、特徴点は、物体を疑似的に囲む矩形の対角頂点２点であってもよい。また一定の大きさを持つオブジェとして捉える場合は、カメラによって撮影された画像から認識した物体の輪郭を囲む四角形の頂点の少なくとも対角となる２つの座標点だけである必要はなく、輪郭を含む複数の座標点を抽出しても良い。
【0053】
具体的には、ＭｏＰＵ１２ＭＬは、１つの物体から抽出された特徴点の座標値（Ｘ，Ｙ）を出力する。なお、例えば、複数の物体（例えば、物体Ａ、物体Ｂ、及び物体Ｃ等）が１つの画像に写っている場合には、ＭｏＰＵ１２ＭＬは、それら複数の物体の各々から抽出された特徴点の座標値（Ｘｎ，Ｙｎ）を出力するようにしてもよい。各時刻に撮像された画像の特徴点の系列は、物体の動き情報に相当する。
【0054】
また、例えば、暗闇の影響によって、ＭｏＰＵ１２ＭＬが物体を識別できない場合が想定される。この場合には、ＭｏＰＵ１２ＭＬは、赤外線カメラ３４Ｌを用いて物体の熱を検知し、その検知結果である赤外線画像と、カメラ３０Ｌによって撮像された画像とに基づいて、物体の座標（Ｘｎ，Ｙｎ）を出力するようにしてもよい。また、カメラ３０Ｌによる画像の撮像と赤外線カメラ３４Ｌによる赤外線画像の撮像とを同期させるようにしてもよい。この場合には、例えば、カメラ３０Ｌによって撮像される１秒当たりの画像数と、赤外線カメラ３４Ｌによって撮像される１秒当たりの画像数とを同期させる（例えば、１９２０フレーム／秒）。
【0055】
また、ＭｏＰＵ１２ＭＬは、レーダー３２Ｌによって取得された３次元点群データに基づいて、物体のＺ軸の座標値を取得してもよい。なお、この場合には、カメラ３０Ｌによる画像の撮像とレーダー３２Ｌによる３次元点群データの取得とを同期させるようにしてもよい。例えば、レーダー３２Ｌによって取得される１秒当たりの３次元点群データの数と、カメラ３０Ｌによって撮像される１秒当たりの画像数とを同期させる（例えば、１９２０フレーム／秒）。
【0056】
また、カメラ３０Ｌによって撮像される１秒当たりの画像数と、赤外線カメラ３４Ｌによって撮像される１秒当たりの画像数と、レーダー３２Ｌによって取得される１秒当たりの３次元点群データの数とを同一にし、データ取得のタイミングを同期させるようにしてもよい。
【0057】
コア１２Ｘは、ＭｏＰＵ１２ＭＬから出力された特徴点の座標と、ＩＰＵ１１から出力された対象物のラベル情報（物体が犬なのか、猫なのか、又はクマなのかを表す情報）とを取得する。そして、コア１２Ｘは、ラベル情報と特徴点に対応する座標とを対応付けて出力する。これにより、特徴点が表す物体が何を表しているのかという情報と、特徴点が表す物体の動き情報とを対応付けることが可能になる。
【0058】
以上が左側の目に相当するＭｏＰＵ１２ＭＬの処理である。右側の目に相当するＭｏＰＵ１２ＭＲは、左側の目に相当するＭｏＰＵ１２ＭＬと同様の処理を実行する。
【0059】
なお、ＭｏＰＵ１２ＭＬのカメラ３０Ｌによって撮像された画像と、ＭｏＰＵ１２ＭＲの３０Ｒによって撮像された画像とに基づいて、ステレオカメラの原理を利用して、特徴点の奥行き方向の座標値Ｚｎを更に算出してもよい。
【0060】
（ロボットに搭載される情報処理装置：Ｓｍａｒｔ Ｒｏｂｏｔ）
図９は、ロボットに搭載される、第２実施形態に係る情報処理装置３１０のブロック図である。図９に示されているように、ロボットに搭載される情報処理装置３１０は、左側の目に相当するＭｏＰＵ１２ＭＬと、右側の目に相当するＭｏＰＵ１２ＭＲと、赤外線カメラ３４と、ストラクチャードライト３６と、コア１２Ｘと、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５とを備えている。ロボットに搭載される情報処理装置３１０は、車両に搭載される情報処理装置２１０と同様の機能を有している。
図９は、ロボットに搭載される、第２実施形態に係る情報処理装置３１０のブロック図である。図９に示されているように、ロボットに搭載される情報処理装置３１０は、左側の目に相当するＭｏＰＵ１２ＭＬと、右側の目に相当するＭｏＰＵ１２ＭＲと、赤外線カメラ３４と、ストラクチャードライト３６と、コア１２Ｘと、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５とを備えている。ロボットに搭載される情報処理装置３１０は、車両に搭載される情報処理装置２１０と同様の機能を有している。
【0061】
例えば、暗闇の影響によって、ＭｏＰＵ１２ＭＬが物体を識別できない場合には、ＭｏＰＵ１２ＭＬは、赤外線カメラ３４を用いて物体の熱を検知し、その検知結果である赤外線画像と、カメラ３０Ｌによって撮像された画像とに基づいて、物体の座標（Ｘｎ，Ｙｎ）を出力する。また、カメラ３０Ｌによる画像の撮像と赤外線カメラ３４による赤外線画像の撮像とを同期させるようにしてもよい。この場合には、例えば、カメラ３０Ｌによって撮像される１秒当たりの画像数と、赤外線カメラ３４によって撮像される１秒当たりの画像数とを同期させる（例えば、１９２０フレーム／秒）。
【0062】
また、コア１２Ｘは、物体の奥行き方向の座標Ｚｎを取得するために、ストラクチャードライト３６を使用してもよい。ストラクチャードライト３６は、例えば、参考文献（http://ex-press.jp/wp-content/uploads/2018/10/018_teledyne_3rd.pdf）に開示されている。この場合には、カメラ３０Ｌ，３０Ｒによる画像の撮像とストラクチャードライト３６による３次元データとの計測とを同期させるようにしてもよい。例えば、カメラ３０Ｌ，３０Ｒによって撮像される１秒当たりの画像数と、ストラクチャードライト３６によって計測される１秒当たりの３次元データとを同期させるようにしてもよい（例えば、１９２０フレーム／秒）。
【0063】
更に、赤外線カメラ３４によって撮像された赤外線画像とストラクチャードライト３６によって計測された３次元データとの両方を併用してもよい。
【0064】
（外部環境に応じたフレームレートの変更）
情報処理装置２１０，３１０は、外部環境に応じてカメラのフレームレートを変更するようにしてもよい。例えば、情報処理装置２１０，３１０は、外部環境に関するスコアを計算し、スコアに応じて、カメラ３０Ｌ，３０Ｒのフレームレートを決定する。そして、情報処理装置２１０，３１０は、決定したフレームレートにより画像の撮像を指示する制御信号をカメラ３０Ｌ，３０Ｒに対して出力する。カメラ３０Ｌ，３０Ｒは、決定されたフレームレートで画像を撮像する。そして、情報処理装置２１０，３１０は、カメラ３０Ｌ，３０Ｒによって撮像された画像から物体の存在位置を示す点を抽出し、物体の存在位置を示す点を出力する。
情報処理装置２１０，３１０は、外部環境に応じてカメラのフレームレートを変更するようにしてもよい。例えば、情報処理装置２１０，３１０は、外部環境に関するスコアを計算し、スコアに応じて、カメラ３０Ｌ，３０Ｒのフレームレートを決定する。そして、情報処理装置２１０，３１０は、決定したフレームレートにより画像の撮像を指示する制御信号をカメラ３０Ｌ，３０Ｒに対して出力する。カメラ３０Ｌ，３０Ｒは、決定されたフレームレートで画像を撮像する。そして、情報処理装置２１０，３１０は、カメラ３０Ｌ，３０Ｒによって撮像された画像から物体の存在位置を示す点を抽出し、物体の存在位置を示す点を出力する。
【0065】
なお、車両に搭載される情報処理装置２１０は、図示しない複数種類のセンサを備えている。車両に搭載される情報処理装置２１０が備える１つ以上のプロセッサは、複数種類のセンサ（図示省略）から取り入れられたセンサ情報（例えば、体重の重心移動、道路の材質の検知、外気温度の検知、外気湿度の検知、坂道の上下横斜め傾き角度の検知、道路の凍り方、水分量の検知、それぞれのタイヤの材質、摩耗状況、空気圧の検知、道路幅、追い越し禁止有無、対向車、前後車両の車種情報、それらの車のクルージング状態、又は周囲の状況(鳥、動物、サッカーボール、事故車、地震、家事、風、台風、大雨、小雨、吹雪、霧、など)等）に基づいて、外部環境に関するスコアとして、自車両が今後どの程度の危険な場所を走行するかの危険度を計算する。
【0066】
そして、情報処理装置２１０が備える１つ以上のプロセッサは、計算した危険度と閾値とに基づいて、１秒当たりに撮像される画像数（フレームレート）を切り替える。危険度は、例えば、０～１．０の間の値である。この場合、例えば、閾値として、第１閾値、第２閾値、第３閾値、及び第４閾値が予め設定される。例えば、第１閾値＝０．２、第２閾値＝０．４、第３閾値＝０．６、及び第４閾値＝０．８と設定され得る。
【0067】
例えば、情報処理装置２１０が備える１つ以上のプロセッサは、危険度が第１閾値より低い場合は、１２０フレーム／秒を選択し、そのフレームレートで画像の撮像、レーダー信号の取得、又は赤外線画像の撮像をするように、カメラ３０Ｌ，３０Ｒ、レーダー３２Ｌ，３２Ｒ、及び赤外線カメラ３４Ｌ，３４Ｒへ制御信号を出力する。
【0068】
また、例えば、情報処理装置２１０が備える１つ以上のプロセッサは、危険度が第１閾値以上であり、かつ第４閾値より低い場合は、２４０，４８０，９６０フレーム／秒の何れかを選択し、そのフレームレートで各種のデータを取得するように各機器へ制御信号を出力する。例えば、情報処理装置２１０が備える１つ以上のプロセッサは、危険度が第１閾値以上であり、かつ第２閾値より低い場合は、２４０フレーム／秒のフレームレートを選択し、そのフレームレートで各種のデータを取得するように各機器へ制御信号を出力する。また、情報処理装置２１０が備える１つ以上のプロセッサは、危険度が第２閾値以上であり、かつ第３閾値より低い場合は、４８０フレーム／秒のフレームレートを選択し、そのフレームレートで各種のデータを取得するように各機器へ制御信号を出力する。また、情報処理装置２１０が備える１つ以上のプロセッサは、危険度が第３閾値以上であり、かつ第４閾値より低い場合は、９６０フレーム／秒のフレームレートを選択し、そのフレームレートで各種のデータを取得するように各機器へ制御信号を出力する。また、例えば、情報処理装置２１０が備える１つ以上のプロセッサは、危険度が第４閾値以上である場合は、１９２０フレーム／秒を選択し、そのフレームレートで各種のデータを取得するように各機器へ制御信号を出力する。
【0069】
また、情報処理装置２１０が備える１つ以上のプロセッサは、危険度を予測する情報としてロングテールインシデントＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ） ＤＡＴＡ（例えば、レベル５の自動運転制御方式が実装された車両のＴｒｉｐデータ）又は地図情報等、車両が走行する前から既知である走行に関するビッグデータを利用し、危険度を予測するようにしてもよい。
【0070】
また、ロボットに搭載される情報処理装置３１０が備える１つ以上のプロセッサは、例えば、カメラ３０Ｌ，３０Ｒに写る物体の速度等に基づいて、外部環境に関するスコアを計算し、そのスコアに応じてフレームレートを変更するようにしてもよい。例えば、外部環境に関するスコアは、物体の速度が速いほど大きくなるように計算される。このため、ロボットに搭載される情報処理装置３１０が備える１つ以上のプロセッサは、外部環境に関するスコアが大きい場合には、１９２０フレーム／秒を選択し、そのフレームレートで各種のデータを取得するように各機器へ制御信号を出力する。また、ロボットに搭載される情報処理装置３１０が備える１つ以上のプロセッサは、外部環境に関するスコアが小さい場合には、１２０フレーム／秒を選択し、そのフレームレートで各種のデータを取得するように各機器へ制御信号を出力する。その他の制御は、上記の車両に搭載される情報処理装置２１０と同様である。
【0071】
（物体が検出された領域に応じた特徴点の出力）
情報処理装置２１０，３１０は、画像に写る物体の存在位置が所定領域である場合に、物体の存在位置を示す点をするようにしてもよい。この場合、情報処理装置２１０，３１０は、物体が検出された領域に応じてその物体の特徴点を出力するか否かを判定する。例えば、車両に搭載される情報処理装置２１０のコア１２Ｌ，１２Ｒは、車両が走行する道路領域において検出された物体とは異なる物体（例えば、歩道上に存在している物体）からは特徴点を抽出しないようにする。図１０に、例えば、歩道上に存在している物体からは特徴点を抽出しない場合の処理を説明するための図を示す。
情報処理装置２１０，３１０は、画像に写る物体の存在位置が所定領域である場合に、物体の存在位置を示す点をするようにしてもよい。この場合、情報処理装置２１０，３１０は、物体が検出された領域に応じてその物体の特徴点を出力するか否かを判定する。例えば、車両に搭載される情報処理装置２１０のコア１２Ｌ，１２Ｒは、車両が走行する道路領域において検出された物体とは異なる物体（例えば、歩道上に存在している物体）からは特徴点を抽出しないようにする。図１０に、例えば、歩道上に存在している物体からは特徴点を抽出しない場合の処理を説明するための図を示す。
【0072】
図１０（Ａ）では、物体Ｂ１～Ｂ４が抽出されている。本来であれば、物体Ｂ１～Ｂ４の各々について特徴点を表す座標が抽出される。
【0073】
この場合、例えば、図１０（Ｂ）に示されているように、車両に搭載される情報処理装置２１０が備えるコア１２Ｌ，１２Ｒは、既知の技術を用いて、車両前方の画像から道路境界Ｌを逐次検出する。そして、情報処理装置２１０が備えるコア１２Ｌ，１２Ｒは、道路境界Ｌによって特定される道路上に位置する物体Ｂ１～Ｂ３からのみ特徴点を表す座標を抽出する。
【0074】
また、例えば、情報処理装置２１０が備えるコア１２Ｌ，１２Ｒは、道路上に位置する物体Ｂ１～Ｂ３とは異なる物体Ｂ４についてはその物体領域自体を抽出せずに、物体Ｂ１～Ｂ３からのみ特徴点を表す座標を抽出するようにしてもよい。
【0075】
（物体の動きに応じた特徴点の出力）
情報処理装置２１０，３１０は、画像に写る物体毎にスコアを計算し、スコアが所定閾値以上の物体の存在位置を示す点を抽出するようにしてもよい。この場合、例えば、情報処理装置２１０，３１０は、物体の動きに応じてその物体の特徴点を出力するか否かを判定するようにしてもよい。例えば、情報処理装置２１０のコア１２Ｌ，１２Ｒは、車両の走行に影響の無い物体からは特徴点を抽出しないようにしてもよい。具体的には、情報処理装置２１０のコア１２Ｌ，１２Ｒは、ＡＩを利用することなどにより、画像に写る物体の移動方向又は速さ等を計算する。そして、例えば、情報処理装置２１０のコア１２Ｌ，１２Ｒは、道路から遠ざかっていく歩行者等からは特徴点を抽出しない。一方、情報処理装置２１０のコア１２Ｌ，１２Ｒは、道路に近づく物体（例えば、道路に飛び出しそうな子供）からは特徴点を抽出する。
情報処理装置２１０，３１０は、画像に写る物体毎にスコアを計算し、スコアが所定閾値以上の物体の存在位置を示す点を抽出するようにしてもよい。この場合、例えば、情報処理装置２１０，３１０は、物体の動きに応じてその物体の特徴点を出力するか否かを判定するようにしてもよい。例えば、情報処理装置２１０のコア１２Ｌ，１２Ｒは、車両の走行に影響の無い物体からは特徴点を抽出しないようにしてもよい。具体的には、情報処理装置２１０のコア１２Ｌ，１２Ｒは、ＡＩを利用することなどにより、画像に写る物体の移動方向又は速さ等を計算する。そして、例えば、情報処理装置２１０のコア１２Ｌ，１２Ｒは、道路から遠ざかっていく歩行者等からは特徴点を抽出しない。一方、情報処理装置２１０のコア１２Ｌ，１２Ｒは、道路に近づく物体（例えば、道路に飛び出しそうな子供）からは特徴点を抽出する。
【0076】
また、情報処理装置２１０が備える１つ以上のプロセッサは、例えば、イベントカメラ（https://dendenblog.xyz/event-based-camera/）によって撮像された画像からも特徴点を抽出することが可能である。図１１に、イベントカメラによって撮像された画像を説明するための図を示す。
【0077】
図１１に示されているように、イベントカメラによって撮像された画像は、現時刻に撮像された画像と前時刻に撮像された画像との差異部分が点として抽出される。このため、イベントカメラを利用した場合には、例えば、図１１（Ｂ）に示されるように、図１１（Ａ）に示される人物領域のうちの移動している各箇所の点が抽出されてしまう。
【0078】
これに対し、情報処理装置２１０が備える１つ以上のプロセッサは、図１１（Ｃ）に示されるように、物体である人物を抽出した後に、人物領域を表す特徴点の座標（例えば、１点のみ）を抽出する。これにより、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６に転送される情報量を抑制させることできる。イベントカメラによって撮像された画像は、物体である人物を任意のフレームレートで抽出できるため、ＭｏＰＵ１２ＭＬ，１２ＭＲに搭載されるカメラ３０Ｌ，３０Ｒは、最大１９２０フレーム／秒のフレームレートで画像を撮像するが、イベントカメラの場合は１９２０フレーム/秒に限らず、それ以上のフレームレートで抽出することもでき、より物体の動き情報を精度良く捉えることができる。
【0079】
以上説明したように、第２実施形態の情報処理装置２１０，３１０は、物体が写る画像から物体の存在位置を示す点を抽出し、物体の存在位置を示す点を出力する。これにより、コア１２Ｘ、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５、及びメモリ１６に転送される情報量を抑制させることできる。また、物体の存在位置を示す点とＩＰＵ１１から出力されたラベル情報とを対応付けることにより、どのような物体がどのような動きをしているのかに関する情報が把握される。特に、ＭｏＰＵ１２ＭＬ，１２ＭＲに搭載されるカメラ３０Ｌ，３０Ｒは、最大１９２０フレーム／秒のフレームレートで画像を撮像することが可能であるため、物体の動き情報を精度良く捉えることができる。
【0080】
また、情報処理装置２１０，３１０は、フレームレートを変更することが可能なカメラ３０Ｌ，３０Ｒを備え、外部環境に関するスコアを計算し、当該スコアに応じてカメラのフレームレートを決定する。そして、情報処理装置２１０，３１０は、決定したフレームレートにより画像の撮像を指示する制御信号をカメラ３０Ｌ，３０Ｒに対して出力し、カメラ３０Ｌ，３０Ｒによって撮像された画像から物体の存在位置を示す点を抽出し、物体の存在位置を示す点を出力する。これにより、外部環境に適したフレームレートで画像を撮像することができる。
【0081】
また、情報処理装置２１０は、外部環境に関するスコアとして、車両の走行に関する危険度を計算し、危険度に応じて、カメラ３０Ｌ，３０Ｒのフレームレートを決定し、決定したフレームレートにより画像の撮像を指示する制御信号をカメラ３０Ｌ，３０Ｒ対して出力し、カメラ３０Ｌ，３０Ｒによって撮像された画像から物体の存在位置を示す点を抽出する。これにより、車両の走行に関する危険度に応じてフレームレートを変更することができる。
【0082】
また、情報処理装置２１０，３１０は、画像から物体を抽出し、物体の存在位置が所定領域である場合に、物体の存在位置を示す点を抽出し、物体の存在位置を示す点を出力する。これにより、情報処理装置２１０，３１０のコア１２Ｌ，１２Ｒは、制御処理にとって重要度が低い領域の点を取得せずに済む。
【0083】
また、情報処理装置２１０，３１０は、画像から物体を抽出し、物体毎にスコアを計算し、スコアが所定閾値以上の物体の存在位置を示す点を抽出し、物体の存在位置を示す点を出力する。これにより、情報処理装置２１０，３１０のコア１２Ｌ，１２Ｒは、制御処理にとって重要度が低い物体の点を取得せずに済む。
【0084】
＜第３実施形態＞
次に、第３実施形態について説明する。なお、第３実施形態の情報処理装置の構成は、第１実施形態又は第２実施形態と同様の構成となるため、同一符号を付して説明を省略する。第３実施形態の情報処理装置は、画像に写る物体の数の時系列、画像に写る物体の加速度の時系列、及び画像に写る物体の大きさの時系列の少なくとも１つに応じて、カメラ（例えば、カメラ３０Ｌ、レーダー３２Ｌ、赤外線カメラ３４Ｌ、カメラ３０Ｒ、レーダー３２Ｒ、及び赤外線カメラ３４Ｒの少なくとも１つ）のフレームレートを変更するように制御する点等が、第１実施形態及び第２実施形態と異なる。
次に、第３実施形態について説明する。なお、第３実施形態の情報処理装置の構成は、第１実施形態又は第２実施形態と同様の構成となるため、同一符号を付して説明を省略する。第３実施形態の情報処理装置は、画像に写る物体の数の時系列、画像に写る物体の加速度の時系列、及び画像に写る物体の大きさの時系列の少なくとも１つに応じて、カメラ（例えば、カメラ３０Ｌ、レーダー３２Ｌ、赤外線カメラ３４Ｌ、カメラ３０Ｒ、レーダー３２Ｒ、及び赤外線カメラ３４Ｒの少なくとも１つ）のフレームレートを変更するように制御する点等が、第１実施形態及び第２実施形態と異なる。
【0085】
第１実施形態又は第２実施形態と同様に、車両又はロボットに搭載されているカメラによって画像が撮像され、その画像に写る物体の動き等に応じて車両又はロボットの駆動が制御される場合を考える。この場合、現時刻に撮像された画像に写る物体の数が、前時刻に撮像された画像に写る物体の数よりも多い場合には、画像に写る物体の数が増加しているため、車両又はロボットに搭載されるカメラのフレームレートを高くしてより多くの画像を取得した方が好ましい。また、現時刻の画像に写る物体の加速度が、前時刻の画像に写る物体の加速度よりも大きい場合も、同様に、カメラのフレームレートを高くしてより多くの画像を取得した方が好ましい。この場合には、物体が加速している状態であり、より短い時間間隔で画像を取得した方が好ましいためである。また、現時刻の画像に写る物体の大きさが、前時刻の画像に写る物体の大きさよりも大きい場合は、その物体が車両又はロボットに近づいていることを表しているため、同様に、カメラのフレームレートを高くしてより多くの画像を取得した方が好ましい。
【0086】
そこで、第３実施形態の情報処理装置の少なくとも１つのプロセッサ（例えば、コア１２Ｌ，コア１２Ｒ，及びコア１２Ｘの少なくとも１つ）は、カメラによって撮像された各時刻の画像に写る物体を検出する。そして、情報処理装置の少なくとも１つのプロセッサは、検出された物体の数の時系列、物体の加速度の時系列、及び物体の大きさの時系列の少なくとも１つに応じて、カメラのフレームレートを変更するように制御する。
【0087】
例えば、情報処理装置の少なくとも１つのプロセッサは、現時刻の画像に写る物体の数が前時刻に写る物体の数より多い場合には、カメラのフレームレートを高くするように制御する。また、情報処理装置の少なくとも１つのプロセッサは、現時刻の画像に写る物体の数が前時刻に写る物体の数よりも少ない場合には、カメラのフレームレートを低くするように制御する。
【0088】
具体的には、情報処理装置の少なくとも１つのプロセッサは、第２実施形態と同様に、外部環境に関するスコアの一例として危険度を計算する。
【0089】
この場合、情報処理装置の少なくとも１つのプロセッサは、前時刻から現時刻の間において画像に写る物体の数が増加した場合には、危険度の値が大きくなるように危険度を計算する。また、情報処理装置の少なくとも１つのプロセッサは、前時刻から現時刻の間において画像に写る物体の数が減少した場合には、危険度の値が小さくなるように危険度を計算する。なお、第２実施形態と同様に、閾値として、第１閾値、第２閾値、第３閾値、及び第４閾値が予め設定され、例えば、第１閾値＝０．２、第２閾値＝０．４、第３閾値＝０．６、及び第４閾値＝０．８と設定され得る。
【0090】
例えば、情報処理装置の少なくとも１つのプロセッサは、画像に写る物体の数は１つであり、前時刻から現時刻の間において物体の数が変化していない場合、外部環境に関するスコアの一例である危険度を０．１と計算する。この場合に計算された危険度は、第１閾値よりも低い。このため、情報処理装置の少なくとも１つのプロセッサは、１２０フレーム／秒を選択し、そのフレームレートで画像の撮像、レーダー信号の取得、又は赤外線画像の撮像をするように、カメラ３０Ｌ，３０Ｒ、レーダー３２Ｌ，３２Ｒ、及び赤外線カメラ３４Ｌ，３４Ｒへ制御信号を出力する。
【0091】
また、例えば、情報処理装置の少なくとも１つのプロセッサは、前時刻から現時刻の間において画像に写る物体の数が１個から１０個に増加した場合、外部環境に関するスコアの一例である危険度を０．９と計算する。この場合に計算された危険度は、第４閾値よりも高い。このため、情報処理装置の少なくとも１つのプロセッサは、１９２０フレーム／秒を選択し、そのフレームレートで画像の撮像、レーダー信号の取得、又は赤外線画像の撮像をするように、カメラ３０Ｌ，３０Ｒ、レーダー３２Ｌ，３２Ｒ、及び赤外線カメラ３４Ｌ，３４Ｒへ制御信号を出力する。
【0092】
また、例えば、情報処理装置の少なくとも１つのプロセッサは、危険度が第１閾値以上であり、かつ第２閾値より低い場合は、２４０フレーム／秒のフレームレートを選択し、そのフレームレートで各種のデータを取得するように各機器へ制御信号を出力する。また、情報処理装置の少なくとも１つのプロセッサは、危険度が第２閾値以上であり、かつ第３閾値より低い場合は、４８０フレーム／秒のフレームレートを選択し、そのフレームレートで各種のデータを取得するように各機器へ制御信号を出力する。また、情報処理装置の少なくとも１つのプロセッサは、危険度が第３閾値以上であり、かつ第４閾値より低い場合は、９６０フレーム／秒のフレームレートを選択し、そのフレームレートで各種のデータを取得するように各機器へ制御信号を出力する。
【0093】
そして、第３実施形態の情報処理装置は、２つのプロセッサであるコア１２Ｌ，１２Ｒを用いて、物体の存在位置を示す点の、三次元直交座標系における３つの座標軸の各々に沿った動きのベクトル情報を動き情報として出力する。
【0094】
このように、情報処理装置の少なくとも１つのプロセッサは、現時刻と前時刻との間の時間帯において、画像に写る物体の数が増加した場合には、カメラのフレームレートを高くするように制御する。また、情報処理装置の少なくとも１つのプロセッサは、現時刻と前時刻との間の時間帯において、画像に写る物体の数が減少した場合には、カメラのフレームレートを低くするように制御する。これにより、画像に写る物体の数が増加した場合には、それら物体の各々の動きを精度良く捉えることが可能となり、物体の動きに応じて車両又はロボットを適切に制御することができる。また、物体の数が減少した場合には、フレームレートを低くすることにより、多くの画像は撮像されないようにするため、例えば、カメラの駆動に要する電気量を節減することができる。
【0095】
例えば、情報処理装置の少なくとも１つのプロセッサは、前時刻の画像に写る物体の数と現時刻の画像に写る物体の数との差分を表す変化量が、物体の数の変化量に関する閾値未満である場合には、カメラのフレームレートは変更しない。一方、情報処理装置の少なくとも１つのプロセッサは、前時刻の画像に写る物体の数と現時刻の画像に写る物体の数との差分を表す変化量が、物体の数の変化量に関する閾値以上である場合には、カメラのフレームレートを変更するように制御する。例えば、物体の数の変化量が物体の数の減少を表している場合には、情報処理装置の少なくとも１つのプロセッサは、カメラのフレームレートを低くするように制御する。一方、物体の数の変化量が物体の数の増加を表している場合には、情報処理装置の少なくとも１つのプロセッサは、カメラのフレームレートを高くするように制御する。
【0096】
また、情報処理装置の少なくとも１つのプロセッサは、上記と同様に、画像に写る物体の加速度の時系列に応じて、カメラのフレームレートを変更するように制御してもよい。この場合には、情報処理装置の少なくとも１つのプロセッサは、カメラによって撮像された各時刻の画像に基づいて、既知の技術を用いて、各時刻の画像に写る物体の加速度を計算する。そして、情報処理装置の少なくとも１つのプロセッサは、現時刻の画像に写る物体の加速度が前時刻の画像に写る加速度よりも大きい場合、カメラのフレームレートを高くするように制御する。一方、情報処理装置の少なくとも１つのプロセッサは、現時刻の画像に写る物体の加速度が前時刻の画像に写る物体の加速度よりも小さい場合、フレームレートを低くするように制御する。なお、複数の物体が画像に写っている場合には、情報処理装置の少なくとも１つのプロセッサは、複数の物体の加速度うち最大又は最小の加速度に応じて、フレームレートを変更するように制御してもよい。又は、複数の物体が画像に写っている場合には、情報処理装置の少なくとも１つのプロセッサは、複数の物体の加速度の平均値に応じて、フレームレートを変更するように制御してもよい。
【0097】
例えば、情報処理装置の少なくとも１つのプロセッサは、前時刻の画像に写る物体の加速度と現時刻の画像に写る物体の加速度との差分を表す変化量が、物体の加速度の変化量に関する閾値未満である場合には、カメラのフレームレートは変更しない。一方、情報処理装置の少なくとも１つのプロセッサは、前時刻の画像に写る物体の加速度と現時刻の画像に写る物体の加速度との差分を表す変化量が、物体の加速度の変化量に関する閾値以上である場合には、カメラのフレームレートを変更するように制御する。例えば、物体の加速度の変化量が物体の加速度の減少を表している場合には、情報処理装置の少なくとも１つのプロセッサは、カメラのフレームレートを低くするように制御する。一方、物体の加速度の変化量が物体の加速度の増加を表している場合には、情報処理装置の少なくとも１つのプロセッサは、カメラのフレームレートを高くするように制御する。
【0098】
また、情報処理装置の少なくとも１つのプロセッサは、上記と同様に、画像に写る物体の大きさの時系列に応じて、カメラのフレームレートを変更するように制御してもよい。この場合には、情報処理装置の少なくとも１つのプロセッサは、現時刻の画像に写る物体の大きさが前時刻の画像に写る物体の大きさよりも大きい場合、カメラのフレームレートを高くするように制御する。一方、情報処理装置の少なくとも１つのプロセッサは、現時刻の画像に写る物体の大きさが前時刻の画像に写る物体の大きさよりも小さい場合、フレームレートを低くするように制御する。なお、複数の物体が画像に写っている場合には、情報処理装置の少なくとも１つのプロセッサは、複数の物体の各々の大きさのうち最大又は最小の大きさに応じて、フレームレートを変更するように制御してもよい。又は、複数の物体が画像に写っている場合には、情報処理装置の少なくとも１つのプロセッサは、複数の物体の各々の大きさの平均値に応じて、フレームレートを変更するように制御してもよい。
【0099】
例えば、情報処理装置の少なくとも１つのプロセッサは、前時刻の画像に写る物体の大きさと現時刻の画像に写る物体の大きさとの差分を表す変化量が、物体の大きさの変化量に関する閾値未満である場合には、カメラのフレームレートは変更しない。一方、情報処理装置の少なくとも１つのプロセッサは、前時刻の画像に写る物体の大きさと現時刻の画像に写る物体の大きさとの差分を表す変化量が、物体の大きさの変化量に関する閾値以上である場合には、カメラのフレームレートを変更するように制御する。例えば、物体の大きさの変化量が物体の大きさの減少を表している場合には、情報処理装置の少なくとも１つのプロセッサは、カメラのフレームレートを低くするように制御する。一方、物体の加速度の変化量が物体の大きさの増加を表している場合には、情報処理装置の少なくとも１つのプロセッサは、カメラのフレームレートを高くするように制御する。
【0100】
以上説明したように、第３実施形態の情報処理装置は、画像に写る物体の数の時系列、画像に写る物体の加速度の時系列、及び画像に写る物体の大きさの時系列の少なくとも１つに応じて、カメラ（例えば、カメラ３０Ｌ、レーダー３２Ｌ、赤外線カメラ３４Ｌ、カメラ３０Ｒ、レーダー３２Ｒ、及び赤外線カメラ３４Ｒの少なくとも１つ）のフレームレートを変更するように制御する。そして、第３実施形態の情報処理装置は、物体が写る画像から物体の存在位置を示す点を抽出し、物体の存在位置を示す点を出力する。これにより、画像に写る物体の数の時系列、画像に写る物体の加速度の時系列、及び画像に写る物体の大きさの時系列に応じて、適切な数の各時刻の画像を取得することが可能となり、車両又はロボットを適切に制御することができる。より具体的には、第３実施形態の情報処理装置は、画像に写る物体の数が増加した場合、カメラのフレームレートを高くするように制御することにより、より短い時間間隔において画像を取得することが可能となり、車両又はロボットを適切に制御することができる。また、第３実施形態の情報処理装置は、画像に写る物体の加速度が増加した場合、カメラのフレームレートを高くするように制御することにより、より短い時間間隔において画像を取得することが可能となり、車両又はロボットを適切に制御することができる。また、第３実施形態の情報処理装置は、画像に写る物体の大きさが大きくなった場合、カメラのフレームレートを高くするように制御することにより、より短い時間間隔において画像を取得することが可能となり、車両又はロボットを適切に制御することができる。
【0101】
本実施の形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
【0102】
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。
【0103】
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
【0104】
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
【0105】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0106】
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【0107】
（付記１）
第１のプロセッサを備えた情報処理装置であって、
前記第１のプロセッサは、物体の画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点の、所定の座標軸に沿った動きを示す動き情報を１０００フレーム／秒以上のフレームレートで出力する
情報処理装置。
第１のプロセッサを備えた情報処理装置であって、
前記第１のプロセッサは、物体の画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点の、所定の座標軸に沿った動きを示す動き情報を１０００フレーム／秒以上のフレームレートで出力する
情報処理装置。
【0108】
（付記２）
前記第１のプロセッサは、前記物体の中心点又は重心点の所定の座標軸に沿った動きのベクトル情報を前記動き情報として出力する
付記１に記載の情報処理装置。
前記第１のプロセッサは、前記物体の中心点又は重心点の所定の座標軸に沿った動きのベクトル情報を前記動き情報として出力する
付記１に記載の情報処理装置。
【0109】
（付記３）
前記第１のプロセッサは、前記物体の輪郭を囲む四角形の頂点の少なくとも対角となる２つ点について所定の座標軸に沿った動きのベクトル情報を前記動き情報として出力する
付記１に記載の情報処理装置。
前記第１のプロセッサは、前記物体の輪郭を囲む四角形の頂点の少なくとも対角となる２つ点について所定の座標軸に沿った動きのベクトル情報を前記動き情報として出力する
付記１に記載の情報処理装置。
【0110】
（付記４）
前記画像は、赤外線画像を含む
付記１に記載の情報処理装置。
前記画像は、赤外線画像を含む
付記１に記載の情報処理装置。
【0111】
（付記５）
前記画像は、互いに同期した可視光画像及び赤外線画像を含む
付記１に記載の情報処理装置。
前記画像は、互いに同期した可視光画像及び赤外線画像を含む
付記１に記載の情報処理装置。
【0112】
（付記６）
２つの前記第１のプロセッサを用いて、前記物体の存在位置を示す点の、三次元直交座標系における３つの座標軸の各々に沿った動きのベクトル情報を前記動き情報として出力する
付記１に記載の情報処理装置。
２つの前記第１のプロセッサを用いて、前記物体の存在位置を示す点の、三次元直交座標系における３つの座標軸の各々に沿った動きのベクトル情報を前記動き情報として出力する
付記１に記載の情報処理装置。
【0113】
（付記７）
前記第１のプロセッサは、前記物体に照射された電磁波の前記物体からの反射波に基づいて、前記物体までの距離を導出し、前記物体の存在位置を示す点の、三次元直交座標系における３つの座標軸の各々に沿った動きのベクトル情報を前記動き情報として出力する
付記７に記載の情報処理装置。
前記第１のプロセッサは、前記物体に照射された電磁波の前記物体からの反射波に基づいて、前記物体までの距離を導出し、前記物体の存在位置を示す点の、三次元直交座標系における３つの座標軸の各々に沿った動きのベクトル情報を前記動き情報として出力する
付記７に記載の情報処理装置。
【0114】
（付記８）
前記物体の画像を１０００フレーム／秒未満のフレームレートで出力する第２のプロセッサと、
前記動き情報と、前記第２のプロセッサから出力された画像とに基づいて、前記物体に対する応答制御を行う第３のプロセッサと、
を更に含む付記１に記載の情報処理装置。
前記物体の画像を１０００フレーム／秒未満のフレームレートで出力する第２のプロセッサと、
前記動き情報と、前記第２のプロセッサから出力された画像とに基づいて、前記物体に対する応答制御を行う第３のプロセッサと、
を更に含む付記１に記載の情報処理装置。
【0115】
（付記９）
フレームレートを変更することが可能なカメラと、
プロセッサと、
を備えた情報処理装置であって、
前記プロセッサは、
前記カメラによって各時刻に撮像された画像に写る物体を検出し、
検出された前記物体の数の時系列、前記物体の加速度の時系列、及び前記物体の大きさの時系列の少なくとも１つに応じて、前記カメラの前記フレームレートを変更するように制御する、
情報処理装置。
フレームレートを変更することが可能なカメラと、
プロセッサと、
を備えた情報処理装置であって、
前記プロセッサは、
前記カメラによって各時刻に撮像された画像に写る物体を検出し、
検出された前記物体の数の時系列、前記物体の加速度の時系列、及び前記物体の大きさの時系列の少なくとも１つに応じて、前記カメラの前記フレームレートを変更するように制御する、
情報処理装置。
【0116】
（付記１０）
前記プロセッサは、
前記物体の数の時系列に応じて前記フレームレートを変更する際に、
現時刻の画像に写る前記物体の数が、前時刻の画像に写る前記物体の数よりも多い場合に、前記フレームレートを高くするように制御し、
現時刻の画像に写る前記物体の数が、前時刻の画像に写る前記物体の数よりも少ない場合に、前記フレームレートを低くするように制御する、
付記９に記載の情報処理装置。
前記プロセッサは、
前記物体の数の時系列に応じて前記フレームレートを変更する際に、
現時刻の画像に写る前記物体の数が、前時刻の画像に写る前記物体の数よりも多い場合に、前記フレームレートを高くするように制御し、
現時刻の画像に写る前記物体の数が、前時刻の画像に写る前記物体の数よりも少ない場合に、前記フレームレートを低くするように制御する、
付記９に記載の情報処理装置。
【0117】
（付記１１）
前記プロセッサは、
前記物体の加速度の時系列に応じて前記フレームレートを変更する際に、
現時刻の画像に写る前記物体の加速度が、前時刻の画像に写る前記物体の加速度よりも大きい場合に、前記フレームレートを高くするように制御し、
現時刻の画像に写る前記物体の加速度が、前時刻の画像に写る前記物体の加速度よりも小さい場合に、前記フレームレートを低くするように制御する、
付記９又は付記１０に記載の情報処理装置。
前記プロセッサは、
前記物体の加速度の時系列に応じて前記フレームレートを変更する際に、
現時刻の画像に写る前記物体の加速度が、前時刻の画像に写る前記物体の加速度よりも大きい場合に、前記フレームレートを高くするように制御し、
現時刻の画像に写る前記物体の加速度が、前時刻の画像に写る前記物体の加速度よりも小さい場合に、前記フレームレートを低くするように制御する、
付記９又は付記１０に記載の情報処理装置。
【0118】
（付記１２）
前記プロセッサは、
前記物体の大きさの時系列に応じて前記フレームレートを変更する際に、
現時刻の画像に写る前記物体の大きさが、前時刻の画像に写る前記物体の大きさよりも大きい場合に、前記フレームレートを高くするように制御し、
現時刻の画像に写る前記物体の大きさが、前時刻の画像に写る前記物体の大きさよりも小さい場合に、前記フレームレートを低くするように制御する、
付記９～付記１１の何れか１項に記載の情報処理装置。
前記プロセッサは、
前記物体の大きさの時系列に応じて前記フレームレートを変更する際に、
現時刻の画像に写る前記物体の大きさが、前時刻の画像に写る前記物体の大きさよりも大きい場合に、前記フレームレートを高くするように制御し、
現時刻の画像に写る前記物体の大きさが、前時刻の画像に写る前記物体の大きさよりも小さい場合に、前記フレームレートを低くするように制御する、
付記９～付記１１の何れか１項に記載の情報処理装置。
【0119】
（付記１３）
前記プロセッサは、
前記物体の数の時系列、前記物体の加速度の時系列、及び前記物体の大きさの時系列の少なくとも１つに応じて、外部環境に関するスコアを計算し、
前記外部環境に関するスコアに応じて、前記フレームレートを変更するように制御する、
付記９～付記１２の何れか１項に記載の情報処理装置。
前記プロセッサは、
前記物体の数の時系列、前記物体の加速度の時系列、及び前記物体の大きさの時系列の少なくとも１つに応じて、外部環境に関するスコアを計算し、
前記外部環境に関するスコアに応じて、前記フレームレートを変更するように制御する、
付記９～付記１２の何れか１項に記載の情報処理装置。
【0120】
（付記１４）
前記プロセッサは、
前記カメラによって撮像された画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力する、
付記９～付記１３の何れか１項に記載の情報処理装置。
前記プロセッサは、
前記カメラによって撮像された画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力する、
付記９～付記１３の何れか１項に記載の情報処理装置。
【0121】
（付記１５）
前記情報処理装置は、２つの前記プロセッサを用いて、前記物体の存在位置を示す点の、三次元直交座標系における３つの座標軸の各々に沿った動きのベクトル情報を前記動き情報として出力する、
付記９～付記１４の何れか１項に記載の情報処理装置。
前記情報処理装置は、２つの前記プロセッサを用いて、前記物体の存在位置を示す点の、三次元直交座標系における３つの座標軸の各々に沿った動きのベクトル情報を前記動き情報として出力する、
付記９～付記１４の何れか１項に記載の情報処理装置。
【0122】
（付記１６）
フレームレートを変更することが可能なカメラと、
プロセッサと、
を備えた情報処理装置が実行する情報処理方法であって、
前記プロセッサが、
前記カメラによって各時刻に撮像された画像に写る物体を検出し、
検出された前記物体の数の時系列、前記物体の加速度の時系列、及び前記物体の大きさの時系列の少なくとも１つに応じて、前記カメラの前記フレームレートを変更するように制御する、
情報処理方法。
フレームレートを変更することが可能なカメラと、
プロセッサと、
を備えた情報処理装置が実行する情報処理方法であって、
前記プロセッサが、
前記カメラによって各時刻に撮像された画像に写る物体を検出し、
検出された前記物体の数の時系列、前記物体の加速度の時系列、及び前記物体の大きさの時系列の少なくとも１つに応じて、前記カメラの前記フレームレートを変更するように制御する、
情報処理方法。
【0123】
（付記１７）
フレームレートを変更することが可能なカメラと、
プロセッサと、
を備えた情報処理装置の前記プロセッサに実行させるための情報処理プログラムであって、
前記プロセッサが、
前記カメラによって各時刻に撮像された画像に写る物体を検出し、
検出された前記物体の数の時系列、前記物体の加速度の時系列、及び前記物体の大きさの時系列の少なくとも１つに応じて、前記カメラの前記フレームレートを変更するように制御する、
情報処理プログラム。
フレームレートを変更することが可能なカメラと、
プロセッサと、
を備えた情報処理装置の前記プロセッサに実行させるための情報処理プログラムであって、
前記プロセッサが、
前記カメラによって各時刻に撮像された画像に写る物体を検出し、
検出された前記物体の数の時系列、前記物体の加速度の時系列、及び前記物体の大きさの時系列の少なくとも１つに応じて、前記カメラの前記フレームレートを変更するように制御する、
情報処理プログラム。
【符号の説明】
【0124】
１０ 情報処理装置
１１ ＩＰＵ
１２ ＭｏＰＵ
１３ ＧＮＰＵ
１４ ＣＰＵ
１５ Ｃｅｎｔｒａｌ Ｂｒｅｉｎ
１１ ＩＰＵ
１２ ＭｏＰＵ
１３ ＧＮＰＵ
１４ ＣＰＵ
１５ Ｃｅｎｔｒａｌ Ｂｒｅｉｎ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
