特許 7601007 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-09

(45)【発行日】2024-12-17

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241210BHJP

【ＦＩ】

H04N7/18 J

【請求項の数】 9

(21)【出願番号】P 2021566761

(86)(22)【出願日】2019-12-27

(86)【国際出願番号】 JP2019051584

(87)【国際公開番号】W WO2021131064

(87)【国際公開日】2021-07-01

【審査請求日】2022-11-16

(73)【特許権者】

【識別番号】514315159

【氏名又は名称】株式会社ソシオネクスト

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】萩原 創一

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２００７－１７２０３５（ＪＰ，Ａ）

【文献】特開２０１０－１９１８６７（ＪＰ，Ａ）

【文献】特開２００７－２１４７６９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｂ６０Ｒ ２１／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

移動体の所定方向への加速度を少なくとも含む情報に基づいて、前記移動体の外部の物体を検知させる画像の画質を決定する決定部と、
前記決定部により決定された画質の画像を出力させるとともに、前記加速度を少なくとも含む情報と、前記決定部により決定された画質の画像とに基づいて、前記移動体に搭載される制御装置に前記加速度を少なくとも含む情報に応じた学習済みモデルを用いて前記移動体の物体を認識させる出力部と、
を有する画像処理装置。

【請求項2】

移動体の所定方向への加速度に基づいて、前記移動体の外部の物体を検知させる画像の画質を決定する決定部と、
前記決定部により決定された画質の画像を出力させる出力部と、
を有し、
前記決定部は、前記移動体の進行方向への加速度が第１の閾値以上の場合、及び前記移動体の前記進行方向と逆方向への加速度が第２の閾値以上である場合、前記移動体の外部の物体を検知させる前記画像の解像度を減少させ、前記画像のフレームレートを増加させる、
画像処理装置。

【請求項3】

前記出力部は、前記移動体に搭載された撮像装置からの画像に基づいて、前記決定部により決定された画質の画像を生成する、
請求項１に記載の画像処理装置。

【請求項4】

前記出力部は、前記移動体に搭載された撮像装置に、前記決定部により決定された画質の画像を撮像させる、
請求項１に記載の画像処理装置。

【請求項5】

前記決定部は、前記加速度を少なくとも含む情報に基づいて、前記移動体の外部の物体を検知させる前記画像の解像度、及びフレームレートの少なくとも一つを決定する、
請求項１に記載の画像処理装置。

【請求項6】

前記決定部は、前記加速度を少なくとも含む情報に基づいて、前記移動体の外部の物体を検知させる前記画像の輝度、コントラスト、及び色の少なくとも一つを決定する、
請求項１に記載の画像処理装置。

【請求項7】

前記決定部は、前記移動体の所定方向への前記加速度が閾値以上の場合、前記移動体の前記所定方向を撮像する第１撮像装置の画像の解像度、及びフレームレートの少なくとも一方を増加させ、前記所定方向とは異なる方向を撮像する第２撮像装置の画像の解像度、及びフレームレートの少なくとも一方を減少させる、
請求項１に記載の画像処理装置。

【請求項8】

画像処理装置が、
移動体の所定方向への加速度を少なくとも含む情報に基づいて、前記移動体の外部の物体を検知させる画像の画質を決定し、
決定した画質の画像を出力させるとともに、前記加速度を少なくとも含む情報と、前記決定した画質の画像とに基づいて、前記移動体に搭載された制御装置に前記加速度を少なくとも含む情報に応じた学習済みモデルを用いて前記移動体の外部の物体を認識させる処理を実行する、画像処理方法。

【請求項9】

コンピュータに、
移動体の所定方向への加速度を少なくとも含む情報に基づいて、前記移動体の外部の物体を検知させる画像の画質を決定し、
決定した画質の画像を出力させるとともに、前記加速度を少なくとも含む情報と、前記決定した画質の画像とに基づいて、前記移動体に搭載された制御装置に前記加速度を少なくとも含む情報に応じた学習済みモデルを用いて前記移動体の外部の物体を認識させる処理を実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

従来、車両等の移動体に搭載されたカメラから得られた各時点での画像（フレーム）を用いて、移動体の前方の物体を検知する技術が知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１３９６３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、移動体の移動状況、及び移動体の周囲環境等によっては、物体の検知にさらなる改善の余地がある。一側面では、より適切に物体を検知させることができる技術を提供することを目的とする。

【課題を解決するための手段】

【0005】

一つの案では、移動体の所定方向への加速度を少なくとも含む情報に基づいて、前記移動体の外部の物体を検知させる画像の画質を決定する決定部と、前記決定部により決定された画質の画像を出力させるとともに、前記加速度を少なくとも含む情報と、前記決定部により決定された画質の画像とに基づいて、前記移動体に搭載される制御装置に前記加速度を少なくとも含む情報に応じた学習済みモデルを用いて前記移動体の物体を認識させる出力部と、を有する画像処理装置が提供される。

【発明の効果】

【0006】

一側面によれば、より適切に物体を検知させることができる。

【図面の簡単な説明】

【0007】

【図1】実施形態に係る移動体における撮像装置の設置例について説明する図である。

【図2】実施形態に係る移動体の構成の一例について説明する図である。

【図3】実施形態に係る画像処理装置、及び制御装置のハードウェア構成例について説明する図である。

【図4】実施形態に係る画像処理装置、及び制御装置の構成の一例を示す図である。

【図5】実施形態に係るサーバの処理の一例を示すフローチャートである。

【図6】実施形態に係る学習用データの一例について説明する図である。

【図7】実施形態に係る画像処理装置、及び制御装置の処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0008】

以下、図面を参照して、本開示の実施形態を説明する。

【0009】

＜全体構成＞
図１は、実施形態に係る制御システム５００の構成について説明する図である。図１の例では、制御システム５００は、移動体１、及びサーバ５０を有する。移動体１、及びサーバ５０の数は、図１の例に限定されない。

【0010】

移動体１とサーバ５０は、例えば、５Ｇ（5th Generation、第５世代移動通信システム）、４Ｇ、ＬＴＥ（Long Term Evolution）、３Ｇ等の携帯電話網、無線ＬＡＮ（Local Area Network）、及びインターネット等のネットワークを介して通信を行う。

【0011】

移動体１は、例えば、車輪により陸上を走行する車両、脚等で移動するロボット、航空機、無人航空機（ドローン(drone)）等の移動する機械である。なお、車両には、例えば、自動車、自動二輪車（モーターバイク(motorbike)）、車輪で移動するロボット、鉄道を走行する鉄道車両等が含まれる。なお、自動車には、道路を走行する自動車、路面電車、建設の用途に用いられる建設車両、軍事用の軍用車両、荷役運搬用の産業車両、農業用車両等も含まれる。

【0012】

サーバ５０は、例えば、移動体１で撮影された画像等に基づいて機械学習を行い、物体を認識するための学習済みモデルを生成する。また、サーバ５０は、生成した学習済みモデルを、移動体１に配信する。

【0013】

≪撮像装置の配置例≫
図１では、自動車である移動体１を真上から見た場合の外観が示されている。図１の例では、移動体１は、撮像装置１２Ａ、撮像装置１２Ｂ、撮像装置１２Ｃ、及び撮像装置１２Ｄ（以下で、区別する必要がない場合は、単に「撮像装置１２」と称する。）を有する。

【0014】

撮像装置１２は、画像を撮影する装置である。撮像装置１２は、例えば、カメラでもよい。

【0015】

撮像装置１２Ａは、移動体１から見た後方（通常時の進行方向とは逆方向）を撮影する撮像装置（後方カメラ、リアカメラ、バックビューカメラ）である。撮像装置１２Ｂは、移動体１から見た左方を撮影する撮像装置（左方カメラ）である。撮像装置１２Ｃは、移動体１から見た右方を撮影する撮像装置（右方カメラ）である。撮像装置１２Ｄは、移動体１から見た前方（通常時の進行方向）を撮影する撮像装置（前方カメラ）である。

【0016】

撮像装置１２Ａ、撮像装置１２Ｂ、撮像装置１２Ｃ、及び撮像装置１２Ｄは、例えば、運転者の運転操作を支援する先進運転支援システム（ＡＤＡＳ、Advanced driver-assistance systems）または、自動運転用の画像を撮影する撮像装置でもよい。また、撮像装置１２Ａ、撮像装置１２Ｂ、撮像装置１２Ｃ、及び撮像装置１２Ｄは、例えば、移動体１を真上から見たような画像を生成する全方位モニタ（アラウンドビュー、パノラミックビュー、マルチビュー、トップビュー）用の画像を撮影する各カメラでもよい。

【0017】

撮像装置１２Ａは、例えば、ルームミラー（バックミラー）モニタに表示させる画像を撮影するカメラでもよい。また、撮像装置１２Ａは、例えば、移動体１が後方に移動（バック）する際に、ナビゲーション装置１８の画面に表示させる画像を撮影するカメラでもよい。

【0018】

撮像装置１２Ｂは、例えば、左側のサイドミラーモニタに表示させる画像を撮影するカメラでもよい。撮像装置１２Ｃは、例えば、右側のサイドミラーモニタに表示させる画像を撮影するカメラでもよい。

【0019】

なお、移動体１から見た前方（通常時の進行方向）を撮影する撮像装置１２Ｄは、複数のカメラを有するステレオカメラでもよい。

【0020】

＜移動体１の構成＞
図２は、実施形態に係る移動体１の構成の一例について説明する図である。図２の例では、移動体１は、画像処理装置１０、制御装置１１、撮像装置１２、ＥＣＵ１３、無線通信装置１４、センサ１５、駆動装置１６、ランプ装置１７、及びナビゲーション装置１８を有する。

【0021】

これら各部は、例えば、ＣＡＮ（Controller Area Network）、及びイーサネット（登録商標）等の内部ネットワーク（例えば、車載ネットワーク）により接続されている。

【0022】

画像処理装置１０は、撮像装置１２により撮影された画像（静止画、及び動画像）に基づいて、移動体１の外部（周囲）の物体を制御装置１１に検知させる画像を生成する。なお、当該物体には、例えば、他の車両、歩行者、自転車、白線、道路の側壁、及び障害物等が含まれてもよい。

【0023】

制御装置１１は、移動体１の各部を制御するコンピュータ（情報処理装置）である。制御装置１１は、画像処理装置１０により生成された画像に基づいて、移動体１の外部の物体を認識する。また、制御装置１１は、画像処理装置１０により生成された各時点の画像に基づいて、認識した物体を追跡する。制御装置１１は、検知した物体（認識した物体、及び追跡している物体）に基づいて、移動体１のＥＣＵ（Electronic Control Unit）１３等を制御することにより、移動体１の移動等を制御する。

【0024】

制御装置１１は、移動体１の移動等を制御することにより、例えば、運転者（ユーザ、ドライバ、搭乗者）が主制御系統（加速、操舵、制動等）の操作を行うレベル０から、無人運転を行うレベル５までのいずれかのレベルの自動運転を実現してもよい。

【0025】

ＥＣＵ１３は、移動体１の各装置を制御する装置である。なお、ＥＣＵ１３は、複数のＥＣＵを有してもよい。無線通信装置１４は、例えば、携帯電話網等の無線通信により、サーバ５０、及びインターネット上のサーバ等の、移動体１の外部の装置との通信を行う。

【0026】

センサ１５は、各種の情報を検出するセンサである。センサ１５は、例えば、移動体１の現在の位置情報を取得する位置センサを含んでもよい。なお、位置センサは、例えば、ＧＰＳ（Global Positioning System）等の衛星測位システムを利用するセンサでもよい。

【0027】

また、センサ１５は、移動体１の速度を検出する速度センサを含んでもよい。なお、速度センサは、例えば、車輪の車軸の回転数を測定するセンサでもよい。また、センサ１５は、移動体１の加速度を検出する加速度センサを含んでもよい。また、センサ１５は、移動体１のヨー軸角速度（ヨーレート）を検出するヨー軸角速度センサを含んでもよい。

【0028】

また、センサ１５は、運転者、及び制御装置１１による移動体１の操作量等を検出する操作センサを含んでもよい。なお、操作センサには、例えば、アクセルペダルの踏み込み量を検出するアクセルセンサ、ハンドル（ステアリング・ホイール）の回転角度を検出するステアリングセンサ、ブレーキペダルの踏み込み量を検出するブレーキセンサ、ギアの位置を検出するシフト位置センサ等が含まれてもよい。

【0029】

駆動装置１６は、移動体１を移動させるための各種装置である。駆動装置１６には、例えば、エンジン、操舵装置（ステアリング）、及び制動装置（ブレーキ）等が含まれてもよい。

【0030】

ランプ装置１７は、移動体１に搭載された各種灯具である。ランプ装置１７には、例えば、前照灯（ヘッドランプ、ヘッドライト）、右左折や進路変更（レーンチェンジ）の際にその方向を周囲に示すための方向指示器（ウインカー）のランプ、移動体１の後部に設けられ、ギアがリバースレンジの際に点灯するバックライト、及びブレーキランプ等が含まれてもよい。

【0031】

ナビゲーション装置１８は、目的地への経路を音声、及び表示により案内する装置（カーナビ）である。ナビゲーション装置１８には、地図情報が記録されていてもよい。また、ナビゲーション装置１８は、移動体１の現在位置の情報を、カーナビサービスを提供する外部サーバに送信し、移動体１の周辺の地図情報を当該外部サーバから取得してもよい。なお、地図情報には、例えば、交差点等の結節点を示すノード、及びノード間の道路区間であるリンクの情報等が含まれてもよい。

【0032】

＜コンピュータのハードウェア構成＞
図３は、実施形態に係る画像処理装置１０、及び制御装置１１のハードウェア構成例について説明する図である。以下では、画像処理装置１０を例として説明する。制御装置１１のハードウェア構成は、画像処理装置１０のものと同様でもよい。

【0033】

図３の例では、画像処理装置１０は、それぞれバスＢで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、及びインタフェース装置１００５等を有する。

【0034】

画像処理装置１０での処理を実現する情報処理プログラムは、記録媒体１００１によって提供される。情報処理プログラムを記録した記録媒体１００１がドライブ装置１０００にセットされると、情報処理プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、情報処理プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされた情報処理プログラムを格納すると共に、必要なファイルやデータ等を格納する。

【0035】

メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って処理を実行する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられる。

【0036】

なお、記録媒体１００１の一例としては、ＣＤ－ＲＯＭ、ＤＶＤディスク、又はＵＳＢメモリ等の可搬型の記録媒体が挙げられる。また、補助記憶装置１００２の一例としては、ＨＤＤ（Hard Disk Drive）又はフラッシュメモリ等が挙げられる。記録媒体１００１及び補助記憶装置１００２のいずれについても、コンピュータ読み取り可能な記録媒体に相当する。

【0037】

なお、画像処理装置１０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）等の集積回路により実現されてもよい。

【0038】

＜画像処理装置１０、及び制御装置１１の構成＞
次に、図４を参照し、画像処理装置１０、及び制御装置１１の構成について説明する。図４は、実施形態に係る画像処理装置１０、及び制御装置１１の構成の一例を示す図である。

【0039】

≪画像処理装置１０≫
画像処理装置１０は、取得部１０１、判定部１０２、決定部１０３、及び出力部１０４を有する。これら各部は、画像処理装置１０にインストールされた１以上のプログラムと、画像処理装置１０のＣＰＵ１００４等のハードウェアとの協働により実現されてもよい。

【0040】

取得部１０１は、他の装置からデータを取得する。取得部１０１は、例えば、撮像装置１２で撮影された画像を当該撮像装置１２から取得する。また、取得部１０１は、例えば、ＥＣＵ１３等を介して、移動体１の各部から各種の情報を取得する。また、取得部１０１は、例えば、無線通信装置１４等を介して、移動体１の外部の装置からの情報を取得する。

【0041】

判定部１０２は、取得部１０１により取得された情報に基づいて、移動体１の移動に関する状況を判定する。

【0042】

決定部１０３は、判定部１０２により判定された、移動体１の移動に関する状況に基づいて、移動体１の外部の物体を検知させる画像の画質を決定する。

【0043】

出力部１０４は、決定部１０３により決定された画質の画像を出力させ、当該画像を制御装置１１に入力する。

【0044】

≪制御装置１１≫
制御装置１１は、記憶部１１１、認識部１１２、追跡部１１３、及び制御部１１４を有する。これら各部は、制御装置１１にインストールされた１以上のプログラムと、制御装置１１のＣＰＵ等のハードウェアとの協働により実現されてもよい。

【0045】

記憶部１１１は、サーバ５０により配信された学習済みモデルを記憶する。

【0046】

認識部１１２は、記憶部１１１に記憶されている学習済みモデル、及び画像処理装置１０により出力された画像等に基づいて、当該画像に写されている物体を認識する。認識部１１２は、例えば、当該物体の種別、及び移動体１との相対的な位置（距離）等を認識してもよい。なお、認識部１１２は、物体の種別として、例えば、車両、自動二輪車、自転車、人間、その他等の種別に分類してもよい。

【0047】

追跡部１１３は、画像処理装置１０により各時点で出力された画像に基づいて認識部１１２により認識された物体を、当該各時点に渡って追跡する。

【0048】

制御部１１４は、移動体１と、追跡部１１３により追跡されている各物体との距離に基づいて、移動体１を制御する。

【0049】

＜処理＞
≪学習フェーズ≫
次に、図５を参照し、サーバ５０の処理について説明する。図５は、実施形態に係るサーバ５０の処理の一例を示すフローチャートである。図６は、実施形態に係る学習用データ５０１の一例について説明する図である。

【0050】

ステップＳ１において、サーバ５０は、教師あり学習の学習用データ５０１を取得する。図６の例では、学習用データ５０１には、移動体１の移動に関する状況（シーン）、撮像装置１２の画像、及び画像中の物体（被写体）の情報の組（データセット）が複数含まれている。また、画像中の物体の情報には、画像における各物体の領域を示す情報と当該各物体の種別（ラベル）が含まれている。物体の領域を示す情報は、例えば、画像において物体が写されている矩形領域の左上座標及び右下座標でもよい。物体の種別には、例えば、車両、自動二輪車、自転車、人間、及びその他等が含まれてもよい。

【0051】

学習用データ５０１は、例えば、データ収集用の移動体１が走行された際の画像に基づいて作成されてもよい。学習用データ５０１に含まれる画像中の物体の情報は、例えば、移動体１を開発する事業者の開発者等により、正解データとして設定されてもよい。

【0052】

また、学習用データ５０１に含まれる移動体１の移動に関する状況は、例えば、移動体１を開発する事業者の開発者等により、正解データとして設定されてもよいし、画像処理装置１０等により自動で設定されてもよい。

【0053】

続いて、サーバ５０は、学習用データ５０１に基づいて機械学習を行い、学習済みモデルを生成する（ステップＳ２）。ここで、サーバ５０は、例えば、ディープラーニング等による機械学習を行ってもよい。この場合、サーバ５０は、例えば、移動体１の移動に関する状況毎に、畳み込みニューラルネットワーク（ＣＮＮ、Convolutional Neural Network）により、機械学習を行ってもよい。これにより、例えば、移動体１が高速道路を走行している場合には、車両、自動二輪車、側壁、及びその他等に分類する学習済みモデルを生成し、認識処理を高速化することができる。また、移動体１が商店街を走行している場合には、車両、自動二輪車、自転車、高齢者、大人、子供、及びその他等に分類する学習済みモデルを生成し、認識対象の分類を細分化することができる。

【0054】

また、サーバ５０は、転移学習（Transfer Learning）により、学習用データ５０１に基づいて機械学習を行い、学習済みモデルを生成してもよい。この場合、サーバ５０は、移動体１の撮像装置１２の画像以外の画像に基づいて、物体の各種別に対して学習された畳み込みニューラルネットワークを、学習用データ５０１に基づいて再学習してもよい。

【0055】

また、サーバ５０は、移動体１の移動に関する状況を用いた他の分類器を併用することにより、認識精度を向上させてもよい。この場合、サーバ５０は、例えば、畳み込みニューラルネットワークを用いて算出された特徴量（ＣＮＮ特徴量）を、移動体１の移動に関する状況を用いた他の分類器で分類する学習済みモデルを生成してもよい。この場合、サーバ５０は、当該他の分類器として、例えば、サポートベクターマシーン（ＳＶＭ、Support Vector Machine）等を用いてもよい。これにより、例えば、状況に応じた各種別らしさ（各種別である確率）を推論できるため、ある物体の画像を、移動体１が商店街を走行している場合には自転車と認識し、移動体１が高速道路を走行している場合には自動二輪車と認識することができる。

【0056】

続いて、サーバ５０は、学習済みモデルを、移動体１に配信する（ステップＳ３）。これにより、移動体１の制御装置１１の記憶部１１１に、学習済みモデルが記憶される。なお、サーバ５０は、移動体１の周囲の状況に応じてその都度学習済みモデルを移動体１に配信して記憶させてもよい。また、移動体１は、サーバ５０により生成された学習済みモデルを予め記憶部１１１に記憶させておいてもよい。また、移動体１は、サーバ５０により生成された複数の学習済モデルを予め記憶部１１１に記憶しておき、移動体１の周囲の状況に応じて、複数の学習済モデルのうち１つを選択してもよい。

【0057】

≪推論フェーズ≫
次に、図７を参照し、移動体１の画像処理装置１０、及び制御装置１１の処理について説明する。図７は、実施形態に係る画像処理装置１０、及び制御装置１１の処理の一例を示すフローチャートである。

【0058】

ステップＳ２１において、画像処理装置１０の判定部１０２は、移動体１の移動に関する状況を判定する。ここで、画像処理装置１０は、撮像装置１２、ＥＣＵ１３、または無線通信装置１４等を介して取得した情報に基づいて、移動体１の移動に関する状況を判定してもよい。

【0059】

画像処理装置１０は、例えば、撮像装置１２により撮影された画像に基づいて、移動体１が現在走行している道路の状況、及び移動体１の外部の物体の状況を判定してもよい。この場合、画像処理装置１０は、例えば、撮像装置１２により撮影された静止画像（１フレーム）に基づいて、移動体１が現在走行している道路の幅員（車道幅員）、見通しの良さの度合い、高速道路等の側壁の有無、路肩に停車されている車両の有無、及び道路の渋滞状況等を判定してもよい。また、画像処理装置１０は、例えば、撮像装置１２により撮影された動画像（複数フレーム）に基づいて、移動体１の後続車両と移動体１との接近速度を判定してもよい。

【0060】

また、画像処理装置１０は、ＥＣＵ１２等を介して移動体１の各部から取得した情報に基づいて、移動体１の移動に関する状況を判定してもよい。この場合、画像処理装置１０は、例えば、ナビゲーション装置１８から取得した情報に基づいて、移動体１が現在走行している道路の属性、及び移動体１が現在から所定時間（例えば、１分）以内の各時点で走行する予定の道路の属性を判定してもよい。ここで、道路の属性には、例えば、高速道路、一般道路（一般国道）、主要地方道、一般都道府県道、市町村道、及び私道等の道路の種別を示す情報が含まれてもよい。また、道路の属性には、例えば、車線数、車道幅員、リンク内属性（橋・高架、トンネル、洞門、踏切、歩道橋、料金所、アンダーパス、道路冠水想定箇所等）の位置等の情報が含まれてもよい。また、画像処理装置１０は、例えば、ナビゲーション装置１８から取得した情報に基づいて、移動体１が現在走行している道路の渋滞状況を判定してもよい。

【0061】

また、画像処理装置１０は、例えば、移動体１の現在の速度、加速度、ハンドル操作による操舵角、アクセル（アクセルペダル）操作（加速操作）、ブレーキ（ブレーキペダル）操作（減速操作）、方向指示器（ウインカー）の点灯、及び前照灯（ヘッドランプ、ヘッドライト）の点灯等の情報に基づいて、移動体１の移動に関する状況を判定してもよい。この場合、画像処理装置１０は、運転者の操作、または制御装置１１の操作（自動運転制御）による各情報をＥＣＵ等から取得してもよい。

【0062】

また、画像処理装置１０は、例えば、ＶＩＣＳ（登録商標）（Vehicle Information and Communication System、道路交通情報通信システム）、またはクラウドサービス等から取得した情報に基づいて、移動体１の移動に関する状況を判定してもよい。

【0063】

この場合、画像処理装置１０は、例えば、移動体１が現在走行している道路、及び移動体１が現在から所定時間（例えば、１分）以内の各時点で走行する予定の道路が、交通事故が頻発する地点であるか否か、渋滞が頻発する地点であるか否か、移動体１が現在走行している位置の天候等を判定してもよい。

【0064】

続いて、画像処理装置１０の決定部１０３は、移動体１の移動に関する状況に基づいて、移動体１の外部の物体を検知させる画像（物体認識用の画像）の画質を決定する（ステップＳ２２）。

【0065】

（低解像度、低フレームレートの例）
画像処理装置１０は、例えば、移動体１の周囲の時間的な変化が小さく、認識対象の物体が少ない状況の場合、低解像度、かつ低フレームレート（例えば、３０ｆｐｓ）の画質に決定してもよい。なお、画像処理装置１０は、低解像度として、ＱＶＧＡ（Quarter Video Graphics Array、３２０×２４０画素）、またはＶＧＡ（Video Graphics Array、６４０×４８０画素）等の解像度としてもよい。

【0066】

この場合、画像処理装置１０は、例えば、移動体１が駐車場に駐車された状態の場合、または駐車動作中の場合は、低解像度、かつ低フレームレートに決定してもよい。画像処理装置１０は、例えば、ナビゲーション装置１８から取得した移動体１の現在位置の場所が駐車場である場合、及び当該場所が道路でない場合、移動体１が駐車場に位置すると判定してもよい。また、画像処理装置１０は、例えば、移動体１の速度が閾値（例えば、時速５ｋｍ）以下であり、ギアがリバースレンジであることが検出されている場合、移動体１が駐車動作中であると判定して、低解像度、かつ低フレームレートの画質に決定してもよい。

【0067】

また、画像処理装置１０は、例えば、移動体１が渋滞区間を低速で走行している場合、低解像度、かつ低フレームレートに決定してもよい。画像処理装置１０は、例えば、ナビゲーション装置１８から取得した移動体１の現在位置の渋滞情報に基づいて、移動体１が渋滞区間を走行していることを判定してもよい。また、画像処理装置１０は、例えば、撮像装置１２により撮像された画像から、多数の車両が前方に密集していることを認識した場合、移動体１が渋滞区間を走行していることを判定してもよい。

【0068】

（低解像度、高フレームレートの例）
画像処理装置１０は、例えば、移動体１の周囲の時間的な変化が大きく、認識対象の物体が少ない状況の場合、低解像度、かつ高フレームレート（例えば、６０ｆｐｓまたは１２０ｆｐｓ）の画質に決定してもよい。

【0069】

この場合、画像処理装置１０は、例えば、移動体１が高速道路を所定速度以上で走行中の場合、低解像度、かつ高フレームレートに決定してもよい。これは、高速道路では、例えば、高解像度の画像で認識する対象である歩行者や自転車等はいない場合が殆どであるため、低解像度でよいと考えられるためである。また、車線の割り込みや後方からの急接近等を行う移動体１周辺の物体と、移動体１との今後の位置関係を予測して衝突を回避する等のために、物体の追跡精度は比較的重要であるため、高フレームレートの画像で追跡処理が行われることが望ましいと考えられるためである。

【0070】

なお、画像処理装置１０は、例えば、ナビゲーション装置１８から取得した移動体１の現在位置が高速道路である場合、移動体１が高速道路を走行中であると判定してもよい。また、画像処理装置１０は、例えば、撮像装置１２により撮像された画像から、高速道路等の側壁を認識した場合、移動体１が高速道路を走行中であると判定してもよい。そして、移動体１の速度が所定速度（例えば、時速６０ｋｍ）以上である場合に、移動体１が高速道路を所定速度以上で走行中であると判定してもよい。

【0071】

また、画像処理装置１０は、例えば、移動体１が進路変更をする際、低解像度、かつ高フレームレートに決定してもよい。この場合、画像処理装置１０は、例えば、方向指示器の操作、及びハンドル操作等に基づいて、移動体１が進路変更をすることを検知してもよい。

【0072】

また、画像処理装置１０は、例えば、移動体１の速度が閾値（例えば、時速８０ｋｍ）以上である場合、低解像度、かつ高フレームレートに決定してもよい。なお、画像処理装置１０は、例えば、移動体１の速度が速くなるほど、フレームレートを高く決定してもよい。これは、例えば、移動体１に接近している物体が何であるかの精度よりも、接近している速度の精度が重要になるため、認識している物体の追跡精度（追従性）を向上させるためである。

【0073】

また、画像処理装置１０は、例えば、移動体１の進行方向への加速度が閾値以上の場合、低解像度、かつ高フレームレートに決定してもよい。これは、例えば、移動体１の急発進による衝突等を低減するためである。

【0074】

また、画像処理装置１０は、例えば、移動体１の減速度（移動体１の進行方向とは逆方向への加速度）が閾値以上の場合、低解像度、かつ高フレームレートに決定してもよい。これは、例えば、移動体１の急停車（急ブレーキ）により後続車両から追突されること等を低減するためである。

【0075】

（高解像度、低フレームレートの例）
画像処理装置１０は、例えば、移動体１の周囲の時間的な変化が小さく、認識対象の物体が多い状況の場合、高解像度、かつ低フレームレートの画質に決定してもよい。なお、画像処理装置１０は、高解像度として、ＦＨＤ（Full HD、１９２０×１０８０画素）、及び４Ｋ（４０９６×２１６０画素）等の解像度としてもよい。

【0076】

この場合、画像処理装置１０は、例えば、移動体１が高速道路以外の道路を走行中の場合、高解像度、かつ低フレームレートに決定してもよい。これは、市町村道、道路の幅員が狭い道路、住宅地、及び商店街（以下で、適宜「市町村道等」とも称する。）を走行している場合、物体と移動体１との今後の位置関係を予測する等のために、物体が歩行者か、走行中の自転車か等を識別する精度が比較的重要であるため、高解像度の画像で認識処理が行われることが望ましいと考えられるためである。また、移動体１の速度が、例えば高速道路等を走行する場合と比較して低速であるため、低フレームレートでよいと考えられるためである。

【0077】

（高解像度、高フレームレートの例）
画像処理装置１０は、例えば、移動体１の周囲の時間的な変化が大きく、認識対象の物体が多い状況の場合、高解像度、かつ高フレームレートの画質に決定してもよい。これにより、例えば、危険性が高い状況では、高精度な物体検出をおこなうことができる。

【0078】

この場合、画像処理装置１０は、例えば、移動体１が交差点に進入する際、高解像度、かつ高フレームレートに決定してもよい。例えば、交差点に進入した場合、対向車、横断歩道を進む歩行者、信号機、後続車両等、認識すべき対象が多数存在し、状況が目まぐるしく変化するが、高解像度、かつ高フレームレートの画像を用いることで、交差点における移動体１の周囲の認識すべき対象を、高速かつ高精度に認識することができる。

【0079】

また、画像処理装置１０は、例えば、移動体１が、市町村道等を高速で走行している場合、高解像度、かつ高フレームレートに決定してもよい。この場合、画像処理装置１０は、例えば、ナビゲーション装置１８から取得した移動体１の現在位置が市町村道等であり、移動体１の速度が閾値（例えば、時速８０ｋｍ）以上である場合に、移動体１が市町村道等を高速で走行中であると判定してもよい。

【0080】

（輝度、コントラスト、色を決定する例）
画像処理装置１０は、移動体１の移動に関する状況に基づいて、例えば、画像の輝度、コントラスト、及び色等の画質を決定してもよい。この場合、画像処理装置１０は、例えば、夜間に走行している場合、及びトンネルを走行している際に、輝度、及びコントラストを大きくし、ヘッドライト、及びトンネル内の照明の色による物体の変色を補正してもよい。

【0081】

（複数の撮像装置１２の画像の画質を決定する例）
画像処理装置１０は、移動体１の移動に関する状況に基づいて、複数の撮像装置１２のそれぞれから得られる画像の画質を決定してもよい。この場合、画像処理装置１０は、例えば、移動体１の所定方向への加速度が閾値以上の場合、移動体１の当該所定方向を撮像する第１撮像装置の画像の解像度、及びフレームレートの少なくとも一方を増加させてもよい。そして、画像処理装置１０は、当該所定方向とは異なる方向を撮像する第２撮像装置の画像の解像度、及びフレームレートの少なくとも一方を減少させてもよい。

【0082】

この場合、画像処理装置１０は、例えば、移動体１の減速度が閾値以上の場合、移動体の前方を撮像する撮像装置１２Ｄの画像の解像度、及びフレームレートの少なくとも一方を減少させ、撮像装置１２Ａ、撮像装置１２Ｂ、及び撮像装置１２Ｃの画像の解像度、及びフレームレートの少なくとも一方を増加させてもよい。これにより、例えば移動体１が急停車（急ブレーキ）した場合に、移動体１の後続車両の認識精度を向上させることができる。

【0083】

また、画像処理装置１０は、例えば、移動体１の進行方向への加速度が閾値以上の場合、移動体１の後方を撮像する撮像装置１２Ａの画像の解像度、及びフレームレートの少なくとも一方を減少させ、撮像装置１２Ｄ等の画像の解像度、及びフレームレートの少なくとも一方を増加させてもよい。これにより、例えば移動体１が急発進した場合に、移動体１の前方に位置する車両の認識精度を向上させることができる。

【0084】

続いて、画像処理装置１０の出力部１０４は、決定された画質で、物体認識用の画像を出力させる（ステップＳ２３）。これにより、制御装置１１の処理負荷を低減できる。

【0085】

ここで、画像処理装置１０は、撮像装置１２により撮影された画像から、物体認識用の画像を生成してもよい。

【0086】

また、画像処理装置１０は、決定部１０３により決定された画質の画像を撮像装置１２に撮像させてもよい。この場合、画像処理装置１０は、例えば、画質を設定する制御コマンドを撮像装置１２に送信してもよい。そして、撮像装置１２は、受信した制御コマンドで指定された画質で画像を撮像し、撮像した画像を画像処理装置１０、または制御装置１１に出力してもよい。

【0087】

また、画像処理装置１０は、移動体１の移動に関する状況を示す情報と、決定部１０３により決定された画質の画像とに基づいて、移動体１の外部の物体を制御装置１１に認識させてもよい。この場合、画像処理装置１０は、判定部１０２により判定された移動体１の移動に関する状況の情報も、制御装置１１に入力させる。これにより、制御装置１１は、移動体１の移動に関する状況にも基づいた推論を行うことができるため、物体を認識する精度が向上する。なお、画像処理装置１０は、制御装置１１に出力する画像と同じ又は異なる画質の画像を、移動体１の運転者に表示するための表示装置に出力してもよい。表示装置は、例えばルームミラーモニタやサイドミラーモニタであってもよいし、ナビゲーション装置１８に含まれるものであってもよい。

【0088】

続いて、制御装置１１の認識部１１２は、物体認識用の画像、及び記憶部１１１に記憶されている学習済みモデル等に基づいて、移動体１の外部の物体を認識する（ステップＳ２４）。なお、制御装置１１は、道路の白線等は、機械学習を用いない認識処理により認識してもよい。

【0089】

ここで、制御装置１１は、図５のステップＳ２の処理で上述した、移動体１の移動に関する状況に応じた学習済みモデルを用いて、画像中の物体の領域、及び物体の種別を推論してもよい。また、制御装置１１は、図５のステップＳ２の処理で上述した、移動体１の移動に関する状況を用いた他の分類器を併用して、画像中の物体の領域、及び物体の種別を推論してもよい。

【0090】

続いて、制御装置１１の追跡部１１３は、認識した物体と、移動体１との位置関係の変化を判定（追跡）する（ステップＳ２５）。これにより、制御装置１１は、認識した物体と、移動体１との今後の位置関係を予測することができる。

【0091】

ここで、制御装置１１は、例えば、以下のような処理により、物体を追跡してもよい。まず、制御装置１１は、前回のフレームで認識したまたは追跡している物体Ａの今回のフレームでの予測位置を算出する。ここで、制御装置１１は、例えば、移動体１の速度、及び追跡している物体Ａの速度と移動体１に対する進行方向とに基づいて、物体Ａの今回のフレームでの予測位置を算出してもよい。続いて、制御装置１１は、前回以前のフレームで認識された物体Ａの種別と、今回のフレームで認識された物体Ｂの種別とが同一であり、かつ、物体Ａの今回のフレームでの予測位置と、物体Ｂの今回のフレームでの位置との差が閾値以下の場合、物体Ｂが物体Ａであると判定し、物体Ａ（物体Ｂ）の種別、位置及び進行方向を記録する。

【0092】

続いて、制御装置１１の制御部１１４は、認識した物体と、移動体１との位置関係の変化等に基づいて、移動体１の各部を制御する（ステップＳ２６）。ここで、制御装置１１は、例えば、移動体１のディスプレイやスピーカ等により、障害物の存在、後方の高速接近車等を運転者に報知してもよい。また、制御装置１１は、例えば、移動体１の自動運転を行ってもよい。

【0093】

＜変形例＞
画像処理装置１０、及び制御装置１１の各機能部は、例えば１以上のコンピュータにより提供されるクラウドコンピューティングにより実現されていてもよい。また、画像処理装置１０、及び制御装置１１を一体の装置として構成してもよい。また、画像処理装置１０、及び撮像装置１２を一体の装置として構成してもよい。また、サーバ５０の機械学習処理を、制御装置１１にて行う構成としてもよい。また、移動体１は半導体装置を有し、１つの半導体装置に画像処理装置１０及び制御装置１１が含まれてもよい。また、移動体１は複数の半導体装置を有し、その１つの半導体装置に画像処理装置１０が含まれ、別の１つの半導体装置に制御装置１１が含まれてもよい。

【0094】

以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0095】

５００ 制御システム
１ 移動体
１０ 画像処理装置
１０１ 取得部
１０２ 判定部
１０３ 決定部
１０４ 出力部
１１ 制御装置
１１１ 記憶部
１１２ 認識部
１１３ 追跡部
１１４ 制御部
１２Ａ 撮像装置
１２Ｂ 撮像装置
１２Ｃ 撮像装置
１２Ｄ 撮像装置
１４ 無線通信装置
１５ センサ
１６ 駆動装置
１７ ランプ装置
１８ ナビゲーション装置
５０ サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】