特許 7537188 画像認識装置、画像認識方法、コンピュータプログラム、および画像認識システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-13

(45)【発行日】2024-08-21

(54)【発明の名称】画像認識装置、画像認識方法、コンピュータプログラム、および画像認識システム

(51)【国際特許分類】

   G06T 7/11 20170101AFI20240814BHJP

   G06T 7/00 20170101ALI20240814BHJP

   G08G 1/16 20060101ALI20240814BHJP

【ＦＩ】

G06T7/11

G06T7/00 650Z

G08G1/16 A

【請求項の数】 12

(21)【出願番号】P 2020149645

(22)【出願日】2020-09-07

(65)【公開番号】P2022044156

(43)【公開日】2022-03-17

【審査請求日】2023-03-22

(73)【特許権者】

【識別番号】000002130

【氏名又は名称】住友電気工業株式会社

(74)【代理人】

【識別番号】100123021

【弁理士】

【氏名又は名称】渥美 元幸

(74)【代理人】

【識別番号】100126538

【弁理士】

【氏名又は名称】嶺 直道

(72)【発明者】

【氏名】前田 直樹

【審査官】村山 絢子

(56)【参考文献】

【文献】特開２０２０－０８５５９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０８Ｇ １／００－９９／００

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

Ｈ０４Ｎ ５／２２２－５／２５７

(57)【特許請求の範囲】

【請求項1】

画像中の注目領域と当該画像の撮影位置とを対応付けて蓄積する蓄積部から、移動体の位置に基づいて、前記移動体に搭載されたカメラにより撮影された前記移動体の周囲の画像中の注目領域を取得する取得部と、
前記移動体の周囲の画像から所定の注目領域を抽出する抽出部と、
前記抽出部による前記注目領域の抽出の成否を判定する判定部と、
前記判定部の判定結果に基づいて、前記抽出部が抽出した前記注目領域と前記取得部が取得した前記注目領域の少なくとも一方を選択する選択部と、
前記移動体の周囲の画像から、前記選択部が選択した前記注目領域の像を切出す切出し部と、
切出された前記注目領域の像に基づいて、所定の認識処理を行う認識処理部とを備える、画像認識装置。

【請求項2】

前記判定部は、前記注目領域の抽出結果に基づいて、前記注目領域の抽出の成否を判定する、請求項１に記載の画像認識装置。

【請求項3】

前記判定部は、前記注目領域の抽出の確からしさを示す確信度に基づいて、前記注目領域の抽出の成否を判定する、請求項１または請求項２に記載の画像認識装置。

【請求項4】

前記判定部は、前記移動体に搭載されたカメラによる前記移動体の周囲の画像の撮影時の異常状態情報に基づいて、前記注目領域の抽出の成否を判定する、請求項１から請求項３のいずれか１項に記載の画像認識装置。

【請求項5】

前記選択部は、さらに、ユーザによる選択指示に基づいて、前記抽出部が抽出した前記注目領域と前記取得部が取得した前記注目領域の少なくとも一方を選択する、請求項１から請求項４のいずれか１項に記載の画像認識装置。

【請求項6】

画像認識装置であって、
画像中の注目領域と当該画像の撮影位置とを対応付けて蓄積する蓄積部から、移動体の位置に基づいて、前記移動体に搭載されたカメラにより撮影された前記移動体の周囲の画像中の注目領域を取得する取得部と、
前記移動体の周囲の画像から、前記注目領域の像を切出す切出し部と、
前記注目領域の像に基づいて、所定の認識処理を行う認識処理部とを備え、
前記切出し部は、さらに、前記画像から前記注目領域以外の領域を含む非注目領域の像を切出し、
前記画像認識装置は、前記非注目領域の像のデータ量を削減する削減部をさらに備え、
前記認識処理部は、前記注目領域の像およびデータ量が削減された前記非注目領域の像に基づいて、前記所定の認識処理を行う、画像認識装置。

【請求項7】

画像中の注目領域と当該画像の撮影位置とを対応付けて蓄積する蓄積部から、移動体の位置に基づいて、前記移動体に搭載されたカメラにより撮影された前記移動体の周囲の画像中の注目領域を取得する取得部と、
前記移動体の周囲の画像から、前記注目領域の像を切出す切出し部と、
前記注目領域の像に基づいて、所定の認識処理を行う認識処理部とを備え、
前記蓄積部は、さらに、前記蓄積部に蓄積された画像の撮影時の時刻を対応付けて蓄積し、
前記取得部は、前記移動体の位置および現在時刻に基づいて、前記蓄積部から前記注目領域を取得する、画像認識装置。

【請求項8】

画像中の注目領域と当該画像の撮影位置とを対応付けて蓄積する蓄積部から、移動体の位置に基づいて、前記移動体に搭載されたカメラにより撮影された前記移動体の周囲の画像中の注目領域を取得する取得部と、
前記移動体の周囲の画像から、前記注目領域の像を切出す切出し部と、
前記注目領域の像に基づいて、所定の認識処理を行う認識処理部とを備え、
前記蓄積部は、さらに、前記画像のサイズを対応付けて蓄積し、
前記取得部は、さらに、前記注目領域に対応する前記画像のサイズを取得し、取得した前記サイズと、前記カメラにより撮影された前記画像のサイズとに基づいて、取得した前記注目領域を補正する、画像認識装置。

【請求項9】

画像中の注目領域と当該画像の撮影位置とを対応付けて蓄積する蓄積部から、移動体の位置に基づいて、前記移動体に搭載されたカメラにより撮影された前記移動体の周囲の画像中の注目領域を取得する取得部と、
前記移動体の周囲の画像から、前記注目領域の像を切出す切出し部と、
前記注目領域の像に基づいて、所定の認識処理を行う認識処理部とを備え、
前記蓄積部は、さらに、前記画像の画角を対応付けて蓄積し、
前記取得部は、さらに、前記注目領域に対応する前記画像の画角を取得し、取得した前記画角と、前記カメラにより撮影された前記画像の画角とに基づいて、取得した前記注目領域を補正する、画像認識装置。

【請求項10】

画像中の注目領域と当該画像の撮影位置とを対応付けて蓄積する蓄積部から、移動体の位置に基づいて、前記移動体に搭載されたカメラにより撮影された前記移動体の周囲の画像中の注目領域を取得するステップと、
前記移動体の周囲の画像から所定の注目領域を抽出するステップと、
前記注目領域を抽出するステップにおける前記注目領域の抽出の成否を判定するステップと、
前記注目領域の抽出の成否の判定結果に基づいて、抽出された前記注目領域と取得された前記注目領域の少なくとも一方を選択するステップと、
前記移動体の周囲の画像から、選択された前記注目領域の像を切出すステップと、
切出された前記注目領域の像に基づいて、所定の認識処理を行うステップとを含む、画像認識方法。

【請求項11】

コンピュータを、
画像中の注目領域と当該画像の撮影位置とを対応付けて蓄積する蓄積部から、移動体の位置に基づいて、前記移動体に搭載されたカメラにより撮影された前記移動体の周囲の画像中の注目領域を取得する取得部と、
前記移動体の周囲の画像から所定の注目領域を抽出する抽出部と、
前記抽出部による前記注目領域の抽出の成否を判定する判定部と、
前記判定部の判定結果に基づいて、前記抽出部が抽出した前記注目領域と前記取得部が取得した前記注目領域の少なくとも一方を選択する選択部と、
前記移動体の周囲の画像から、前記選択部が選択した前記注目領域の像を切出す切出し部と、
切出された前記注目領域の像に基づいて、所定の認識処理を行う認識処理部、として機能させるためのコンピュータプログラム。

【請求項12】

移動体に搭載されるカメラと、
画像中の注目領域と当該画像の撮影位置とを対応付けて蓄積する蓄積部から、前記移動体の位置に基づいて、前記カメラにより撮影された前記移動体の周囲の画像中の注目領域を取得する取得部と、
前記移動体の周囲の画像から所定の注目領域を抽出する抽出部と、
前記抽出部による前記注目領域の抽出の成否を判定する判定部と、
前記判定部の判定結果に基づいて、前記抽出部が抽出した前記注目領域と前記取得部が取得した前記注目領域の少なくとも一方を選択する選択部と、
前記移動体の周囲の画像から、前記選択部が選択した前記注目領域の像を切出す切出し部と、
切出された前記注目領域の像に基づいて、所定の認識処理を行う認識処理部とを備える、画像認識システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像認識装置、画像認識方法、コンピュータプログラム、および画像認識システムに関する。

【背景技術】

【0002】

従来、自動車などの移動体に搭載されたカメラにより撮影された移動体の周辺の画像から、道路標識などを認識し、認識結果に基づいて移動体の走行を制御するシステムが提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－２２０１９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

移動体の走行制御のためには、画像中の対象物を正確に認識することと、画像を遅滞なく処理することとが望まれる。

【0005】

画像を遅滞なく処理するためには、画像から所定の対象物を含む注目領域の像を抽出し、抽出した注目領域の像に対して対象物の認識処理を集中的に実行する必要がある。

【0006】

しかしながら、夜間、雨天、霧、夕方、逆光、臨時に設置された物体の影、停電などの影響により、カメラで撮影した画像が不鮮明になる場合がある。このような場合には、道路標識や交通信号機などの対象物が不鮮明に映るために、注目領域の像が抽出できなかったり、誤った位置の像を抽出するなど、注目領域の像の抽出に失敗する場合がある。これにより、対象物を正確に認識することができない場合がある。また、画像から注目領域の像が抽出できなかった場合には、画像の全領域を処理対象として認識処理が実行されることより、画像を遅滞なく処理することが困難になる。
なお、このような問題は、自動車のみならず、移動ロボット等の他の移動体の走行制御においても同様に生じる。

【0007】

本開示は、このような事情に鑑みてなされたものであり、画像中の対象物を遅滞なく正確に認識することのできる画像認識装置、画像認識方法、コンピュータプログラム、および画像認識システムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本開示の一態様に係る画像認識装置は、画像中の注目領域と当該画像の撮影位置とを対応付けて蓄積する蓄積部から、移動体の位置に基づいて、前記移動体に搭載されたカメラにより撮影された前記移動体の周囲の画像中の注目領域を取得する取得部と、前記移動体の周囲の画像から、前記注目領域の像を切出す切出し部と、前記注目領域の像に基づいて、所定の認識処理を行う認識処理部とを備える。

【0009】

本開示の他の一態様に係る画像認識方法は、画像中の注目領域と当該画像の撮影位置とを対応付けて蓄積する蓄積部から、移動体の位置に基づいて、前記移動体に搭載されたカメラにより撮影された前記移動体の周囲の画像中の注目領域を取得するステップと、前記移動体の周囲の画像から、前記注目領域の像を切出すステップと、前記注目領域の像に基づいて、所定の認識処理を行うステップとを含む。

【0010】

本開示の他の一態様に係るコンピュータプログラムは、コンピュータを、画像中の注目領域と当該画像の撮影位置とを対応付けて蓄積する蓄積部から、移動体の位置に基づいて、前記移動体に搭載されたカメラにより撮影された前記移動体の周囲の画像中の注目領域を取得する取得部と、前記移動体の周囲の画像から、前記注目領域の像を切出す切出し部と、前記注目領域の像に基づいて、所定の認識処理を行う認識処理部、として機能させる。

【0011】

本開示の他の一態様に係る画像認識システムは、移動体に搭載されるカメラと、画像中の注目領域と当該画像の撮影位置とを対応付けて蓄積する蓄積部から、前記移動体の位置に基づいて、前記カメラにより撮影された前記移動体の周囲の画像中の注目領域を取得する取得部と、前記移動体の周囲の画像から、前記注目領域の像を切出す切出し部と、前記注目領域の像に基づいて、所定の認識処理を行う認識処理部とを備える。

【0012】

なお、コンピュータプログラムを、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。また、本開示は、画像認識装置の一部または全部を実現する半導体集積回路として実現することもできる。

【発明の効果】

【0013】

本開示によると、画像中の対象物を遅滞なく正確に認識することができる。

【図面の簡単な説明】

【0014】

【図1】図１は、本開示の実施形態１に係る運転支援システムの全体構成を示す図である。

【図2】図２は、本開示の実施形態１に係る制御システムの構成の一例を示すブロック図である。

【図3】図３は、プロセッサの機能的な構成を示すブロック図である。

【図4】図４は、サーバに蓄積されている注目領域情報の一例を示す図である。

【図5】図５は、注目領域の一例を示す図である。

【図6】図６は、本開示の実施形態１に係る制御システムが実行する処理のフローチャートである。

【図7】図７は、本開示の実施形態１に係る抽出成否判定処理（図６のステップＳ３）の詳細を示すフローチャートである。

【図8】図８は、本開示の実施形態２に係る抽出成否判定処理（図６のステップＳ３）の詳細を示すフローチャートである。

【図9】図９は、本開示の実施形態３に係る抽出成否判定処理（図６のステップＳ３）の詳細を示すフローチャートである。

【発明を実施するための形態】

【0015】

［本開示の実施形態の概要］
最初に本開示の実施形態の概要を列記して説明する。
（１）本開示の一実施形態に係る画像認識装置は、画像中の注目領域と当該画像の撮影位置とを対応付けて蓄積する蓄積部から、移動体の位置に基づいて、前記移動体に搭載されたカメラにより撮影された前記移動体の周囲の画像中の注目領域を取得する取得部と、前記移動体の周囲の画像から、前記注目領域の像を切出す切出し部と、前記注目領域の像に基づいて、所定の認識処理を行う認識処理部とを備える。

【0016】

この構成によると、移動体の位置に対応した注目領域の情報が蓄積部から取得され、取得された情報が示す注目領域の像が画像から切出される。また、切出された注目領域の像に基づいて、所定の認識処理が実行される。例えば、移動体が工場内を自律走行する移動ロボットである場合には、工場内の表示装置、道路標識または工場通路などの位置は変化しない。このため、同じ位置で撮影された画像における注目領域は同じである。よって、蓄積部から注目領域の情報を取得することにより、注目領域の像を正確に切出すことができる。これにより、画像中の対象物を遅滞なく正確に認識することができる。

【0017】

（２）好ましくは、前記移動体の周囲の画像から所定の注目領域を抽出する抽出部と、前記抽出部による前記注目領域の抽出の成否を判定する判定部と、前記判定部の判定結果に基づいて、前記抽出部が抽出した前記注目領域と前記取得部が取得した前記注目領域の少なくとも一方を選択する選択部とをさらに備え、前記切出し部は、前記選択部が選択した前記注目領域の像を切出す。

【0018】

この構成によると、画像から注目領域の抽出に失敗した場合に、移動体の位置に対応した注目領域の情報が蓄積部から取得され、取得された情報が示す注目領域の像が画像から切出される。また、切出された注目領域の像に基づいて、所定の認識処理が実行される。例えば、移動体が工場内を自律走行する移動ロボットである場合は、工場内の表示装置、道路標識または歩行者通行用の工場通路などの位置は変化しない。このため、同じ位置で撮影された画像における注目領域は同じである。よって、蓄積部から注目領域の情報を取得することにより、画像が不鮮明等の理由により注目領域の抽出に失敗した場合であっても、注目領域の像を正確に切出すことができる。これにより、画像中の対象物を遅滞なく正確に認識することができる。

【0019】

（３）さらに好ましくは、前記判定部は、前記注目領域の抽出結果に基づいて、前記注目領域の抽出の成否を判定する。

【0020】

この構成によると、例えば、画像から注目領域が抽出できなかった場合に、注目領域の抽出に失敗したと判定することができる。

【0021】

（４）また、前記判定部は、前記注目領域の抽出の確からしさを示す確信度に基づいて、前記注目領域の抽出の成否を判定してもよい。

【0022】

この構成によると、例えば、注目領域の確信度が所定の基準よりも低い場合には、注目領域の抽出に失敗したと判定することができる。これにより、抽出された注目領域の確信度が所定の基準以上の場合には、当該注目領域の像に基づいて認識処理が実行される。また、抽出された注目領域の確信度が所定の基準未満の場合には、移動体の位置に対応した注目領域の像に基づいて認識処理が実行される。これにより、画像中の対象物を正確に認識することができる。

【0023】

（５）また、前記判定部は、前記画像撮影時の異常状態情報に基づいて、前記注目領域の抽出の成否を判定してもよい。

【0024】

この構成によると、例えば、屋外において雨や雪などの気象の異常状態により不鮮明な画像しか得られない場合や、屋内（例えば、工場内）での停電または災害（例えば、火災による煙の発生）などの異常状態により不鮮明な画像しか得られない場合には、注目領域の抽出に失敗したと判定することができる。これにより、晴れの場合や異常が発生していない場合などの正常状態時には、抽出された注目領域の像に基づいて認識処理が実行される。また、雨や雪、災害時などの異常状態時には、移動体の位置に対応した注目領域の像に基づいて認識処理が実行される。これにより、画像中の対象物を正確に認識することができる。

【0025】

（６）また、前記選択部は、さらに、ユーザによる選択指示に基づいて、前記抽出部が抽出した前記注目領域と前記取得部が取得した前記注目領域の少なくとも一方を選択してもよい。

【0026】

この構成によると、ユーザの選択により、注目領域の選択が行われる。これにより、状況に応じて、注目領域の切り替えを行うことができる。例えば、抽出部が抽出した注目領域の像に基づく認識処理の認識精度が低下したとユーザが判断した場合には、移動体の位置に対応した注目領域の像に基づく認識処理に切り替えることができる。

【0027】

（７）また、前記切出し部は、さらに、前記画像から前記注目領域以外の領域を含む非注目領域の像を切出し、前記画像認識装置は、前記非注目領域の像のデータ量を削減する削減部をさらに備え、前記認識処理部は、前記注目領域の像およびデータ量が削減された前記非注目領域の像に基づいて、前記所定の認識処理を行ってもよい。

【0028】

この構成によると、非注目領域の像に対しては間引き処理等のデータ量の削減処理が行われた上で、所定の認識処理が実行される。非注目領域は、例えば、空や、路側の建物などの認識の対象物以外の領域である。これにより、非注目領域に対する認識処理の処理負荷を低減させることができ、画像を遅滞なく処理することができる。

【0029】

（８）また、前記蓄積部は、さらに、前記画像撮影時の時刻を対応付けて蓄積し、前記取得部は、前記移動体の位置および現在時刻に基づいて、前記蓄積部から前記注目領域を取得してもよい。

【0030】

この構成によると、例えば、現在時刻に最も近い時刻に撮影された画像から抽出された注目領域を取得することができる。これにより、例えば、時間帯によって進行方向が変化するリバーシブルレーンを移動体が走行している場合に、進行方向が逆の時間帯にリバーシブルレーンを走行した移動体が撮影した画像から抽出された注目領域を取得することがなくなる。また、例えば、現在時刻が夜間である場合には昼間に撮影された画像から抽出された注目領域を優先して取得することもできる。これにより、正確な注目領域を取得することができる。

【0031】

（９）また、前記蓄積部は、さらに、前記画像のサイズを対応付けて蓄積し、前記取得部は、さらに、前記注目領域に対応する前記画像のサイズを取得し、取得した前記サイズと、前記カメラにより撮影された前記画像のサイズとに基づいて、取得した前記注目領域を補正してもよい。

【0032】

この構成によると、移動体に搭載されるカメラにより撮影される画像のサイズと、蓄積部に蓄積された注目領域の抽出の基となった画像のサイズとが異なる場合であっても、正確な位置の注目領域の像を切り出すことができる。

【0033】

（１０）また、前記蓄積部は、さらに、前記画像の画角を対応付けて蓄積し、前記取得部は、さらに、前記注目領域に対応する前記画像の画角を取得し、取得した前記画角と、前記カメラにより撮影された前記画像の画角とに基づいて、取得した前記注目領域を補正してもよい。

【0034】

この構成によると、移動体に搭載されるカメラにより撮影される画像の画角と、蓄積部に蓄積された注目領域の抽出の基となった画像の画角とが異なる場合であっても、正確な位置の注目領域の像を切り出すことができる。

【0035】

（１１）本開示の他の実施形態に係る画像認識方法は、画像中の注目領域と当該画像の撮影位置とを対応付けて蓄積する蓄積部から、移動体の位置に基づいて、前記移動体に搭載されたカメラにより撮影された前記移動体の周囲の画像中の注目領域を取得するステップと、前記移動体の周囲の画像から、前記注目領域の像を切出すステップと、前記注目領域の像に基づいて、所定の認識処理を行うステップとを含む。

【0036】

この構成は、上述の画像認識装置における特徴的な処理をステップとして含む。このため、この構成によると、上述の画像認識装置と同様の作用および効果を奏することができる。

【0037】

（１２）本開示の他の実施形態に係るコンピュータプログラムは、コンピュータを、画像中の注目領域と当該画像の撮影位置とを対応付けて蓄積する蓄積部から、移動体の位置に基づいて、前記移動体に搭載されたカメラにより撮影された前記移動体の周囲の画像中の注目領域を取得する取得部と、前記移動体の周囲の画像から、前記注目領域の像を切出す切出し部と、前記注目領域の像に基づいて、所定の認識処理を行う認識処理部、として機能させる。

【0038】

この構成によると、コンピュータを、上述の画像認識装置として機能させることができる。このため、上述の画像認識装置と同様の作用および効果を奏することができる。

【0039】

（１３）本開示の他の実施形態に係る画像認識システムは、移動体に搭載されるカメラと、画像中の注目領域と当該画像の撮影位置とを対応付けて蓄積する蓄積部から、前記移動体の位置に基づいて、前記カメラにより撮影された前記移動体の周囲の画像中の注目領域を取得する取得部と、前記移動体の周囲の画像から、前記注目領域の像を切出す切出し部と、前記注目領域の像に基づいて、所定の認識処理を行う認識処理部とを備える。

【0040】

この構成によると、移動体の位置に対応した注目領域の情報が蓄積部から取得され、取得された情報が示す注目領域の像を画像から切出される。また、切出された注目領域の像に基づいて、所定の認識処理が実行される。例えば、移動体が工場内を自律走行する移動ロボットである場合には、工場内の表示装置、道路標識または工場通路などの位置は変化しない。このため、同じ位置で撮影された画像における注目領域は同じである。よって、蓄積部から注目領域の情報を取得することにより、注目領域の像を正確に切出すことができる。これにより、画像中の対象物を遅滞なく正確に認識することができる。

【0041】

［本開示の実施形態の詳細］
以下、本開示の実施形態について、図面を参照しながら説明する。なお、以下で説明する実施形態は、いずれも本開示の一具体例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定するものではない。また、以下の実施形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
また、同一の構成要素には同一の符号を付す。それらの機能および名称も同様であるため、それらの説明は適宜省略する。

【0042】

＜実施形態１＞
〔運転支援システムの全体構成〕
図１は、本開示の実施形態１に係る運転支援システムの全体構成を示す図である。

【0043】

図１を参照して、運転支援システム１は、無線通信が可能な道路上を走行する複数の移動体２と、移動体２と無線通信する１または複数の基地局６と、基地局６とインターネット等のネットワーク５を介して有線または無線で通信するサーバ４とを備える。

【0044】

基地局６は、マクロセル基地局、マイクロセル基地局、およびピコセル基地局などからなる。

【0045】

移動体２は、例えば、工場内を自律走行しながら荷物を搬送する搬送ロボットや、工場内を自律走行しながら監視する監視ロボットなどの移動ロボットである。本実施形態では、移動体２は、移動ロボットであるものとする。ただし、移動体２は、工場内を走行する移動ロボットに限定されるものではない。移動体２には、例えば、道路を走行する通常の乗用車の他、路線バスや緊急車両などの公共車両も含まれる。また、移動体２は、四輪車だけでなく、二輪車（バイク）であってもよい。

【0046】

各移動体２は、後述するようにカメラを含む制御システム３を備えており、カメラで移動体２の周囲を撮影することにより得られる画像中の注目領域の位置と、少なくともカメラの撮影位置および撮影方向とを、ネットワーク５を介してサーバ４に送信する。なお、カメラの撮影位置は、カメラによる撮影時の移動体２の位置と同じである。なお、本実施形態では、カメラの光軸は移動体２の前方を向いているものとする。このため、移動体２の進行方向をカメラの撮影方向とする。

【0047】

本実施形態において、注目領域は、移動体２の自動運転に重要な情報を含む領域であって、静的情報または準静的情報を含む領域である。例えば、注目領域は、静的情報として、恒常的に存在する工場内の表示装置、道路標識または工場通路などを含む領域である。また、注目領域は、準静的情報として、一時的に存在する道路工事現場、交通事故現場などを含む領域である。

【0048】

サーバ４は、ネットワーク５を介して、複数の移動体２から、注目領域の位置および付属データの組を受信し、サーバ４の蓄積部に注目領域情報として記憶する。

【0049】

サーバ４は、ネットワーク５を介して、制御システム３から、少なくとも移動体２の位置情報を受け、移動体２の位置に対応する注目領域の位置情報を、ネットワーク５を介して制御システム３に送信する。

【0050】

制御システム３は、ネットワーク５を介して、サーバ４から注目領域の位置情報を受信する。制御システム３は、受信した注目領域の位置情報に基づいて、制御システム３が撮影した画像から注目領域の像を切出す。制御システム３は、切出した注目領域像に対して所定の画像処理を施すことにより、所定の認識処理を行う。例えば、制御システム３は、注目領域像に含まれる対象物を認識し、認識結果に応じた処理を行う。一例として、対象物が一時停止を示す道路標識の場合には、制御システム３は、移動体２を安全に一時停止させるための移動体２の制動制御を行う。

【0051】

〔移動体２の構成〕
図２は、本開示の実施形態１に係る制御システム３の構成の一例を示すブロック図である。

【0052】

図２に示すように、移動体２の制御システム３は、カメラ３１と、通信部３２と、クロック３３と、制御部（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）３４と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機３７と、ジャイロセンサ３８と、速度センサ３９とを備える。

【0053】

カメラ３１は、移動体２の周囲（特に、移動体２の前方）の映像を取り込む画像センサよりなる。カメラ３１は、単眼である。ただし、カメラ３１は、複眼であってもよい。映像は、時系列の複数の画像より構成される。

【0054】

通信部３２は、例えば５Ｇ（第５世代移動通信システム）対応の通信処理が可能な無線通信機よりなる。なお、通信部３２は、移動体２に既設の無線通信機であってもよいし、搭乗者が移動体２に持ち込んだ携帯端末であってもよい。

【0055】

搭乗者の携帯端末は、移動体２の車内ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続されることにより、一時的に車載の無線通信機となる。

【0056】

クロック３３は、現在の時刻を計時する。

【0057】

制御部３４は、移動体２の各機器３１～３３、３７～３９の制御を行うコンピュータ装置よりなる。制御部３４は、ＧＰＳ受信機３７が定期的に取得するＧＰＳ信号により自移動体の移動体位置を求める。なお、制御部３４は、図示しない準天頂衛星から送信される信号の受信機が受信したＧＰＳ補完信号またはＧＰＳ補強信号を合わせて用いることで、ＧＰＳ信号を補完したり、自移動体の移動体位置を補正したりしてもよい。なお、移動体位置は、車線を区別できる程度の位置精度を有しているのが好ましい。

【0058】

制御部３４は、ジャイロセンサ３８および速度センサ３９の入力信号に基づいて、移動体２の位置および方向を補完し、移動体２の正確な現在位置および方向を把握する。ここで、移動体２の現在位置は、例えば、緯度および経度により示される。また、移動体２の方向（進行方向）は、例えば、北を０度とする時計回りの０度～３６０度の範囲の角度で示される。

【0059】

ＧＰＳ受信機３７、ジャイロセンサ３８および速度センサ３９は、移動体２の現在位置、方向および速度を計測するセンサ類である。

【0060】

制御部３４は、プロセッサ３５と、メモリ３６とを備える。
プロセッサ３５は、メモリ３６に格納されたコンピュータプログラムを実行するマイクロコンピュータなどの演算処理装置である。

【0061】

メモリ３６は、ＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）またはＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）などの揮発性のメモリ素子、フラッシュメモリ若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性のメモリ素子、または、ハードディスクなどの磁気記憶装置などにより構成されている。メモリ３６は、制御部３４で実行されるコンピュータプログラムや、制御部３４におけるコンピュータプログラム実行時に生成されるデータ等を記憶する。

【0062】

〔プロセッサ３５の機能構成〕
図３は、プロセッサ３５の機能的な構成を示すブロック図である。

【0063】

図３を参照して、プロセッサ３５は、メモリ３６に記憶されたコンピュータプログラムを実行することにより実現される機能的な処理部として、画像取得部５１と、注目領域抽出部５２と、抽出成否判定部５３と、注目領域取得部５４と、移動体位置判断部５５と、注目領域選択部５６と、切出し部５７と、データ量削減部５８と、認識処理部５９とを含む。

【0064】

画像取得部５１は、カメラ３１が撮影した移動体２の前方の画像を時系列で順次取得する。画像取得部５１は、取得した画像を注目領域抽出部５２および切出し部５７に順次出力する。

【0065】

注目領域抽出部５２は、画像取得部５１から画像を取得し、取得した画像から注目領域を抽出する。例えば、注目領域抽出部５２は、画像、および画像中の注目領域を学習データとして機械学習された学習モデルを用いて、取得した画像を学習モデルに入力することにより、注目領域を得る。また、注目領域抽出部５２は、学習モデルから注目領域の確からしさを示す確信度を得る。学習モデルは、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＡｕｔｏＥｎｃｏｄｅｒなどであり、ディープラーニングなどの機械学習手法により、学習モデルの各パラメータが決定されているものとする。

【0066】

本実施形態では、注目領域は、矩形であるとする。また、注目領域は、矩形の左上隅座標と、矩形のＸ方向およびＹ方向の幅とで規定されるものとする。ただし、注目領域の位置は上記したものに限定されない。例えば、矩形の左上隅座標と右下隅座標とで注目領域を規定してもよい。また、注目領域は、楕円形など矩形以外の形状であってもよい。

【0067】

注目領域抽出部５２は、抽出した注目領域と確信度を抽出成否判定部５３および注目領域選択部５６に出力する。

【0068】

抽出成否判定部５３は、注目領域抽出部５２による前記注目領域の抽出の成否を判定する。具体的には、抽出成否判定部５３は、注目領域抽出部５２が抽出した確信度に基づいて、注目領域の抽出の成否を判定する。例えば、抽出成否判定部５３は、確信度が所定の閾値ＴＨ以上であれば注目領域の抽出に成功したと判定し、確信度が所定の閾値ＴＨ未満であれば注目領域の抽出に失敗したと判定する。

【0069】

なお、画像中に複数の注目領域が含まれる場合には、複数の確信度に基づいて注目領域の抽出の成否を判定してもよい。例えば、抽出成否判定部５３は、複数の確信度のうち、最小の確信度が所定の閾値ＴＨ以上であれば注目領域の抽出に成功したと判定し、最小の確信度が所定の閾値ＴＨ未満であれば注目領域の抽出に失敗したと判定してもよい。また、最小の確信度の代わりに、複数の確信度の平均を用いてもよい。また、抽出成否判定部５３は、注目領域ごとに抽出の成否を判定してもよい。

【0070】

抽出成否判定部５３は、判定結果を、注目領域抽出部５２、注目領域取得部５４、移動体位置判断部５５および注目領域選択部５６に出力する。

【0071】

注目領域抽出部５２は、注目領域の抽出に成功したと判定された場合には、注目領域の位置と、少なくともカメラ３１の撮影位置および撮影方向とを、通信部３２を介してサーバ４に送信する。サーバ４は、移動体２から受信した情報を、注目領域情報４１として記憶する。

【0072】

注目領域取得部５４は、後述する移動体位置判断部５５が判断した移動体２の位置に基づいて、サーバ４に蓄積されている注目領域情報４１から、注目領域を取得する。

【0073】

図４は、サーバ４に蓄積されている注目領域情報４１の一例を示す図である。
注目領域情報４１は、移動体ＩＤと、撮影時刻と、撮影位置と、注目領域と、移動方向と、画角と、映像サイズとを含む。これらの情報は、各移動体２がサーバ４にアップロードする。

【0074】

移動体ＩＤは、アップロードした移動体２の識別情報である。移動体ＩＤは、移動体２に固有のＩＤや移動体２のユーザに固有のＩＤであってもよい。
撮影時刻は、移動体２に搭載されたカメラ３１の撮影時刻を示す。
撮影位置は、カメラ３１の撮影位置であり、画像撮影時の移動体２の位置と等しい。撮影位置は、例えば、北緯Ｎおよび東経Ｅで示される。

【0075】

注目領域は、画像から抽出された注目領域の画像中での位置（Ｘ，Ｙ，Ｗ，Ｈ）を示す。ＸおよびＹは、注目領域の左上隅座標のＸ座標およびＹ座標をそれぞれ示し、ＷおよびＨは、注目領域のＸ方向およびＹ方向の幅をそれぞれ示す。
移動方向は、移動体２の進行方向を示す。
画角は、カメラ３１の画角を示す。

【0076】

映像サイズはカメラ３１が撮影する画像のサイズを示す。例えば、４Ｋは、３８４０×２１６０（ｐｉｘｅｌ）を示し、８Ｋは、７６８０×４３２０（ｐｉｘｅｌ）を示す。

【0077】

例えば、移動体ＩＤ「Ｃ００１」の移動体２が、撮影時刻「９：００：０３」に、撮影位置（Ｎ１，Ｅ１）において撮影した画像から抽出された５つの注目領域は、（Ｘ１，Ｙ１，Ｗ１，Ｈ１）、（Ｘ２，Ｙ２，Ｗ２，Ｈ２）、（Ｘ３，Ｙ３，Ｗ３，Ｈ３）、（Ｘ４，Ｙ４，Ｗ４，Ｈ４）および（Ｘ５，Ｙ５，Ｗ５，Ｈ５）である。移動体２の方向は４５°であり、画像の画角は６０°、画像サイズは４Ｋである。

【0078】

また、移動体ＩＤ「Ｃ００１」の移動体２が、撮影時刻「９：０１：４５」に、撮影位置（Ｎ２，Ｅ２）において撮影した画像から抽出された注目領域は、（Ｘ６，Ｙ６，Ｗ６，Ｈ６）である。移動体２の方向は４８°であり、画像の画角は６０°、画像サイズは４Ｋである。

【0079】

また、移動体ＩＤ「Ｃ００２」の移動体２が、撮影時刻「２０：０２：５５」に、撮影位置（Ｎ１，Ｅ１）において撮影した画像から抽出された注目領域は、（Ｘ７，Ｙ７，Ｗ７，Ｈ７）である。移動体２の方向は４５°であり、画像の画角は１２０°、画像サイズは８Ｋである。

【0080】

図５は、注目領域の一例を示す図である。図５は、カメラ３１により撮影された画像上に矩形の注目領域を示している。例えば、道路標識を含むように注目領域（Ｘ１，Ｙ１，Ｗ１，Ｈ１）が設定され、工場通路を含むように注目領域（Ｘ２，Ｙ２，Ｗ２，Ｈ２）、（Ｘ３，Ｙ３，Ｗ３，Ｈ３）、（Ｘ４，Ｙ４，Ｗ４，Ｈ４）および（Ｘ５，Ｙ５，Ｗ５，Ｈ５）が設定されている。

【0081】

再び図３を参照して、例えば、注目領域取得部５４は、移動体位置判断部５５が判断した移動体２の位置が（Ｎ２，Ｅ２）である場合には、注目領域情報４１から、撮影位置（Ｎ２，Ｅ２）に対応した注目領域（Ｘ６，Ｙ６，Ｗ６，Ｈ６）を取得する。

【0082】

ただし、注目領域取得部５４は、移動体２の位置および現在時刻に基づいて、注目領域情報４１から注目領域を取得するようにしてもよい。例えば、移動体位置判断部５５が判断した移動体２の位置が（Ｎ１，Ｅ１）である場合には、注目領域情報４１には、撮影位置（Ｎ１，Ｅ１）に対応した注目領域として、撮影時刻「９：００：０３」の注目領域（Ｘ１，Ｙ１，Ｗ１，Ｈ１）、（Ｘ２，Ｙ２，Ｗ２，Ｈ２）、（Ｘ３，Ｙ３，Ｗ３，Ｈ３）、（Ｘ４，Ｙ４，Ｗ４，Ｈ４）および（Ｘ５，Ｙ５，Ｗ５，Ｈ５）と、撮影時刻「２０：０２：５５」の注目領域（Ｘ７，Ｙ７，Ｗ７，Ｈ７）とが含まれる。そこで、注目領域取得部５４は、これらのうち、現在時刻に最も近い時刻に対応した注目領域を注目領域情報４１から取得する。例えば、注目領域取得部５４は、現在時刻が「９：３０：００」の場合には、撮影時刻「９：００：０３」に対応した注目領域（Ｘ１，Ｙ１，Ｗ１，Ｈ１）、（Ｘ２，Ｙ２，Ｗ２，Ｈ２）、（Ｘ３，Ｙ３，Ｗ３，Ｈ３）、（Ｘ４，Ｙ４，Ｗ４，Ｈ４）および（Ｘ５，Ｙ５，Ｗ５，Ｈ５）を取得する。また、注目領域取得部５４は、現在時刻が「１９：００：００」の場合には、撮影時刻「２０：０２：５５」に対応した注目領域（Ｘ７，Ｙ７，Ｗ７，Ｈ７）を取得する。

【0083】

なお、注目領域取得部５４は、移動体２の位置に加え、移動体２の方向を考慮して注目領域を取得するのが望ましい。これにより、同じ位置であっても、反対方向に走行する移動体２から得られた注目領域情報を取得することなく、同一の方向に走行する移動体２から得られた注目領域情報を取得することができる。ただし、移動体２が一方通行の道路を走行している場合や、移動体２の位置から移動体２の走行車線を特定可能な場合には、移動体２の方向を考慮しなくてもよい。

【0084】

移動体位置判断部５５は、移動体２の位置を判断する。具体的には、移動体位置判断部５５は、ＧＰＳ受信機３７が定期的に取得するＧＰＳ信号により移動体２の位置を求める。なお、移動体位置判断部５５は、ジャイロセンサ３８および速度センサ３９の入力信号に基づいて、移動体２の位置および方向を補完し、移動体２の正確な現在位置および方向を把握する。また、移動体位置判断部５５は、メモリ３６に予め記憶されている地図情報６１を参照して、求めた移動体２の位置を道路上の位置に対応付けるマップマッチング処理を行うことにより、移動体２の正確な位置を判断する。

【0085】

注目領域選択部５６は、抽出成否判定部５３の判定結果に基づいて、注目領域抽出部５２が抽出した注目領域および注目領域取得部５４が取得した注目領域の少なくとも一方を選択する。

【0086】

例えば、注目領域選択部５６は、注目領域の抽出に成功したと判断された場合には、注目領域抽出部５２が抽出した注目領域を選択し、注目領域の抽出に失敗したと判断された場合には、注目領域取得部５４が取得した注目領域を選択する。なお、注目領域選択部５６は、注目領域の抽出に成功したと判断された場合には、注目領域抽出部５２が抽出した注目領域と注目領域取得部５４が取得した注目領域の両方を選択してもよい。

【0087】

切出し部５７は、画像取得部５１が取得した画像から、注目領域の像（注目領域像）と、注目領域以外の像（非注目領域像）とを切出す。切出し部５７は、注目領域像を認識処理部５９に出力し、非注目領域像をデータ量削減部５８に出力する。

【0088】

データ量削減部５８は、非注目領域像のデータ量の削減処理を行う。例えば、データ量削減部５８は、非注目領域像を縮小するダウンスケーリング処理を行ってもよいし、非注目領域像の各画素の輝度値を示すビット数を低減して、階調度（色深度）を削減してもよい。また、データ量削減部５８は、非注目領域像の時間的な間引き処理（例えば、時系列に画像のうち偶数番目の画像から得られた非注目領域を削除する処理）を行ってもよい。データ量削減部５８は、データ量の削減処理後の非注目領域像を認識処理部５９に出力する。

【0089】

認識処理部５９は、切出し部５７から受け取った注目領域像とデータ量削減部５８から受け取った非注目領域像とに基づいて、所定の認識処理を実行する。例えば、認識処理部５９は、注目領域像に対して所定の画像処理を施し、工場内の表示装置、一時停止の道路標識、工場通路上の歩行者の存否などを認識する。認識処理部５９の認識結果は、例えば、移動体２の自動運転の制御に用いられる。認識処理部５９は、例えば、画像および認識結果を示すラベルを学習データとして機械学習された学習モデルに、注目領域像を入力することにより、注目領域像の認識結果を得る。学習モデルは、例えば、ＣＮＮ、ＲＮＮ、ＡｕｔｏＥｎｃｏｄｅｒなどであり、ディープラーニングなどの手法により、学習モデルの各パラメータが決定されているものとする。
なお、認識処理部５９は、非注目領域像に対しても同様の処理を実行してもよい。

【0090】

〔制御システム３の処理の流れ〕
図６は、本開示の実施形態１に係る制御システム３が実行する処理のフローチャートである。
画像取得部５１は、カメラ３１から画像を取得する（ステップＳ１）。
注目領域抽出部５２は、画像取得部５１が取得した画像に基づいて、注目領域と注目領域の確信度を抽出する（ステップＳ２）。
抽出成否判定部５３は、注目領域の抽出の成否を判定する（ステップＳ３）。

【0091】

図７は、本開示の実施形態１に係る抽出成否判定処理（図６のステップＳ３）の詳細を示すフローチャートである。
抽出成否判定部５３は、注目領域抽出部５２が抽出した注目領域の確信度が所定の閾値ＴＨ以上であるか否かを判定する（ステップＳ２１）。
確信度が閾値ＴＨ以上であれば（ステップＳ２１においてＹＥＳ）、抽出成否判定部５３は、注目領域の抽出に成功したと判定する（ステップＳ２２）。
確信度が閾値ＴＨ未満であれば（ステップＳ２１においてＮＯ）、抽出成否判定部５３は、注目領域の抽出に失敗したと判定する（ステップＳ２３）。

【0092】

なお、ステップＳ２において、複数の注目領域が抽出された場合には、例えば、最小の確信度に基づいて、ステップＳ２１～Ｓ２３の処理が実行される。また、注目領域が抽出されなかった場合には、注目領域の抽出に失敗したと判定される。

【0093】

再び図６を参照して、注目領域の抽出に成功したと判定された場合には（ステップＳ４においてＹＥＳ）、注目領域抽出部５２は、注目領域の位置と、少なくともカメラ３１の撮影位置および撮影方向とを含む注目領域情報を、通信部３２を介してサーバ４に送信する（ステップＳ５）。
また、注目領域選択部５６は、ステップＳ２で抽出された注目領域を選択して、切出し部５７に出力する（ステップＳ６）。

【0094】

注目領域の抽出に失敗したと判定された場合には（ステップＳ４においてＮＯ）、移動体位置判断部５５は、移動体２の位置および方向を判断する（ステップＳ７）。
注目領域取得部５４は、判断された移動体２の位置および方向に基づいて、サーバ４から、当該位置および方向に対応する注目領域情報を読み出す（ステップＳ８）。

【0095】

注目領域取得部５４は、読み出した注目領域情報に基づいて、注目領域を補正する（ステップＳ９）。例えば、対象とする移動体２に搭載されたカメラ３１の画像サイズが４Ｋであり、読み出した注目領域情報が示す画像サイズが８Ｋの場合には、注目領域情報が示す注目領域の値をそれぞれ半分にすることにより、４Ｋの画像の注目領域の値に補正する。同様に、注目領域取得部５４は、対象とする移動体２に搭載されたカメラ３１の画角が４５°であり、注目領域情報が示す画角が６０°の場合には、注目領域情報が示す注目領域の値を画角が４５°の画像上の値に変換する。変換処理は、例えば、異なる画角間での位置の対応関係を示した変換テーブルを用いて行われる。

【0096】

注目領域選択部５６は、ステップＳ８で取得され、ステップＳ９で補正された注目領域を選択して、切出し部５７に出力する（ステップＳ１０）。

【0097】

切出し部５７は、ステップＳ１で取得された画像から、注目領域像を切出す（ステップＳ１１）。また、切出し部５７は、ステップＳ１で取得された画像から、非注目領域像を切出す（ステップＳ１２）。

【0098】

データ量削減部５８は、ステップＳ１２で切出された非注目領域像に対して、データ量の削減処理を行う（ステップＳ１３）。

【0099】

認識処理部５９は、ステップＳ１１で切出された注目領域像と、ステップＳ１３でデータ量削減処理が施された非注目領域像とに基づいて、注目領域像および非注目領域像の認識処理を実行し、認識結果に基づいて移動体２の走行制御処理を行う（ステップＳ１４）。

【0100】

〔実施形態１の効果等〕
以上説明したように、本開示の実施形態１によると、移動体２の位置に対応した注目領域の情報がサーバ４から取得され、取得された情報が示す注目領域の像が画像から切出される。また、切出された注目領域の像に基づいて、所定の認識処理が実行される。例えば、工場内の表示装置、道路標識または工場通路などの位置は変化しない。このため、同じ位置で撮影された画像における注目領域は同じである。よって、サーバ４から注目領域の情報を取得することにより、注目領域の像を正確に切出すことができる。これにより、画像中の対象物を遅滞なく正確に認識することができる。

【0101】

また、画像から注目領域の抽出に失敗した場合には、移動体２の位置に対応した注目領域の情報がサーバ４から取得され、取得された注目領域の像が画像から切出される。これにより、例えば、画像が不鮮明等の理由により注目領域の抽出に失敗した場合であっても、注目領域の像を正確に切出すことができる。

【0102】

なお、抽出成否判定部５３は、注目領域の確信度が閾値ＴＨ未満の場合には注目領域の抽出に失敗したと判定し、閾値ＴＨ以上の場合には注目領域の抽出に成功したと判定している。これにより、抽出された注目領域の確信度が閾値ＴＨ以上の場合には、当該注目領域の像に基づいて認識処理が実行される。また、抽出された注目領域の確信度が閾値ＴＨ未満の場合には、移動体２の位置に対応した注目領域の像に基づいて認識処理が実行される。これにより、画像中の対象物を正確に認識することができる。

【0103】

また、非注目領域像に対しては間引き処理等のデータ量の削減処理が行われた上で、所定の認識処理が実行される。非注目領域は、例えば、空や、路側の建物などの認識の対象物以外の領域である。これにより、非注目領域に対する認識処理の処理負荷を低減させることができ、画像を遅滞なく処理することができる。

【0104】

また、注目領域取得部５４は、移動体２の位置および現在時刻に基づいて注目領域を取得しているため、例えば、現在時刻に最も近い時刻に撮影された画像から抽出された注目領域を取得することができる。これにより、例えば、時間帯によって進行方向が変化するリバーシブルレーンを移動体２が走行している場合に、進行方向が逆の時間帯にリバーシブルレーンを走行した他の移動体２が撮影した画像から抽出された注目領域を取得することがなくなる。また、例えば、現在時刻が夜間である場合には昼間に撮影された画像から抽出された注目領域を優先して取得してもよい。夜間に比べ昼間の方が画像が鮮明である。これにより、正確な注目領域を取得することができる。

【0105】

また、注目領域取得部５４は、画像サイズに基づいて、サーバ４から取得した注目領域を補正する。このため、移動体２に搭載されるカメラ３１により撮影される画像のサイズと、サーバ４に蓄積された注目領域の抽出の基となった画像のサイズとが異なる場合であっても、正確な位置の注目領域の像を切り出すことができる。

【0106】

また、注目領域取得部５４は、画角に基づいて、サーバ４から取得した注目領域を補正する。このため、移動体２に搭載されるカメラ３１により撮影される画像の画角と、サーバ４に蓄積された注目領域の抽出の基となった画像の画角とが異なる場合であっても、正確な位置の注目領域の像を切り出すことができる。

【0107】

＜実施形態２＞
本開示の実施形態２では、注目領域の抽出の成否判定方法の他の例について説明する。
運転支援システム１の構成を実施形態１と同様である。以下では、実施形態１と異なる点を中心に説明する。

【0108】

図８は、本開示の実施形態２に係る抽出成否判定処理（図６のステップＳ３）の詳細を示すフローチャートである。
抽出成否判定部５３は、注目領域抽出部５２によって抽出された抽出領域があるか否かを判定する（ステップＳ３１）。

【0109】

抽出された注目領域があれば（ステップＳ３１においてＹＥＳ）、抽出成否判定部５３は、注目領域の抽出に成功したと判定する（ステップＳ３２）。
抽出された注目領域がなければ（ステップＳ３１においてＮＯ）、抽出成否判定部５３は、注目領域の抽出に失敗したと判定する（ステップＳ３３）。

【0110】

本開示の実施形態２によると、例えば、画像から注目領域が抽出できなかった場合に、注目領域の抽出に失敗したと判定することができる。

【0111】

＜実施形態３＞
本開示の実施形態３では、注目領域の抽出の成否判定方法の他の例について説明する。
制御システム３は、移動体２の位置の気象情報を提供する気象サーバ（図示せず）にネットワーク５を介して接続されているものとする。
このため、抽出成否判定部５３は、カメラ３１による画像撮影時における移動体２の位置の気象情報に基づいて、注目領域の抽出の成否を判定する。

【0112】

図９は、本開示の実施形態３に係る抽出成否判定処理（図６のステップＳ３）の詳細を示すフローチャートである。
抽出成否判定部５３は、通信部３２を介して気象サーバから、カメラ３１による画像撮影時における移動体２の位置の気象情報を取得する（ステップＳ４１）。

【0113】

取得した気象情報が雨または雪を示している場合には（ステップＳ４１においてＹＥＳ）、抽出成否判定部５３は、注目領域の抽出に失敗したと判定する（ステップＳ４３）。

【0114】

取得した気象情報が雨または雪以外を示している場合には（ステップＳ４２においてＮＯ）、抽出成否判定部５３は、注目領域の抽出に成功したと判定する（ステップＳ４４）。

【0115】

本開示の実施形態３によると、例えば、屋外において雨や雪などの気象の異常状態により不鮮明な画像しか得られない場合には、注目領域の抽出に失敗したと判定することができる。これにより、晴れの場合には、抽出された注目領域の像に基づいて認識処理が実行される。また、雨や雪の場合には、移動体２の位置に対応した注目領域の像に基づいて認識処理が実行される。これにより、画像中の対象物を正確に認識することができる。

【0116】

［付記］
以上、本開示の実施形態に係る運転支援システム１について説明したが、本開示は、この実施形態に限定されるものではない。

【0117】

たとえば、注目領域選択部５６は、ユーザによる選択指示に基づいて、注目領域抽出部５２が抽出した注目領域と、注目領域取得部５４が取得した注目領域の少なくとも一方を選択してもよい。これにより、状況に応じて、注目領域の切り替えを行うことができる。例えば、注目領域抽出部５２が抽出した注目領域の像に基づく認識処理の認識精度が低下したとユーザが判断した場合には、移動体２の位置に対応した注目領域の像に基づく認識処理に切り替えることができる。

【0118】

また、抽出成否判定部５３は、カメラ３１による画像の撮影時刻に基づいて、注目領域の抽出の成否を判定してもよい。例えば、抽出成否判定部５３は、撮影時刻が夜間の場合には注目領域の抽出に失敗したと判定し、撮影時刻が昼間の場合には注目領域の抽出に成功したと判定してもよい。

【0119】

また、抽出成否判定部５３は、画像取得部５１が取得したカメラ３１が撮影した画像に基づいて、注目領域の抽出の成否を判定してもよい。例えば、抽出成否判定部５３は、画像を認識処理することにより、屋内（例えば、工場内）での停電または災害（例えば、火災による煙の発生）などの異常状態を検出し、異常状態が生じている場合に注目領域の抽出に失敗したと判定してもよい。また、抽出成否判定部５３は、異常状態が生じていない場合には注目領域の抽出に成功したと判定してもよい。

【0120】

また、制御システム３が搭載される対象は移動ロボットなどの移動体に限定されるものではない。例えば、自動車、ドローンなどの他の移動体に制御システム３が搭載されていてもよい。

【0121】

また、認識処理部５９が行う認識処理の目的は自動運転には限定されない。例えば、制御システム３が工場内を移動する移動ロボットに搭載され、作業員の危険行為を防止するための監視用途に用いられてもよい。
また、上記の制御システム３を構成する構成要素の一部または全部は、１または複数のシステムＬＳＩなどの半導体装置から構成されていてもよい。

【0122】

上記したコンピュータプログラムを、コンピュータ読取可能な非一時的な記録媒体、例えば、ＨＤＤ、ＣＤ－ＲＯＭ、半導体メモリなどに記録して流通させてもよい。また、コンピュータプログラムを、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送して流通させてもよい。
さらに、上記実施形態および上記変形例の少なくとも一部を任意に組み合わせてもよい。

【0123】

今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0124】

１ 運転支援システム
２ 移動体
３ 制御システム（画像認識システム）
４ サーバ（蓄積部）
５ ネットワーク
６ 基地局
３１ カメラ
３２ 通信部
３３ クロック
３４ 制御部
３５ プロセッサ（画像認識装置）
３６ メモリ
３７ ＧＰＳ受信機
３８ ジャイロセンサ
３９ 速度センサ
４１ 注目領域情報
５１ 画像取得部
５２ 注目領域抽出部（抽出部）
５３ 抽出成否判定部（判定部）
５４ 注目領域取得部（取得部）
５５ 移動体位置判断部
５６ 注目領域選択部（選択部）
５７ 切出し部
５８ データ量削減部（削減部）
５９ 認識処理部
６１ 地図情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】