特開 2022-184043 画像処理装置、および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022184043

(43)【公開日】2022-12-13

(54)【発明の名称】画像処理装置、および画像処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221206BHJP

   H04N 7/18 20060101ALI20221206BHJP

【ＦＩ】

G06T7/00 650B

H04N7/18 U

H04N7/18 J

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2021091661

(22)【出願日】2021-05-31

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】武藤 拓馬

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FD07

5C054FE14

5C054HA30

5L096BA04

5L096CA02

5L096DA02

5L096EA35

5L096FA69

5L096HA09

5L096JA03

5L096JA11

(57)【要約】

【課題】目標物を高い精度でかつ少ない計算量で解析する。
【解決手段】本実施形態の画像処理装置は、撮像装置から出力されて記憶装置に格納された第１画素数の第１画像を読み出して、読み出した前記第１画像を縮小することによって前記第１画素数よりも小さい第２画素数の第２画像を生成する縮小部と、前記第２画像を入力として目標物の検出を行う第１ＡＩモデルと、前記記憶装置に格納された前記第１画像から、前記第１ＡＩモデルによって検出された前記目標物が写っている領域を切り抜いて、前記領域を含む前記第１画素数よりも小さい第３画素数の第３画像を生成する切り抜き部と、前記第３画像を入力として前記目標物の解析を行う第２ＡＩモデルと、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

撮像装置から出力されて記憶装置に格納された第１画素数の第１画像を読み出して、読み出した前記第１画像を縮小することによって前記第１画素数よりも小さい第２画素数の第２画像を生成する縮小部と、
前記第２画像を入力として目標物の検出を行う第１ＡＩ（Artificial Intelligence）モデルと、
前記記憶装置に格納された前記第１画像から、前記第１ＡＩモデルによって検出された前記目標物が写っている領域を切り抜いて、前記領域を含む前記第１画素数よりも小さい第３画素数の第３画像を生成する切り抜き部と、
前記第３画像を入力として前記目標物の解析を行う第２ＡＩモデルと、
を備える画像処理装置。

【請求項2】

前記第１画像は、車両に設けられた撮像装置によって撮像された前記車両の周辺環境を写した画像であり、
前記目標物は、前記周辺環境に存在する車両のナンバープレートであり、
前記目標物の解析は、前記ナンバープレートに表示された車両ナンバーの取得である、
請求項１に記載の画像処理装置。

【請求項3】

前記目標物は、人であり、
前記目標物の解析は、前記人の特定部位の検出である、
請求項１に記載の画像処理装置。

【請求項4】

撮像装置から出力されて記憶装置に格納された第１画素数の第１画像を読み出すステップと、
前記第１画像を縮小することによって前記第１画素数よりも小さい第２画素数の第２画像を生成するステップと、
第１ＡＩモデルによって前記第２画像に基づく目標物の検出を行うステップと、
前記記憶装置に格納された前記第１画像から、前記第１ＡＩモデルによって検出された前記目標物が写っている領域を切り抜いて、前記領域を含む前記第１画素数よりも小さい第３画素数の第３画像を生成するステップと、
第２ＡＩモデルによって前記第３画像に基づく前記目標物の解析を行うステップと、
を含む画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像処理装置、および画像処理方法に関する。

【背景技術】

【0002】

撮像装置によって得られた画像に写っている目標物の解析のためにＡＩ（Artificial Intelligence）モデルが用いられることがある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１８／０３７６６５号

【特許文献2】特開２０１０－７４５４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一般に、ＡＩモデルに入力可能な画像の画素数が大きいほど、高い精度の解析が可能となる。しかしながら、ＡＩモデルに入力される画像の画素数が大きくなると、必要な計算量が多くなる。その結果、より高性能なプロセッサが必要となったり、プロセッサでの消費電力量が増大したり、プロセッサでの発熱量が増大したりする。また、プロセッサでの発熱量の増大に対応するためにファンなどの冷却機構をシステム搭載する必要が生じる。冷却機構をシステムに搭載する場合、システムが大型化する。

【0005】

これに対し、プロセッサでの計算量を抑制するために、画像を縮小してＡＩモデルに入力する方法が考えられる。しかしながら、この方法では、目標物を写した像の解像度が低下するため、解析の精度が低下する。

【0006】

本発明の実施形態は、上述の事情に鑑みてなされたものであり、目標物を高い精度でかつ少ない計算量で解析することが可能な画像処理装置および画像処理方法を提供することを課題とする。

【課題を解決するための手段】

【0007】

本実施形態の画像処理装置は、撮像装置から出力されて記憶装置に格納された第１画素数の第１画像を読み出して、読み出した前記第１画像を縮小することによって前記第１画素数よりも小さい第２画素数の第２画像を生成する縮小部と、前記第２画像を入力として目標物の検出を行う第１ＡＩモデルと、前記記憶装置に格納された前記第１画像から、前記第１ＡＩモデルによって検出された前記目標物が写っている領域を切り抜いて、前記領域を含む前記第１画素数よりも小さい第３画素数の第３画像を生成する切り抜き部と、前記第３画像を入力として前記目標物の解析を行う第２ＡＩモデルと、を備える。この構成により、目標物を高い精度でかつ少ない計算量で解析することが可能となる。

【0008】

また、画像処理装置において、前記第１画像は、車両に設けられた撮像装置によって撮像された前記車両の周辺環境を写した画像であり、前記目標物は、前記周辺環境に存在する車両のナンバープレートであり、前記目標物の解析は、前記ナンバープレートに表示された車両ナンバーの取得である。この構成により、車両ナンバーを高い精度でかつ少ない計算量で読み取ることが可能となる。

【0009】

また、画像処理装置において、前記目標物は、人であり、前記目標物の解析は、前記人の特定部位の検出である。この構成により、人の特定部位を高い精度でかつ少ない計算量で検出することが可能となる。

【0010】

また、本実施形態の画像処理方法は、撮像装置から出力されて記憶装置に格納された第１画素数の第１画像を読み出すステップと、前記第１画像を縮小することによって前記第１画素数よりも小さい第２画素数の第２画像を取得するステップと、第１ＡＩモデルによって前記第２画像に基づく目標物の検出を行うステップと、前記記憶装置に格納された前記第１画像から、前記第１ＡＩモデルによって検出された前記目標物が写っている領域を切り抜いて、前記領域を含む前記第１画素数よりも小さい第３画素数の第３画像を取得するステップと、第２ＡＩモデルによって前記第３画像に基づく前記目標物の解析を行うステップと、を含む。この構成により、目標物を高い精度でかつ少ない計算量で解析することが可能となる。

【図面の簡単な説明】

【0011】

【図1】図１は、第１の実施形態の画像処理装置が搭載された車両の一例を示す模式的な平面図である。

【図2】図２は、第１の実施形態の画像処理装置を含む周辺監視システムの構成の一例を示す模式的なブロック図である。

【図3】図３は、第１の実施形態の画像処理装置としてのＥＣＵの機能構成の一例を示す模式的なブロック図である。

【図4】図４は、第１の実施形態の画像処理装置としてのＥＣＵによる解析の動作の一例を示すフローチャートである。

【図5】図５は、第１の実施形態の縮小部によって第１画像から第２画像が生成される過程の具体例を説明するための図である。

【図6】図６は、第１の実施形態の第１ＡＩモデルによるナンバープレートの検出の動作の一例を示すための図である。

【図7】図７は、第１の実施形態の切り抜き部によって切り抜かれる領域の一例を示す図である。

【図8】図８は、第１の実施形態の切り抜き部によって切り抜かれた領域を含む第３画像の一例を示す図である。

【図9】図９は、第２の実施形態の縮小部によって第１画像から第２画像が生成される過程の具体例を説明するための図である。

【図10】図１０は、第２の実施形態の第１ＡＩモデルによる人の検出の動作の一例を示すための図である。

【図11】図１１は、第２の実施形態の切り抜き部によって切り抜かれる領域の一例を示す図である。

【図12】図１２は、第２の実施形態の切り抜き部によって切り抜かれた領域を含む第３画像の一例を示す図である。

【発明を実施するための形態】

【0012】

実施形態の画像処理装置は、任意のシステムに具備され得る。一例では、車両の周辺監視システムに実施形態の画像処理装置を適用することができる。別の例では、駅、空港、またはマンションなどの施設に設けられた監視カメラの画像を解析するコンピュータに実施形態の画像処理装置を適用することができる。

【0013】

以下では、一例として、車両の周辺監視システムに適用された実施形態の画像処理装置について図面を用いて説明する。

【0014】

（第１の実施形態）
図１は、第１の実施形態の画像処理装置が搭載された車両１０の一例を示す模式的な平面図である。車両１０は、例えば、内燃機関を駆動源とする自動車であってもよいし、電動機を駆動源とする自動車であってもよいし、それらの双方を駆動源とする自動車であってもよい。

【0015】

図１に例示されるように、車両１０には、複数の撮像装置１１として、例えば４つの撮像装置１１ａ～１１ｄが設けられている。各撮像装置１１は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＩＳ（CMOS Image Sensor）等の撮像素子を内蔵するデジタルカメラである。各撮像装置１１は、所定のフレームレートで撮像画像を出力することができる。各撮像装置１１は、広角レンズまたは魚眼レンズなどの広い視野を有し、視野内の領域を撮像することができる。

【0016】

４つの撮像装置１１は、車両１０の外周部に設けられている。撮像装置１１ａは、例えば、車両１０の後側、すなわち車両前後方向の後方側で車幅方向のほぼ中央の端部、例えばリヤバンパ１０ａの上方位置に設けられて、車両１０の後方の領域を撮像可能である。また、撮像装置１１ｂは、例えば、車両１０の前側、すなわち車両前後方向の前方側で車幅方向のほぼ中央の端部、例えばフロントバンパ１０ｂやフロントグリル等に設けられて、車両１０の前方の画像を撮像可能である。また、撮像装置１１ｃは、例えば、車両１０の右側の端部、例えば右側のドアミラー１０ｃに設けられて、車両１０の右側方の領域を撮像可能である。撮像装置１１ｄは、例えば、車両１０の左側の端部、例えば左側のドアミラー１０ｄに設けられて、車両１０の左側方の領域を撮像可能である。４つの撮像装置１１によって、物体（例えば、車両、歩行者、標識等）を含む車両１０の外部の周辺環境が逐次撮像され、周辺環境を写した撮像画像が出力される。

【0017】

なお、各撮像装置１１が設けられる位置はこれらに限定されない。また、車両１０に設けられる撮像装置１１の数は、１つであってもよいし、４つ以外の複数であってもよい。

【0018】

画像処理装置は、撮像画像に目標物が写っている場合、当該目標物の解析を行う。第１の実施形態では、一例として、目標物はナンバープレートであり、目標物を解析することは、ナンバープレートに表示された車両ナンバーを読み取ることであることとする。以降、各撮像装置１１から出力された撮像画像を、第１画像と表記する。

【0019】

図２は、実施形態の画像処理装置を含む周辺監視システム１００の構成の一例を示す模式的なブロック図である。

【0020】

周辺監視システム１００は、撮像装置１１（１１ａ～１１ｄ）と、ＥＣＵ２０（Electronic Control Unit）と、を備える。ＥＣＵ２０は、車両１０に設けられている。各撮像装置１１はＥＣＵ２０に接続されており、各撮像装置１１から出力された第１画像はＥＣＵ２０に送られる。

【0021】

ＥＣＵ２０は、ＣＰＵ（Central Processing Unit）２１、ＲＡＭ（Random Access Memory）２２、ＲＯＭ（Read Only Memory）２３、およびバス２４を備える。ＣＰＵ２１、ＲＡＭ２２、およびＲＯＭ２３は、バス２４に電気的に接続されている。

【0022】

ＲＯＭ２３は、不揮発性の記憶装置である。ＲＯＭ２３には、コンピュータプログラムである画像処理プログラム２５が予め格納されている。ＲＯＭ２３は、フラッシュメモリなどの書き換え可能な記憶装置であってもよいし、書き換えが不可能な記憶装置であってもよいし、それらの組み合わせで構成されてもよい。

【0023】

ＲＡＭ２２は、ＲＯＭ２３に比べて高速なアクセスが可能な書き換え可能な記憶装置である。ＲＡＭ２２は、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、またはこれらの組み合わせによって構成され得る。なお、ＲＡＭ２２を構成する記憶装置の種類はこれらに限定されない。ＲＡＭ２２は、コンピュータプログラムがロードされる領域、データが一時的に保持される領域、キャッシュメモリ、またはバッファメモリなどとして機能する。

【0024】

ＣＰＵ２１は、コンピュータプログラムに従って所定の動作を実行するプロセッサである。

【0025】

このように、ＥＣＵ２０は、プロセッサ（ここではＣＰＵ２１）と記憶装置（ここではＲＡＭ２２およびＲＯＭ２３）を備える。つまり、ＥＣＵ２０は、通常のコンピュータと同等の構成を備える。

【0026】

画像処理プログラム２５は、ＥＣＵ２０を画像処理装置として機能させる。ＣＰＵ２１は、ＲＯＭ２３に格納された画像処理プログラム２５を起動時にＲＡＭ２２にロードし、ＲＡＭ２２にロードされた画像処理プログラム２５に従って実施形態の画像処理装置としての種々の動作を行う。ＣＰＵ２１は、画像処理プログラム２５に従って、各撮像装置１１から出力された第１画像に基づき、車両１０の周辺に存在する車両の車両ナンバーの取得を行う。

【0027】

図３は、実施形態の画像処理装置としてのＥＣＵ２０の機能構成の一例を示す模式的なブロック図である。

【0028】

画像処理プログラム２５は、ＥＣＵ２０を、縮小部３１、第１ＡＩモデル３２、切り抜き部３３、第２ＡＩモデル３４、および記憶装置３５を含む画像処理装置として機能させる。例えば、ＣＰＵ２１は、画像処理プログラム２５に従って、縮小部３１、第１ＡＩモデル３２、切り抜き部３３、および第２ＡＩモデル３４として機能する。記憶装置３５は、例えばＲＡＭ２２によって構成される。

【0029】

記憶装置３５は、各撮像装置１１から順次出力された第１画像２０１（第１画像２０１－１，２０１－２，・・・）が格納される。

【0030】

画像処理装置としてのＥＣＵ２０は、各撮像装置１１から順次出力され記憶装置３５に格納された各第１画像２０１から他の車両の車両ナンバーの取得を行う。以降では、説明の簡素化のために、１つの第１画像２０１から車両ナンバーの取得を行う処理について説明する。

【0031】

縮小部３１は、記憶装置３５から第１画像２０１を読み出して、読み出した第１画像２０１を縮小することによって、第１ＡＩモデル３２が扱うことが可能な画素数の画像を取得する。

【0032】

近年入手可能な撮像装置は、比較的大きな画素数の撮像画像を出力することができる。撮像画像の画素数が大きい場合、撮像画像に写っている像の解像度が高いため、当該撮像画像をそのままＡＩモデルで解析できれば、高い精度で目標物を解析することが可能である。その反面、大きな画素数の撮像画像をそのままＡＩモデルで解析しようとした場合、高性能なプロセッサが必要となる、プロセッサを冷却する機構の搭載によってシステムが大型化する、消費電力量が増大する、などのデメリットが生じる。また、車両に搭載される周辺監視システムの場合、ＥＣＵに割けるコスト、スペース、および電力が、据え置き型のサーバ装置などと比べて限定されるため、これらのデメリットの影響をより大きく受ける。

【0033】

そこで、第１の実施形態では、第１ＡＩモデル３２は、各撮像装置１１から出力された撮像画像、即ち第１画像２０１、の画素数よりも小さい画素数の画像を入力として解析を行うように構成されている。第２ＡＩモデル３４も同様である。第１画像２０１の画素数をＰ１と表記する。第１ＡＩモデル３２および第２ＡＩモデル３４が解析することができる画像の画素数をＰ２と表記する。

【0034】

例えば、第１ＡＩモデル３２および第２ＡＩモデル３４のそれぞれは、入力層、中間層、および出力層を備えたニューラルネットワークモデルである。ニューラルネットワークモデルは、例えば、ＲＮＮ（Recurrent Neural Network）、ＣＮＮ（Convolution Neural Network）、またはＬＳＴＭ（Long Short-Term Memory）などである。ニューラルネットワークモデルの例はこれらに限定されない。第１ＡＩモデル３２および第２ＡＩモデル３４のそれぞれの入力層は、複数のノードで構成される。それぞれの入力層のノードの数は、画素数Ｐ２と対応する。これによって、第１ＡＩモデル３２および第２ＡＩモデル３４のそれぞれは、画素数Ｐ２の画像を入力として解析を実行することが可能である。

【0035】

縮小部３１は、画素数Ｐ１の第１画像を縮小することによって、画素数Ｐ２の画像を生成する。縮小部３１によって生成される画像を、第２画像と表記する。

【0036】

なお、Ｐ１は第１画素数の一例である。また、第２画像の画素数としてのＰ２は第２画素数の一例である。

【0037】

第１ＡＩモデル３２は、第２画像を入力として、目標物、つまりナンバープレート、の検出を行う。より詳細には、第１ＡＩモデル３２は、第２画像におけるナンバープレートが写っている位置を特定する。つまり、第１ＡＩモデル３２は、入力層に第２画像が入力された場合にナンバープレートが写っている位置を出力層から出力するよう構成された、学習済みモデルである。ナンバープレートが写っている位置は、所定の範囲を有する領域として出力されてもよいし、ナンバープレートが写っている領域の代表位置（例えば中心位置）として出力されてもよい。以降、第１ＡＩモデル３２によって特定された位置を第１位置と表記する。

【0038】

切り抜き部３３は、記憶装置３５に格納された第１画像から、第１ＡＩモデル３２によって検出されたナンバープレートが写っている領域を切り抜いて、当該領域を含む画素数Ｐ２の画像を生成する。より詳細には、切り抜き部３３は、第１ＡＩモデル３２によって特定された位置、即ち第１位置、に対応する第１画像における位置を特定する。切り抜き部３３によって特定された位置を、第２位置と表記する。切り抜き部３３は、第２位置からナンバープレートが写っている領域を切り抜き、切り抜いた領域を含む画像を生成する。切り抜き部３３によって生成される画像を、第３画像と表記する。

【0039】

なお、第３画像の画素数としてのＰ２は第３画素数の一例である。

【0040】

第２ＡＩモデル３４は、第３画像を入力として目標物の解析、即ち車両ナンバーの取得を行う。つまり、第２ＡＩモデル３４は、入力層に第３画像が入力された場合にナンバープレートに表示された車両ナンバーを出力層から出力するよう構成された、学習済みモデルである。

【0041】

第２ＡＩモデル３４に入力される第３画像は、第１画像から切り抜かれることによって作製された画像である。つまり、第３画像に含まれる車両ナンバーの像の解像度は、第１画像に含まれる車両ナンバーの像の解像度と等しい。よって、画像処理装置としてのＥＣＵ２０は、第１画像をそのままＡＩモデルに入力した場合と同等の高い精度で車両ナンバーを検出することが可能である。

【0042】

また、第１ＡＩモデル３２および第２ＡＩモデル３４に入力される画像の画素数Ｐ２は、第１画像の画素数Ｐ１よりも小さい。よって、画像処理装置としてのＥＣＵ２０は、第１画像をそのままＡＩモデルに入力した場合よりも少ない計算量で車両ナンバーを検出することが可能である。つまり、ＣＰＵ２１として高性能なＣＰＵを適用しなくても、高い精度での車両ナンバーの検出を達成することができる。また、ＣＰＵ２１での発熱量を抑制することができるので、ファンなどの冷却機構の搭載が不要となり、その結果、システムの大型化を抑制することが可能である。また、ＣＰＵ２１での消費電力を抑制することが可能である。

【0043】

なお、第１ＡＩモデル３２には、第１画像を縮小することによって得られた画素数Ｐ２の第２画像が入力される。第２画像に基づいて車両ナンバーを取得しようとすると、第２画像に含まれている車両ナンバーの像の解像度が低いため、高精度な検出は困難である。しかしながら、車両ナンバーの取得ではなくナンバープレートの検出であれば、縮小された画像からでも高い精度で達成することが可能である。

【0044】

よって、第１の実施形態では、画像処理装置としてのＥＣＵ２０は、縮小された画素数の小さい画像に基づいてナンバープレートを検出し、検出されたナンバープレートに表示された車両ナンバーを、撮像画像から切り抜かれた小さい画像に基づいて取得する。これによって、計算量の抑制と高い解析精度との両立が可能とされる。

【0045】

続いて、第１の実施形態の画像処理装置としてのＥＣＵ２０の動作を、具体例を交えて説明する。

【0046】

図４は、第１の実施形態の画像処理装置としてのＥＣＵ２０による解析の動作の一例を示すフローチャートである。このフローチャートは、ある撮像装置１１から出力され記憶装置３５に格納された１つの第１画像２０１に対して実行される一連の動作の一例を示している。この一連の動作は、例えば、記憶装置３５に順次格納される各第１画像２０１に対して実行される。

【0047】

まず、縮小部３１は、撮像装置１１によって撮像された画素数Ｐ１の第１画像２０１を記憶装置３５から読み出す（Ｓ１０１）。そして、縮小部３１は、第１画像２０１を縮小することによって、画素数Ｐ２の第２画像を生成する（Ｓ１０２）。

【0048】

図５は、第１の実施形態の縮小部３１によって第１画像２０１から第２画像が生成される過程の具体例を説明するための図である。本図の説明では、第１ＡＩモデル３２は、縦方向の画素数および横方向の画素数がともに２５６個であるフォーマットの画像を扱うことが可能とされていることとしている。つまり、本図に示される例では、Ｐ２は、６５５３６（＝２５６×２５６）である。

【0049】

図５に示される画像３０１は、第１画像２０１の一例である。画像３０１には、車両を前方から見た像４０１が含まれている。また、像４０１には、ナンバープレートの像４０２が含まれている。ナンバープレートの像４０２から、像４０１として写っている車両の車両ナンバーは「ＡＢＣＤＥ」であることが読み取れる。第１画像２０１としての画像３０１は、縦方向の画素数が４８０個であり横方向の画素数が６４０個であるフォーマットの画像として構成されている。つまり、この例では、Ｐ１は、３０７２００（＝４８０×６４０）である。

【0050】

画像３０１の内容を縦方向の画素数および横方向の画素数がともに２５６個のフォーマットの画像に収めるために、縮小部３１は、画像３０１の大きさを０．４倍の大きさに縮小する処理を行う。これによって、縮小部３１は、縦方向の画素数が１９２個であり横方向の画素数が２５６個である画像３０２を得る。そして、縮小部３１は、画像３０２の上方および下方にマージン領域３０３－１，３０３－２を足すことによって、縦方向の画素数および横方向の画素数がともに２５６個であるフォーマットの画像３０４を生成する。画像３０４は、第２画像の一例である。

【0051】

なお、マージン領域３０３－１，３０３－２のようなマージン領域は、縮小によって得られた画像が第２画像のフォーマットよりも小さい場合に、縮小によって得られた画像を第２画像のフォーマットに合わせるために縮小によって得られた画像に足される。よって、縮小によって得られた画像が第２画像のフォーマットに則している場合には、マージン領域を足す処理は省略される。マージン領域が足され得る位置は、縮小によって得られた画像の周囲の一部または全部である。マージン領域は、縮小によって得られた画像の縦方向および横方向のうちの第２画像のフォーマットに満たない方向に足される。例えば、縮小によって得られた画像の横方向の画素数が第２画像のフォーマットとして定められた横方向の画素数に満たない場合には、縮小によって得られた画像の左方および右方の両方または一方のみにマージン領域が足され得る。縮小によって得られた画像の縦方向の画素数が第２画像のフォーマットとして定められた縦方向の画素数に満たない場合、縮小によって得られた画像の上方および下方の両方または一方のみにマージン領域が足され得る。

【0052】

図４に説明を戻す。
Ｓ１０２に続いて、第１ＡＩモデル３２は、第２画像を入力としてナンバープレートの検出を実行し、第２画像においてナンバープレートが写っている位置、即ち第１位置、を特定する（Ｓ１０３）。

【0053】

図６は、第１の実施形態の第１ＡＩモデル３２によるナンバープレートの検出の動作の一例を示すための図である。本図には、第２画像である画像３０４が描画されている。第１ＡＩモデル３２は、画像３０４から、ナンバープレートの像５０１の位置を第１位置として特定する。図６に示される例では、第１ＡＩモデル３２は、ナンバープレートの像５０１が含まれる所定サイズの小さい矩形の領域５０２の位置を特定する。

【0054】

再び図４に説明を戻す。
Ｓ１０３に続いて、切り抜き部３３は、第１ＡＩモデル３２によって特定された第１位置に基づき、第１画像２０１においてナンバープレートが写っている位置、つまり第２位置を特定する（Ｓ１０４）。そして、切り抜き部３３は、第２位置からナンバープレートが写っている領域を切り抜いて、当該領域を含む画素数Ｐ２の第３画像を生成する（Ｓ１０５）。

【0055】

第２画像は、第１画像２０１を縮小して生成された画像である。よって、第１画像２０１内の各位置と、第２画像内の各位置との対応関係は既知である。Ｓ１０４では、切り抜き部３３は、この対応関係に基づいて第２位置を特定する。

【0056】

図７は、第１の実施形態の切り抜き部３３によって切り抜かれる領域の一例を示す図である。例えば、切り抜き部３３は、Ｓ１０４では、所定サイズの矩形の領域４０３の位置を、第１位置、つまり矩形の領域５０２の位置、に対応する第２位置として特定する。矩形の領域４０３の形状およびサイズは、例えば矩形の領域５０２を、縮小部３１による縮小の倍率の逆数の倍率で拡大して得られたものである。なお、矩形の領域４０３の形状およびサイズは、これに限定されない。切り抜き部３３は、矩形の領域４０３を画像３０１から切り抜く。

【0057】

図８は、第１の実施形態の切り抜き部３３によって切り抜かれた領域を含む第３画像の一例を示す図である。切り抜き部３３は、切り抜きによって得られた矩形の領域４０３の周囲にマージン領域３０５を足すことによって、矩形の領域４０３を含む縦方向の画素数および横方向の画素数がともに２５６個であるフォーマットの画像３０６を生成する。画像３０６は、第３画像の一例である。

【0058】

なお、マージン領域３０５のようなマージン領域は、切り抜きによって得られた矩形の領域が第３画像のフォーマットよりも小さい場合に、切り抜きによって得られた矩形の領域に足される。よって、切り抜きによって得られた矩形の領域が第３画像のフォーマットに則している場合には、マージン領域を足す処理は省略される。マージン領域が足され得る位置は、切り抜きによって得られた矩形の領域の周囲の一部または全部である。マージン領域は、切り抜きによって得られた矩形の領域の縦方向および横方向のうちの第３画像のフォーマットに満たない方向に足される。例えば、切り抜きによって得られた矩形の領域の横方向の画素数が第３画像のフォーマットとして定められた横方向の画素数に満たない場合には、切り抜きによって得られた矩形の領域の左方および右方の両方または一方のみにマージン領域が足され得る。切り抜きによって得られた矩形の領域の縦方向の画素数が第３画像のフォーマットとして定められた縦方向の画素数に満たない場合、切り抜きによって得られた矩形の領域の上方および下方の両方または一方のみにマージン領域が足され得る。

【0059】

画像３０６に含まれる領域４０３には、ナンバープレートの像４０２が含まれている。そして、領域４０３は、撮像装置１１から出力された画像３０１から切り抜かれたものである。よって、画像３０６に含まれるナンバープレートの像４０２の解像度は、撮像装置１１から出力された画像３０１に含まれるナンバープレートの像４０２の解像度と等しい。

【0060】

再び図４に説明を戻す。
Ｓ１０５に続いて、第２ＡＩモデル３４は、第３画像を入力として、ナンバープレートに表示された車両ナンバーの取得を実行する（Ｓ１０６）。図５～図８に示された例に従えば、第２ＡＩモデル３４は、画像３０６から、車両ナンバーとして「ＡＢＣＤＥ」を読み取る。Ｓ１０６によって、１つの第１画像２０１に対する解析が終了する。

【0061】

以上に述べたように、第１の実施形態によれば、縮小部３１は、撮像装置１１から出力されて記憶装置３５に格納された画素数Ｐ１の第１画像２０１を読み出して、読み出した第１画像を縮小することによって画素数Ｐ２（ただしＰ２＜Ｐ１）の第２画像を生成する。第１ＡＩモデル３２は、第２画像を入力としてナンバープレートの検出を行う。切り抜き部３３は、記憶装置３５に格納された第１画像２０１から、第１ＡＩモデル３２によって検出されたナンバープレートが写っている領域を切り抜いて、当該領域を含む画素数Ｐ２の第３画像を生成する。第２ＡＩモデル３４は、第３画像を入力として車両ナンバーの取得を行う。

【0062】

第２ＡＩモデル３４に入力される第３画像に含まれる車両ナンバーの像の解像度は、第１画像２０１に含まれる車両ナンバーの像の解像度と等しいため、画像処理装置としてのＥＣＵ２０は、第１画像をそのままＡＩモデルに入力した場合と同等の高い精度で車両ナンバーを取得することが可能である。また、第１ＡＩモデル３２に入力される第２画像の画素数および第２ＡＩモデル３４に入力される第３画像の画素数は、ともに第１画像の画素数よりも小さい。よって、画像処理装置としてのＥＣＵ２０は、第１画像をそのままＡＩモデルに入力した場合よりも少ない計算量で車両ナンバーを取得することが可能である。つまり、第１の実施形態によれば、画像処理装置としてのＥＣＵ２０は、ナンバープレートを高い精度でかつ少ない計算量で取得することが可能である。

【0063】

なお、以上の説明では、第１ＡＩモデル３２に入力される第２画像の画素数と、第２ＡＩモデル３４に入力される第３画像の画素数と、は等しい、とした。第１ＡＩモデル３２に入力される第２画像の画素数と、第２ＡＩモデル３４に入力される第３画像の画素数と、は相違してもよい。

【0064】

例えば、第１ＡＩモデル３２に入力される第２画像の画素数はＰ２（ただしＰ２＜Ｐ１）であり、第２ＡＩモデル３４に入力される第３画像の画素数はＰ３（ただしＰ３＜Ｐ１）であってもよい。そのような場合、切り抜き部３３は、記憶装置３５に格納された第１画像２０１から、第１ＡＩモデル３２によって特定された第１位置に対応する第２位置からナンバープレートが写っている領域を切り抜いて、当該領域を含む画素数Ｐ３の第３画像を生成する。この構成により、第１ＡＩモデル３２に入力される第２画像の画素数と第２ＡＩモデル３４に入力される第３画像の画素数とが等しい場合と同様、画像処理装置としてのＥＣＵ２０は、少ない計算量かつ高い精度で車両ナンバーの検出が可能となる。

【0065】

なお、Ｐ３は、第３画素数の別の一例である。

【0066】

また、第１ＡＩモデル３２に入力される第２画像は、第１画像２０１が縮小された後、拡大／縮小を除く任意の処理が施されたものであってもよい。ここでいう任意の処理は、例えばエッジ抽出、減色、または二値化などである。

【0067】

また、第２ＡＩモデル３４に入力される第３画像は、第１画像２０１から切り抜かれた領域を含む画像に対し、拡大／縮小を除く任意の処理が施されたものであってもよい。ここでいう任意の処理は、例えばエッジ抽出、減色、または二値化などである。

【0068】

なお、第１画像２０１は、縦方向の画素数が４８０個であり横方向の画素数が６４０個であるフォーマットの画像として構成され、第２画像および第３画像は、縦方向の画素数および横方向の画素数がともに２５６個であるフォーマットの画像として構成されている、として説明した。第２画像の縦方向のサイズおよび横方向のサイズが画素数ベースでともに第１画像２０１よりも小さく、第３画像の縦方向のサイズおよび横方向のサイズが画素数ベースでともに第１画像２０１よりも小さければ、第１画像２０１、第２画像、および第３画像のフォーマットは上記された例と異なっていてもよい。

【0069】

（第２の実施形態）
第１の実施形態では、目標物はナンバープレートであり、目標物を解析することはナンバープレートに表示された車両ナンバーを取得することであるとした。目標物および目標物を解析することはこれらに限定されない。目標物は、標識（例えば道路標識または信号など）であり、目標物を解析することは標識の意味を取得することであってもよい。また、目標物は、人であってもよい。

【0070】

第２の実施形態では、目標物は人であり、目標物を解析することは人の特定部位を検出することであることとする。特定部位は、一例として、つま先とする。以下に、第２の実施形態について説明する。なお、第１の実施形態と異なる点について説明し、第１の実施形態と同じ点については説明を省略する。

【0071】

第２の実施形態の画像処理装置としてのＥＣＵ２０は、第１の実施形態と同様のハードウェア構成（即ち図２を用いて説明された構成）を備える。また、第２の実施形態の画像処理装置としてのＥＣＵ２０は、第１の実施形態と同様の機能構成（即ち図３を用いて説明された構成）を備える。

【0072】

ただし、第２の実施形態では、第１ＡＩモデル３２は、第２画像を入力として、目標物としての人の検出を行う。より詳細には、第１ＡＩモデル３２は、第２画像における人が写っている位置を特定する。つまり、第１ＡＩモデル３２は、入力層に第２画像が入力された場合に人が写っている位置を出力層から出力するように構成された、学習済みモデルである。

【0073】

また、第２の実施形態では、第２ＡＩモデル３４は、第３画像を入力として目標物である人の解析、即ちつま先の検出を行う。つまり、第２ＡＩモデル３４は、入力層に第３画像が入力された場合につま先が写っている位置を出力層から出力層から出力ように構成された、学習済みモデルである。

【0074】

第２の実施形態の画像処理装置としてのＥＣＵ２０は、目標物および目標物を解析することが異なる点を除き、第１の実施形態と同様の動作（即ち図４を用いて説明された動作）を実行する。

【0075】

図９は、第２の実施形態の縮小部３１によって第１画像２０１から第２画像が生成される過程の具体例を説明するための図である。本図に示される例においても、第１の実施形態と同様、第１画像２０１は、縦方向の画素数が４８０個であり横方向の画素数が６４０個であるフォーマットの画像として構成されていることとする。また、第２画像は、縦方向の画素数および横方向の画素数がともに２５６個であるフォーマットの画像として構成されていることとする。

【0076】

図９に示される画像３１１は、撮像装置１１ｃ（図１参照）による撮像画像であり、第１画像２０１の一例である。画像３１１には、車両１０の右側方の車体の像４１１が含まれている。また、画像３１１には、車両１０の車体の右側方後方にアプローチする人の像４１２が含まれている。

【0077】

縮小部３１は、Ｓ１０１において第１画像２０１である画像３１１を記憶装置３５から読み出す。そして、縮小部３１は、Ｓ１０２においては、画像３１１の大きさを０．４倍の大きさに縮小する処理を行うことによって、縦方向の画素数が１９２個であり横方向の画素数が２５６個である画像３１２を生成する。そして、縮小部３１は、画像３１２の上方および下方にマージン領域３１３－１，３１３－２を足すことによって、縦方向の画素数および横方向の画素数がともに２５６個であるフォーマットの画像３１４を生成する。画像３１４は、第２画像の一例である。

【0078】

Ｓ１０３では、第１ＡＩモデル３２は、第２画像である画像３１４を入力として人の検出を実行し、人が写っている位置を第１位置として特定する。

【0079】

図１０は、第２の実施形態の第１ＡＩモデル３２による人の検出の動作の一例を示すための図である。本図には、第２画像である画像３１４が描画されている。第１ＡＩモデル３２は、画像３１４から、人の像５１１の位置を第１位置として特定する。図１０に示される例では、第１ＡＩモデル３２は、人の像５１１が含まれる所定サイズの小さい矩形の領域５１２の位置を第１位置として特定する。

【0080】

Ｓ１０４では、切り抜き部３３は、第１ＡＩモデル３２によって特定された第１位置に対応する第１画像２０１における第２位置を特定する。そして、Ｓ１０５では、切り抜き部３３は、第２位置から人が写っている領域を切り抜いて、当該領域を含む第３画像を取得する。

【0081】

図１１は、第２の実施形態の切り抜き部３３によって切り抜かれる領域の一例を示す図である。例えば、切り抜き部３３は、Ｓ１０４では、所定サイズの矩形の領域４１３の位置を、第１位置、つまり矩形の領域５１２の位置、に対応する第２位置として特定する。矩形の領域４１３の形状およびサイズは、例えば矩形の領域５１２を、縮小部３１による縮小の倍率の逆数の倍率で拡大して得られたものである。なお、矩形の領域４１３の形状およびサイズは、これに限定されない。切り抜き部３３は、矩形の領域４１３を画像３１１から切り抜く。

【0082】

図１２は、第２の実施形態の切り抜き部３３によって切り抜かれた領域を含む第３画像の一例を示す図である。切り抜き部３３は、切り抜きによって得られた矩形の領域４１３の左右にマージン領域３１５－１，３１５－２を足すことによって、矩形の領域４１３を含む縦方向の画素数および横方向の画素数がともに２５６個であるフォーマットの画像３１６を生成する。画像３１６は、第３画像の一例である。

【0083】

Ｓ１０６では、第２ＡＩモデル３４は、第３画像である画像３１６を入力として、人のつま先（例えば図１２の像４１４）を検出する。

【0084】

以上述べたように、目標物は人であってもよい。また、目標物を解析することは、人の特定部位を検出することであってもよい。

【0085】

目標物が人である場合、解析の対象である特定部位は、つま先でなくてもよい。例えば、特定部位は、腕、手先、または指であってもよい。また、目標物が人である場合、目標物を解析することは、特定部位の姿勢を取得することであってもよい。特定部位の姿勢は、つま先の向き、腕の向き、特定の指（例えば人差し指）の向きであってもよい。特定部位の姿勢は、出している指の本数であってもよい。

【0086】

また、目標物が人である場合、目標物を解析することは、写っている人の属性を特定することであってもよい。属性は、車両１０のオーナーであるか否かなどであってもよい。

【0087】

なお、第１および第２の実施形態では、車両の周辺監視システムに適用された画像処理装置について説明した。実施形態の画像処理装置が適用された周辺監視システムは、自動車に限らず、任意の移動体（例えば鉄道車両や飛行機）に適用され得る。

【0088】

また、既に述べたように、実施形態の画像処理装置は、車両の周辺監視システムの他にも、任意のシステム、例えば監視カメラの画像を解析するコンピュータ装置、に適用され得る。

【0089】

また、第１および第２の実施形態では、ＣＰＵ２１は、画像処理プログラム２５に従って、縮小部３１、第１ＡＩモデル３２、切り抜き部３３、および第２ＡＩモデル３４として機能する、として説明した。縮小部３１、第１ＡＩモデル３２、切り抜き部３３、および第２ＡＩモデル３４は、２以上のプロセッサの協働によって実現してもよい。

【0090】

例えば、コンピュータとしてのＥＣＵ２０は、ニューラルネットワークモデルとしての演算処理を実行する専用のプロセッサであるＡＩチップを具備し得る。当該ＡＩチップが、第１ＡＩモデル３２、第２ＡＩモデル３４、またはそれら両方として機能するよう、コンピュータとしてのＥＣＵ２０が構成されてもよい。

【0091】

また、コンピュータとしてのＥＣＵ２０は、ＣＰＵ２１に加えてＧＰＵ（Graphics Processing Unit）を備え、ＧＰＵが第１ＡＩモデル３２、第２ＡＩモデル３４、またはそれら両方として機能するよう、ＥＣＵ２０が構成されてもよい。その場合、ＧＰＵが備えるフレームバッファが記憶装置３５として構成されてもよい。

【0092】

また、縮小部３１、第１ＡＩモデル３２、切り抜き部３３、および第２ＡＩモデル３４の一部または全部は、ＦＰＧＡ（Field-Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit）などによって構成されてもよい。

【0093】

第１の実施形態および第２の実施形態のＥＣＵ２０で実行される画像処理プログラム２５は、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

【0094】

さらに、画像処理プログラム２５を、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、画像処理プログラム２５をインターネット等のネットワーク経由で提供または配布するように構成してもよい。

【0095】

以上述べたように、画像処理装置は、縮小部３１、第１ＡＩモデル３２、切り抜き部３３、および第２ＡＩモデル３４を備える。縮小部３１は、撮像装置１１から出力されて記憶装置３５に格納された第１画素数（上記の例ではＰ１）の第１画像２０１を読み出して、読み出した前記第１画像２０１を縮小することによって第１画素数よりも小さい第２画素数（上記の例ではＰ２）の第２画像を生成する。第１ＡＩモデル３２は、第２画像を入力として目標物の検出を行う。切り抜き部３３は、記憶装置３５に格納された第１画像２０１から第１ＡＩモデルによって検出された目標物が写っている領域を切り抜いて、当該領域を含む第１画素数よりも小さい第３画素数（上記の例ではＰ２またはＰ３）の第３画像を生成する。第２ＡＩモデル３４は、第３画像を入力として目標物の解析を行う。

【0096】

よって、目標物を高い精度でかつ少ない計算量で解析することが可能となる。

【0097】

上述の本発明の実施形態は、発明の範囲を限定するものではなく、発明の範囲に含まれる一例に過ぎない。本発明のある実施形態は、上述の実施形態に対して、例えば、具体的な用途、構造、形状、作用、及び効果の少なくとも一部について、発明の要旨を逸脱しない範囲において変更、省略、及び追加がされたものであっても良い。

【符号の説明】

【0098】

１０…車両、１１，１１ａ，１１ｂ，１１ｃ，１１ｄ…撮像装置、２０…ＥＣＵ（画像処理装置）、２１…ＣＰＵ、２２…ＲＡＭ、２３…ＲＯＭ、２４…バス、２５…画像処理プログラム、３１…縮小部、３２…第１ＡＩモデル、３３…切り抜き部、３４…第２ＡＩモデル、３５…記憶装置、１００…周辺監視システム、２０１…第１画像、３０１，３１１…画像（第１画像）、３０２，３１２…画像（第２画像）、３０３－１，３０３－２，３０５，３１３－１，３１３－２，３１５－１，３１５－２…マージン領域、３０４，３１５…画像（第２画像）、３０６，３１６…画像（第３画像）、４０１，４０２，４１１，４１２，４１４，５０１，５１１…像、４０３，４１３，５０２，５１２…領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】