特許 7609086 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-23

(45)【発行日】2025-01-07

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241224BHJP

   H04N 23/60 20230101ALI20241224BHJP

【ＦＩ】

G06T7/00 650B

H04N23/60

【請求項の数】 6

(21)【出願番号】P 2022013099

(22)【出願日】2022-01-31

(65)【公開番号】P2023111305

(43)【公開日】2023-08-10

【審査請求日】2023-11-23

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】毛利 昌弘

(72)【発明者】

【氏名】藤田 貴大

【審査官】菊池 伸郎

(56)【参考文献】

【文献】国際公開第２０２１／１１８９５４（ＷＯ，Ａ１）

【文献】特開２０１８－０１４６５３（ＪＰ，Ａ）

【文献】特開２０１４－１４３６７３（ＪＰ，Ａ）

【文献】特開２００７－０２５７３９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－７／９０

Ｇ０６Ｖ １０／００－４０／７０

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

動画を撮像する撮像装置が撮像した複数のフレームが格納された記憶部と、
前記記憶部に格納された複数のフレームから少なくとも１つのフレームを選択し、選択した選択フレームから抽出した抽出画像を出力する処理部と、
を備え、
前記処理部は、
選択したフレームに初期トリミング範囲を設定し、
前記初期トリミング範囲の画像の評価値よりも高くなる更新トリミング範囲を設定できる場合には、前記更新トリミング範囲でトリミングされた画像を前記抽出画像として出力し、
前記初期トリミング範囲の画像の評価値よりも高いトリミング範囲を設定できない場合には、前記初期トリミング範囲内の画像を前記抽出画像として出力し、
トリミング範囲の画像の評価値は、
前記トリミング範囲の画像内における対象物の位置関係と、
前記トリミング範囲の画像内における前記対象物の大きさと、
前記トリミング範囲の画像内における対象物の鮮明度と、
前記トリミング範囲の画像の明度と、
前記トリミング範囲の画像内における対象物の見切れ度合と、
の少なくとも１つの評価項目に基づいて設定され、
前記処理部は、前記複数のフレームから第１選択フレームと、第２選択フレームとを選択し、
前記第１選択フレームから抽出される第１抽出画像の評価値が、前記第２選択フレームから抽出される第２抽出画像の評価値よりも高い場合には、第１抽出画像を出力する、画像処理装置。

【請求項2】

前記処理部は、予め登録された除外対象物が前記トリミング範囲の画像内に撮像されている場合には、前記評価値を低くする、請求項１に記載の画像処理装置。

【請求項3】

前記対象物は車両である、請求項１に記載の画像処理装置。

【請求項4】

前記処理部は、前記対象物としての車両の位置に基づいて、構図が異なる初期トリミング範囲を設定する、請求項１または請求項２に記載の画像処理装置。

【請求項5】

前記処理部は、前記対象物としての対象車両のナンバープレート情報と、前記対象車両の外観を特定する外観情報との少なくとも１つを予め取得し、
前記処理部は、前記複数のフレームから前記対象車両が撮像されたフレームを選択し、前記選択したフレームから前記対象車両を含むようにトリミングして、前記抽出画像を作成する、請求項１から請求項３のいずれかに記載の画像処理装置。

【請求項6】

抽出処理モデルが格納されたメモリをさらに備え、
前記抽出処理モデルは、撮像対象物を含む画像を入力として、所定値以上の評価値の前記抽出画像を出力する学習済モデルである、請求項１から請求項４のいずれかに記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置に関する。

【背景技術】

【0002】

被写体を撮像して画像データを取得し、該取得した画像データから所定の対象物を検出する撮像装置が従来から知られている。たとえば、特開２００９－９４９４６号公報に記載された画像処理装置においては、検出した１つ以上の対象物（Ｋ１～Ｋ４）に対して、対象物の大きさ、位置、変化量及び合焦評価値のうち１つ以上を含む情報に基づいて、それぞれ有効被写体か無効被写体かを判断する。そして、無効被写体と判断された対象物（例えばＫ４）に対して肖像権保護処理を施す。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－９４９４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

たとえば、ソーシャル・ネットワーキング・サービス（以下、「ＳＮＳ」と記載する）に投稿（アップロード）する際に、動画から良好な画像をトリミング抽出して、ＳＮＳなどに投稿したいとの要求がある。

【0005】

しかし、撮像対象物が車などの動くものである場合には、動画の各フレームから撮像対象物を良好に抽出して、抽出画像を作成することは困難である。

【0006】

本開示は、上記のような課題に鑑みてなされたものであって、その目的は、撮像対象物が車などの動くものである場合であっても、動画の各フレームから撮像対象物が良好に抽出された抽出画像を作成することができる画像処理装置を提供することである。

【課題を解決するための手段】

【0007】

画像処理装置は、動画を撮像する撮像装置が撮像した複数のフレームが格納された記憶部と、記憶部に格納された複数のフレームから少なくとも１つのフレームを選択し、選択した選択フレームから抽出した抽出画像を出力する処理部と、を備え、処理部は、選択したフレームに初期トリミング範囲を設定し、初期トリミング範囲の画像の評価値よりも高くなる更新トリミング範囲を設定できる場合には、更新トリミング範囲でトリミングされた画像を抽出画像として出力し、初期トリミング範囲の画像の評価値よりも高いトリミング範囲を設定できない場合には、初期トリミング範囲内の画像を抽出画像として出力し、トリミング範囲の画像の評価値は、トリミング範囲の画像内における対象物の位置関係と、トリミング範囲の画像内における対象物の大きさと、トリミング範囲の画像内における対象物の鮮明度と、トリミング範囲の画像の明度と、トリミング範囲の画像内における対象物の見切れ度合との少なくとも１つの評価項目に基づいて設定される。

【0008】

上記処理部は、複数のフレームから第１選択フレームと、第２選択フレームとを選択し、第１選択フレームから抽出される第１抽出画像の評価値が、第２選択フレームから抽出される第２抽出画像の評価値よりも高い場合には、第１抽出画像を出力する。

【0009】

上記処理部は、予め登録された除外対象物がトリミング範囲の画像内に撮像されている場合には、評価値を低くする。上記対象物は車両である。

【0010】

上記処理部は、対象物としての車両の位置に基づいて、構図が異なる初期トリミング範囲を設定する。

【0011】

上記処理部は、対象物としての対象車両のナンバープレート情報と、対象車両の外観を特定する外観情報との少なくとも１つを予め取得し、処理部は、複数のフレームから対象車両が撮像されたフレームを選択し、選択したフレームから対象車両を含むようにトリミングして、抽出画像を作成する。

【0012】

画像処理装置は、抽出処理モデルが格納されたメモリをさらに備え、記抽出処理モデルは、撮像対象物を含む画像を入力として、所定値以上の評価値の抽出画像を出力する学習済モデルである。

【0013】

なお、抽出処理に用いられる学習済みモデル（抽出処理モデル）の学習前モデルは、たとえば、ニューラルネットワークを含む。ニューラルネットワークは、ディープラーニングによる画像認識処理に用いられる公知のニューラルネットワークである。そのようなニューラルネットワークとしては、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）、再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）などが挙げられる。

【発明の効果】

【0014】

本開示に係る画像処理装置によれば、撮像対象物が車などの動くものである場合であっても、動画の各フレームから撮像対象物が良好に抽出された抽出画像を作成することができる。

【図面の簡単な説明】

【0015】

【図1】画像処理システム１を模式的に示す図である。

【図2】撮影システム２を示す斜視図である。

【図3】識別用カメラ１０が撮影した動画データの１つのフレームＦＲ０を示す図である。

【図4】鑑賞用カメラ１１が撮影した動画データの１つのフレームＦＲ１を示す図である。

【図5】画像処理システム１の構成を示すブロック図である。

【図6】切り出し動画ＣＶ０を模式的に示す図である。

【図7】物体検出処理がなされたフレームの一例を示す。

【図8】特定動画ＣＶ２が生成されてから高評価画像が選択されるまでのフローを示すフロー図である。

【図9】Ｓ２００における抽出処理を示すフロー図である。

【図10】初期トリミング範囲ＴＲ０（１）が設定されたフレームＦＲを示す図である。

【図11】初期トリミング範囲ＴＲ０（２）が設定されたフレームＦＲを示す図である。

【図12】トリミング範囲ＴＲ１が設定された状態の選択フレームＳＦを示す図である。

【図13】抽出処理に用いられる学習済みモデル（抽出処理モデル）の一例を説明するための図である。

【発明を実施するための形態】

【0016】

＜システム構成＞
図１は、画像処理システム１を模式的に示す図である。

【0017】

画像処理システム１は、撮影システム２と、サーバ３と、出力端末４を備える。出力端末４は、たとえば、ユーザのスマホやパソコンなどである。サーバ３は、画像処理装置として機能している。

【0018】

撮影システム２とサーバ３とはネットワーク５を通して互いに通信可能とされており、サーバ３および出力端末４もネットワーク５を通して互いに通信可能とされている。

【0019】

図２は、撮影システム２を示す斜視図である。撮影システム２は、識別用カメラ１０と、鑑賞用カメラ１１と、制御装置１２と、通信部１３とを含む。識別用カメラ１０は、道路を走行する車両などを撮影するカメラである。なお、この図２に示す例においては、識別用カメラ１０の撮像方向と、鑑賞用カメラ１１の撮像方向とは異なる。識別用カメラ１０は、撮影した動画データを制御装置１２に送信しており、鑑賞用カメラ１１は、撮影した動画データを制御装置１２に送信している。なお、動画は、複数のフレームを含む。

【0020】

図３は、識別用カメラ１０が撮影した動画データの１つのフレームＦＲ０を示す図である。このフレームＦＲ０においては、道路６０と、道路６０を走行する複数の車両９Ａ，９Ｂとが撮像されている。

【0021】

図４は、鑑賞用カメラ１１が撮影した動画データの１つのフレームＦＲ１を示す図である。フレームＦＲ１には、道路６１と、山６２と、樹木６３とが撮像されている。なお、撮影エリアＲ１は鑑賞用カメラ１１が撮影するエリアを示す。

【0022】

図５は、画像処理システム１の構成を示すブロック図である。出力端末４は、入力部３０と、通信部３１とを含む。入力部３０は、たとえば、タッチパネル機能を有する画面である。

【0023】

撮影システム２は、識別用カメラ１０と、鑑賞用カメラ１１と、制御装置１２と、通信部１３とを含む。

【0024】

制御装置１２は、車両抽出部１４と、ナンバー認識部１５と、マッチング処理部１６と、対象車両選択部１７と、特徴量抽出部１８と、記憶部１９と、動画切り出し部２０とを含む。

【0025】

サーバ３は、通信部３０と、記憶部３１と、演算処理部３２とを含む。演算処理部３２は、物体検出部３４と、対象車両特定部３５と、フレーム抽出部３６と、画像処理部３７および評価部３８を含む抽出処理部４９と、アルバム作成部３９と、ウェブサービス管理部４０と、撮影システム管理部４１とを含む。記憶部３０は、画像記憶部３０１と、登録情報記憶部３０２とを含む。

【0026】

上記のように構成された画像処理システム１において、ユーザは出力端末４を用いて、撮像対象車両に関する車両情報を入力する。撮像対象車両としては、たとえば、ユーザが使用する車両などが挙げられる。

【0027】

車両情報としては、たとえば、撮像対象車両の車両番号（ナンバープレートの番号）と、車種と、カラーとを示す情報を含む。出力端末４は、出力端末４の端末ＩＤと、車両情報ＶＩとサーバ３に送信する。サーバ３は、車両情報ＶＩおよび端末ＩＤを記憶部３１に格納する。

【0028】

撮影システム２において、識別用カメラ１０は、識別動画を車両抽出部１４に出力する。車両抽出部１４は、識別動画から車両を抽出する車両抽出処理を実施する。車両抽出部１４は、識別動画から対象車両に限られず、車両全般を抽出する。この処理を「車両抽出処理」とも記載する。車両抽出処理には、たとえば、ディープラーニング（深層学習）などの機械学習の技術により生成された学習済みモデルを用いることができる。本例では、車両抽出部１４は「車両抽出モデル」によって実現される。

【0029】

車両抽出部１４は、識別動画のうち車両が抽出された動画（車両を含むフレーム）をナンバー認識部１５に出力するとともにマッチング処理部１６に出力する。

【0030】

ナンバー認識部１５は、車両抽出部１４により車両が抽出された動画からナンバープレートのナンバーを認識する。この処理を「ナンバー認識処理」とも記載する。ナンバー認識処理にもディープラーニングなどの機械学習の技術により生成された学習済みモデルを用いることができる。本例では、ナンバー認識部１５は「ナンバー認識モデル」によって実現される。ナンバー認識部１５は、認識したナンバーをマッチング処理部１６に出力する。また、ナンバー認識部１５は、認識したナンバーを通信部１３に出力する。これにより、各車両のナンバーがサーバ３に送信される。

【0031】

マッチング処理部１６は、車両抽出部１４により抽出された車両と、ナンバー認識部１５により認識されたナンバーとを対応付ける。この処理を「マッチング処理」とも記載する。具体的には、再び図３を参照して、２台の車両９Ａ，９Ｂが抽出され、かつ、２つのナンバー８１，８２が認識された状況を例に説明する。マッチング処理部１６は、ナンバー毎に、ナンバーと車両との間の距離（フレーム上でのナンバーの座標と車両の座標との間の距離）を算出する。そして、マッチング処理部１６は、ナンバーと、そのナンバーとの間の距離が短い車両とをマッチングする。この例では、ナンバー８１と車両９Ａとの間の距離の方がナンバー８１と車両９Ｂとの間の距離よりも短いので、マッチング処理部１６は、ナンバー８１と車両９Ａとを対応付ける。同様にして、マッチング処理部１６は、ナンバー８２と車両９Ｂとを対応付ける。マッチング処理部１６は、マッチング処理の結果（ナンバーが対応付けられた車両）を対象車両選択部１７に出力する。

【0032】

対象車両選択部１７は、マッチング処理によってナンバーが対応付けられた車両のなかから、ナンバーが対象車両のナンバー（サーバ３から受信したもの）に一致する車両を対象車両として選択する。対象車両選択部１７は、対象車両として選択された車両を特徴量抽出部１８に出力する。

【0033】

特徴量抽出部１８は、対象車両を含む動画を解析することで対象車両の特徴量を抽出する。より具体的には、特徴量抽出部１８は、対象車両を含むフレームにおける対象車両の時間的変化（たとえば、フレーム間での対象車両の移動量、フレーム間での対象車両のサイズの変化量）に基づいて、対象車両の走行速度を算出する。特徴量抽出部１８は、対象車両の走行速度に加えて、たとえば対象車両の加速度（減速度）を算出してもよい。また、特徴量抽出部１８は、公知の画損認識技術を用いて対象車両の外観（ボディ形状、ボディ色など）に関する情報を抽出する。特徴量抽出部１８は、対象車両の特徴量（走行状態および外観）を動画切り出し部に出力する。また、特徴量抽出部１８は、対象車両の特徴量を通信部１３に出力する。これにより、対象車両の特徴量がサーバ３に送信される。

【0034】

記憶部１９は、鑑賞動画を一時的に記憶する。記憶部１９は、代表的にはリングバッファ（循環バッファ）であって、１次元配列の先頭と末尾とが論理的に連結された環状の記憶領域を有する。新たに撮影された鑑賞動画は、記憶領域に格納可能な所定の時間分だけ記憶部１９に記憶される。当該所定の時間を超えた分の鑑賞動画（古い動画）は、記憶部１９から自動的に消去される。

【0035】

動画切り出し部２０は、記憶部１９に記憶された鑑賞動画から、特徴量抽出部１８により抽出された特徴量（対象車両の走行速度、加速度、ボディ形状、ボディ色など）に基づいて、対象車両が撮影されている可能性が高い部分を切り出す。より詳細に説明すると、識別用カメラ１０により撮影される地点と、鑑賞用カメラ１１により撮影される地点との間の距離は既知である。したがって、対象車両の走行速度（および加速度）が分かれば、動画切り出し部２０は、識別用カメラ１０により対象車両が撮影されるタイミングと、鑑賞用カメラ１１により対象車両が撮影されるタイミングとの間の時間差を算出できる。動画切り出し部２０は、識別用カメラ１０により対象車両が撮影されたタイミングと上記の時間差とに基づいて、鑑賞用カメラ１１により対象車両が撮影されるタイミングを算出する。

【0036】

そして、動画切り出し部２０は、鑑賞動画から、撮影エリアＲ１内に対象車両が入り込み始めてから撮影エリアＲ１外に移動するまでの間の動画を含むように動画を切り出す。このようにして、動画切り出し部２０は、切り出し動画ＣＶ０を生成する。

【0037】

図６は、切り出し動画ＣＶ０を模式的に示す図である。切り出し動画ＣＶ０は、複数のフレームＦＲＳ０～ＦＲＥ０を含む。

【0038】

なお、フレームＦＲＳ０は、対象車両である車両９Ａが撮影エリアＲ１に進入し始めた状態におけるフレームである。フレームＦＲＥ０は、車両９Ａが撮影エリアＲ１から抜け出す直前の状態におけるフレームである。

【0039】

動画切り出し部２０は、切り出し動画ＣＶ０を通信部１３に送信する。通信部１３は切り出し動画ＣＶ０をサーバ３に送信する。

【0040】

サーバ３において、記憶部３１は、画像記憶部３０１に、切り出し動画ＣＶ０と、後述する抽出画像と、サーバ３による演算処理により得られる高評価画像などの情報と、各種評価情報とを格納する。

【0041】

登録情報記憶部３０２は、車両撮影サービスに関する登録情報を記憶している。登録情報は、車両撮影サービスの提供を申し込んだユーザの個人情報と、そのユーザの車両情報とを含む。ユーザの個人情報は、たとえば、ユーザの識別番号（ＩＤ）、氏名、生年月日、住所、電話番号、メールアドレスなどに関する情報を含む。ユーザの車両情報は、車両のナンバープレートのナンバーに関する情報を含む。車両情報は、たとえば、車種、年式、ボディ形状（セダン型、ワゴン型、ワンボックス型）、ボディ色などに関する情報を含んでもよい。

【0042】

図５において、通信部３０は、ネットワークを介して撮影システム２の通信部１３と双方向の通信を行う。通信部３０は、対象車両のナンバーを撮影システム２に送信する。また、通信部３０は、撮影システム２から対象車両を含む切り出し動画ＣＶ０と、対象車両の特徴量（走行状態および外観）とを受信する。

【0043】

物体検出部３４は、切り出し動画ＣＶ０の各フレームＦＲＳ０～ＦＲＥ０において、物体検出処理を実施する。図７は、物体検出処理がなされたフレームの一例を示す。

【0044】

このフレームには、道路６１と、山６２と、樹木６３と、歩行者６４と、道路６１を走行する複数の車両９Ａ，９Ｂとが撮像されている。

【0045】

領域Ｒ６２は山６２が占める領域を示す。領域Ｒ６３は樹木６３が占める領域を示す。領域Ｒ６４は歩行者６４が占める領域を示す。領域ＲＡは車両９Ａが占める領域を示し、領域ＲＢは車両９Ｂが占める領域を示す。なお、「物体検出処理」には、YOLO(You Look Only Onse)などのオブジェクト検出モデルを用いることができる。

【0046】

図５において、物体検出部３４は切り出し動画ＣＶ０の全フレームについて物体検出処理を施した検出動画ＣＶ１を作成する。このため、検出動画ＣＶ１の各フレームＦＲＳ１～ＦＲＥ１において、領域ＲＡ，ＲＢなどが設定されている。そして、物体検出部３４は、検出動画ＣＶ１を対象車両特定部３５に送信する。

【0047】

対象車両特定部３５は、物体検出部３４から受信した各フレームＦＲＳ１～ＦＲＥ１において対象車両を特定する。対象車両特定部３５は、物体検出部３４により抽出された物体のなかから、対象車両の特徴量（すなわち、走行速度、加速度などの走行状態、および、ボディ形状、ボディ色などの外観）に基づいて対象車両を特定する。この処理を「対象車両特定処理」とも記載する。対象車両特定処理にもディープラーニングなどの機械学習の技術により生成された学習済みモデルを用いることができる。本例では、対象車両特定部３５は「対象車両特定モデル」によって実現される。なお、本実施の形態においては、対象車両は、車両９Ａである。

【0048】

そして、対象車両特定部３５によって対象車両が特定された特定動画ＣＶ２が生成される。なお、特定動画ＣＶ２は、複数のフレームＦＲＳ２～ＦＲＥ２を含む。

【0049】

フレーム抽出部３６は、特定動画ＣＶ２から順次、フレームを選択し、抽出処理部４９に送信する。抽出処理部４９は、画像処理部３７および評価部３８を含む。

【0050】

抽出処理部４９は、後述する評価値に基づいてフレーム抽出部３６において選択された選択フレームにから抽出画像を抽出する抽出処理を実行する。

【0051】

抽出処理部４９は、全フレームＦＲＳ２～ＦＲＥ２の各々について、抽出画像を生成して、アルバム作成部３９に出力する。そして、アルバム作成部３９は、各選択フレームから抽出された抽出画像のうち評価値が高い抽出画像を高評価画像として選択する。アルバム作成部３９は、選択した高評価画像を通信部３０を通して、出力端末４に送信する。

【0052】

図８は、特定動画ＣＶ２が生成されてから高評価画像が選択されるまでのフローを示すフロー図である。

【0053】

フレーム抽出部３６は、特定動画ＣＶ２の未送信フレームを１つ選択フレームＳＦとして、抽出処理部４９に送信する（Ｓ１００）。なお、フレーム抽出部３６は、最初に、フレームＦＲＳ２を送信する。抽出処理部４９は選択フレームＳＦを受信すると、抽出処理を実施する（Ｓ２００）。

【0054】

抽出処理部４９は抽出処理を終了すると、抽出画像をアルバム作成部３９に送信する（Ｓ３００）。抽出処理部４９は、フレーム抽出部３６に要求信号を送信する（Ｓ４００）。フレーム抽出部３６は、要求信号を受信すると、全てのフレームＦＲＳ２～ＦＲＥ２を送信したかを判断する（Ｓ４１０）。フレーム抽出部３６は、全てのフレームＦＲＳ２～ＦＲＥ２を抽出処理部４９に送信したと判断すると（Ｓ４１０にてＹｅｓ）、抽出処理部４９に終了信号を送信する（Ｓ４２０）。

【0055】

その一方で、フレーム抽出部３６は、未送信のフレームがあると判断すると（Ｓ４１０にてＮｏ）、上記Ｓ１００に戻って未送信のフレームを抽出処理部４９に送信する。

【0056】

そして、抽出処理部４９は終了信号を受信すると、抽出処理部４９はフレーム抽出部３６に完了信号を送信する（Ｓ５００）。

【0057】

アルバム作成部３９は、受信した複数の抽出画像から所定枚数の抽出画像を高評価画像として選択する（Ｓ６００）。アルバム作成部３９は、たとえば、後述する評価値が高い順に、所定枚数の抽出画像を高評価画像として選択する。そして、アルバム作成部３９は、高評価画像を出力端末４に送信する（Ｓ７００）。

【0058】

図９は、Ｓ２００における抽出処理を示すフロー図である。
抽出処理を実施する際には、まず、画像処理部３７は、車両９Ａの位置を抽出する（Ｓ２０５）。たとえば、画像処理部３７は、領域ＲＡの中心位置を選択フレームＳＦから抽出する。画像処理部３７は、領域ＲＡの中心位置に基づいて、初期トリミング範囲ＴＲ０を選択フレームＳＦに設定する（Ｓ２１０）。なお、初期トリミング範囲ＴＲ０は、領域ＲＡの中心位置によって異なる。

【0059】

たとえば、図１０に示すような位置に車両９Ａが位置している場合には、初期トリミング範囲ＴＲ０として、初期トリミング範囲ＴＲ０（１）が設定される。また、図１１に示すような位置に車両９Ａが位置している場合には、初期トリミング範囲ＴＲ０として、初期トリミング範囲ＴＲ０（２）が設定される。

【0060】

なお、図１０に示す例においては、初期トリミング範囲ＴＲ０（１）を設定することで、車両９Ａと、山６２と、樹木６３との位置関係は、三分割構図法に適合した位置関係となる。また、図１１に示す例においては、初期トリミング範囲ＴＲ０（２）を設定することで、樹木６３と、車両９Ａとの位置関係は、日の丸構図法に適合した位置関係となる。

【0061】

図１０の三分割構図線５０は、三分割構図を模式的に示すものである。
三分割構図線５０は初期トリミング範囲ＴＲ０内を９分割している。三分割構図線５０は、等間隔に配置された縦線５１，５２と、等間隔に配置された横線５３，５４と、外枠５５と、交点Ｐ１，Ｐ２，Ｐ３，Ｐ４とを含む。外枠５５は、初期トリミング範囲ＴＲ０に一致している。

【0062】

初期トリミング範囲ＴＲ０は、領域ＲＡの中心位置ＯＡが位置Ｐ４に一致するように配置される。そして、初期トリミング範囲ＴＲ０は山６２の頂点Ｏ６２が位置Ｐ１に一致または近接するように設定される。さらに、縦線５２および外枠５５の間の領域を領域Ｒ２とすると、領域Ｒ２内に領域Ｒ６３が位置するように、または、領域Ｒ２内に領域Ｒ６３の大部分が位置するように初期トリミング範囲ＴＲ０を設定する。

【0063】

なお、撮影エリアＲ１が固定されていることから、頂点Ｏ６２および樹木６３の位置は固定されている。このため、中心位置ＯＡを抽出することで、画像処理部３７は、選択フレームＳＦ内に初期トリミング範囲ＴＲ０を設定することができる。

【0064】

図９に戻って、画像処理部３７は、初期トリミング範囲ＴＲ０が設定された選択フレームＳＦを評価部３８に送信する（Ｓ２１５）。

【0065】

評価部３８は、初期トリミング範囲ＴＲ０の初期トリミング画像ＴＩ０の評価値ＥＶを算出する（Ｓ２２０）。

【0066】

評価部３８は、評価項目ＥＩ１～ＥＩ５と、減点項目ＤＩ１とに基づいて、初期トリミング画像ＴＩ０の評価値ＥＶ０を算出する。

【0067】

評価部３８は、各評価項目ＥＩ１～評価項目ＥＩ５の項目点ＩＰ１～ＩＰ５の合算値ＴＰと、減点項目ＤＩ１の項目係数ＤＰとに基づいて、評価値ＥＶを算出する。具体的には、下記式（１）に基づいて、評価値ＥＶを算出する。なお、項目点ＩＰ１～ＩＰ５は正の数である。

【0068】

評価値ＥＶ＝合算値ＴＰ×項目係数ＤＰ・・・（１）
評価項目ＥＩ１は、撮像対象である車両９Ａと、背景対象である山６２および樹木６３との位置関係である。

【0069】

図１０に示す例においては、評価部３８は、交点Ｐ１と頂点Ｏ６２との位置ずれ量と、領域Ｒ２から領域Ｒ６３（領域Ｒ６３）のはみ出し量とに基づいて、評価項目ＥＩ１の項目点ＩＰ１を算出する。評価部３８は、交点Ｐ１および頂点Ｏ６２の位置ずれ量が大きいほど項目点ＩＰ１を低くし、領域Ｒ６３のはみ出し量が大きい程、項目点ＩＰ１を低くする。

【0070】

評価項目ＥＩ２は、トリミング範囲内における車両９Ａの大きさである。評価部３８は、初期トリミング範囲ＴＲ０の面積に対する領域ＲＡの面積比率ＡＲ０に基づいて、評価項目ＥＩ２の項目点ＩＰ２を算出する。評価部３８は、面積比率ＡＲ０が所定の範囲内でない場合には、項目点ＩＰ２を低く設定する。

【0071】

評価項目ＥＩ３は、対象車両および背景対象の鮮明度である。図１０に示す例においては、対象車両は車両９Ａであり、背景対象は山６２および樹木６３である。評価部３８は、初期トリミング画像ＴＩ０の各ピクセルデータに基づいて、車両９Ａ、山６２、樹木６３などの画像の鮮明度を算出して、評価項目ＥＩ３の項目点ＩＰ３を算出する。

【0072】

評価項目ＥＩ４は、トリミング画像の明度である。評価部３８は、初期トリミング画像ＴＩ０の各ピクセルデータに基づいて初期トリミング画像ＴＩ０の明度を算出し、評価項目ＥＩ４の項目点ＩＰ４を算出する。評価部３８は、初期トリミング画像ＴＩ０の明度が所定範囲でない場合には、項目点ＩＰ４を低く設定する。

【0073】

評価項目ＥＩ５は、対象車両の見切れ度合である。評価部３８は、撮影エリアＲ１から領域ＲＡがはみ出しているはみ出し量に基づいて、車両９Ａの見切れ度合を算出する。評価部３８は、撮影エリアＲ１から領域ＲＡがはみ出すはみ出し量が大きいほど、評価項目ＥＩ５の項目点ＩＰ５を低くする。

【0074】

減点項目ＤＩ１は、トリミング範囲内に除外対象物が入り込んでいるか否かである。評価部３８は、トリミング画像内に除外対象物があると、減点項目ＤＩ１の項目係数ＤＰは「０」に設定し、トリミング画像内に除外対物がないと項目係数ＤＰは「１」に設定する。なお、徐外対象物としては、個人を特定することができる情報と、対象車両以外の車両などを含む。個人を特定することができる情報としては、たとえば、顔を特定することができる人物像と、家の表札などである。なお、徐外対象物に関する情報は、たとえば、記憶部３１に格納されている。なお、評価部３８は、上記の評価項目ＥＩ１～ＥＩ５に基づいて評価値を算出するようにしてもよい。

【0075】

図１０に示す例においては、評価部３８は、初期トリミング範囲ＴＲ０内に領域ＲＢが入り込んでいるため、評価部３８は、初期トリミング画像ＴＩ０に関する減点項目ＤＩ１の項目係数ＤＰを「０」に設定する。

【0076】

図９において、評価部３８は、評価項目ＥＩ１～ＥＩ５と、減点項目ＤＩ１との評価を終了すると、初期トリミング画像ＴＩ０の評価値ＥＶ０を算出する（Ｓ２２０）。

【0077】

評価部３８は、評価値の算出を終了すると、初期トリミング範囲ＴＲ０が設定されたフレームＦＲと、評価情報ＥＩとを記憶部３１に送信する（Ｓ２２５）。

【0078】

評価部３８は評価値ＥＶ０を算出すると、しきい値Ｔｈよりも大きいか否かを判断する（Ｓ２３０）。なお、しきい値Ｔｈの初期値は負の値である。評価値ＥＶ０は０以上であるから評価値ＥＶ０はしきい値Ｔｈよりも大きい。

【0079】

評価部３８は、評価値ＥＶ０がしきい値Ｔｈよりも大きいと判断すると（Ｓ２３０にてＹｅｓ）、基準評価情報ＢＥＩを設定する（Ｓ２３５）。

【0080】

基準評価情報ＢＥＩは、既に評価したトリミング画像において、最も評価値が高いトリミング画像ＨＴＩに関する情報である。基準評価情報ＢＥＩは、トリミング画像ＨＴＩと、トリミング画像ＨＴＩの評価情報ＥＩと、トリミング画像ＨＴＩのトリミング領域ＨＴＲを示す情報とを含む。評価情報ＥＩは、トリミング画像ＨＴＩの各項目点ＩＰ１～ＩＰ５と、減点項目ＤＩ１の項目係数ＤＰと、トリミング画像ＨＴＩの評価値ＨＥＶとを示す情報とを含んでもよい。

【0081】

さらに、基準評価情報ＢＥＩは、トリミング画像ＨＴＩにおける交点Ｐ１と頂点Ｏ６２との位置ずれ量と、領域Ｒ２から領域Ｒ６３のはみ出し量と、面積比率ＡＲと、対象車両および背景対象の鮮明度と、トリミング画像の明度と、撮影エリアＲ１から領域ＲＡがはみ出しているはみ出し量とを含んでもよい。

【0082】

なお、評価部３８が初期トリミング画像ＴＩ０しか評価していない場合には、基準評価情報ＢＥＩは、初期トリミング画像ＴＩ０の評価情報ＥＩと、初期トリミング範囲ＴＲ０を示す情報とを含む。そして、トリミング画像ＨＴＩは初期トリミング範囲ＴＲ０であり、トリミング領域ＨＴＲは初期トリミング範囲ＴＲ０である。

【0083】

評価部３８は基準評価情報ＢＥＩを設定すると、評価部３８はしきい値Ｔｈを評価値ＨＥＶにする（Ｓ２４０）。

【0084】

評価部３８は、基準評価情報ＢＥＩの更新頻度が所定頻度よりも大きいかを判断する（Ｓ２４５）。基準評価情報ＢＥＩの更新頻度は、所定時間内に基準評価情報ＢＥＩが更新された頻度を示す。なお、評価部３８が初期トリミング画像ＴＩ０しか評価していない状態においては、基準評価情報ＢＥＩの更新頻度は所定頻度よりも大きい。

【0085】

評価部３８は更新頻度が所定頻度よりも大きいと判断すると（Ｓ２４５にてＹｅｓ）、評価部３８は基準評価情報ＢＥＩを画像処理部３７に送信する（Ｓ２４６）。画像処理部３７は、基準評価情報ＢＥＩを受信すると、基準評価情報ＢＥＩに含まれる評価値よりも、評価値が高くなるようにトリミング範囲を更新する（Ｓ２５０）。

【0086】

たとえば、画像処理部３７は、項目係数ＤＰが「０」であると判断すると、除外対象物がトリミング範囲に入らないように初期トリミング範囲ＴＲ０を変形させて、トリミング範囲ＴＲ１を設定する。

【0087】

図１２は、トリミング範囲ＴＲ１が設定された状態の選択フレームＳＦを示す図である。なお、図１０に示す状態においては、領域ＲＢが初期トリミング範囲ＴＲ０内に入らないように、トリミング範囲を右にずらすと、新たな領域Ｒ６４がトリミング範囲に含まれることになる。そのため、評価部３８は、領域Ｒ６４および領域ＲＢがトリミング範囲内に入り込まないようにトリミング範囲ＴＲ１を設定する。

【0088】

また、画像処理部３７は、領域ＲＢおよび領域Ｒ６４が含まれないようにすると共に、評価項目ＥＩ１～ＥＩ５の項目点ＩＰ１～ＩＰ５の少なくとも１つが向上するようにトリミング範囲ＴＲ１を設定するようにしてもよい。

【0089】

たとえば、画像処理部３７は、トリミング画像ＨＴＩにおいて面積比率ＡＲが所定の範囲よりも大きいと判断した場合には、トリミング領域ＨＴＲよりも、上下方向に長くトリミング範囲ＴＲ１を設定する。たとえば、画像処理部３７は、面積比率ＡＲが所定の範囲よりも小さい場合と判断した場合には、トリミング領域ＨＴＲよりも、上下方向に短いトリミング範囲ＴＲ１を設定する。

【0090】

たとえば、画像処理部３７は、トリミング画像ＨＴＩにおける領域Ｒ２から領域Ｒ６３のはみ出し量が所定値よりも大きいと判断した場合には、当該はみ出し量が小さくなるように、トリミング範囲ＴＲ１を設定する。

【0091】

たとえば、画像処理部３７は、トリミング画像ＨＴＩにおける交点Ｐ１と頂点Ｏ６２との位置ずれ量が所定のしきい値よりも大きいと判断すると、当該位置ずれ量が小さくなるように、トリミング範囲ＴＲ１を設定する。

【0092】

具体的には、画像処理部３７はトリミング範囲ＴＲ１内に三分割構図線５０Ａを設定する。そして、交点Ｐ１Ａと頂点Ｏ６２との間の距離が、トリミング領域ＨＴＲにおける交点Ｐ１および頂点Ｏ６２との間の距離よりも小さくなるように、トリミング範囲ＴＲ１を設定する。

【0093】

たとえば、画像処理部３７は、トリミング画像ＨＴＩにおける車両９Ａなどの鮮明度が所定のしきい値よりも小さくと判断すると、トリミング範囲ＴＲ１内においてエッジ強調処理などを実施する。

【0094】

たとえば、画像処理部３７は、トリミング画像ＨＴＩの明度が所定のしきい値よりも小さいと判断すると、トリミング範囲ＴＲ１内の各ピクセルの明度を高くする。

【0095】

そして、図９に戻って、画像処理部３７は、トリミング範囲をトリミング範囲ＴＲ１に更新すると（Ｓ２５０）、画像処理部３７は、トリミング範囲ＴＲ１を設定したフレームＦＲを評価部３８に送信する（Ｓ２１５）。

【0096】

評価部３８は、トリミング範囲ＴＲ１内のトリミング画像ＴＩ１を評価する（Ｓ２２０）。具体的には、評価項目ＥＩ１～ＥＩ５と、減点項目ＤＩ１とを評価して、評価値ＥＶ１を算出する。

【0097】

評価部３８は、トリミング画像ＴＩ１の評価を完了すると、トリミング範囲ＴＲ１が設定されたフレームＦＲと、評価情報ＥＩとを記憶部３１に送信する（Ｓ２２５）。

【0098】

そして、評価部３８は、Ｓ２３０において、評価値ＥＶ１がしきい値Ｔｈよりも大きいかを判断する。評価部３８は、評価値ＥＶ１がしきい値Ｔｈよりも大きいときには、（Ｓ２３０にてＹｅｓ）、基準評価情報ＢＥＩを再設定する（Ｓ２３５）。

【0099】

その一方で、評価部３８は、評価値ＥＶ１がしきい値Ｔｈ以下であると判断すると（Ｓ２３０にてＮｏ）と、基準評価情報ＢＥＩを再設定せずに、基準評価情報ＢＥＩの更新頻度が所定頻度よりも大きいかを判断する（Ｓ２４５）。

【0100】

そして、評価部３８は、基準評価情報ＢＥＩの更新頻度が所定頻度以下であると判断すると（Ｓ２４５にてＮｏ）、評価部３８は、基準評価情報ＢＥＩとして設定されているトリミング画像ＨＴＩを抽出画像に設定する（Ｓ２５５）。

【0101】

抽出処理を終了する。そして、図８において、抽出処理部４９の評価部３８は、抽出画像をアルバム作成部３９に送信する（Ｓ３００）。

【0102】

この際、抽出処理部４９は、抽出画像としてのトリミング画像ＨＴＩと、評価値ＨＥＶと、トリミング画像ＨＴＩ内における領域ＲＡの中心位置情報とをアルバム作成部３９に送信する。

【0103】

そして、フレーム抽出部３６は、受信した複数の抽出画像から所定枚数の抽出画像を高評価画像として選択する（Ｓ６００）。この際、各抽出画像の領域ＲＡの中心位置が互いに離れるように、高評価画像を選択するようにしてもよい。

【0104】

なお、Ｓ２００における≪抽出処理≫を学習済みモデルで実施するようにしてもよい。
＜学習済みモデル＞
図１３は、抽出処理に用いられる学習済みモデル（抽出処理モデル）の一例を説明するための図である。学習前モデルである推定モデル５１０は、たとえば、ニューラルネットワーク５１１と、パラメータ５１２とを含む。ニューラルネットワーク５１１は、ディープラーニングによる画像認識処理に用いられる公知のニューラルネットワークである。そのようなニューラルネットワークとしては、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）、再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）などが挙げられる。パラメータ５１２は、ニューラルネットワーク５１１による演算に用いられる重み付け係数などを含む。

【0105】

多数の教師データが開発者により予め準備される。教師データは、例題データと、正解データとを含む。例題データは、撮像対象である車両を含む画像データである。正解データは、例題データに対応する抽出結果を含む。具体的には、正解データは、例題データに含まれる車両と、背景とを含むトリミング画像である。なお、このトリミング画像は、上記の評価値ＥＶが所定値以上であるトリミング画像である。

【0106】

学習システム６１０は、例題データおよび正解データを用いて推定モデル５１０を学習させる。学習システム６１０は、入力部６１１と、抽出部６１２と、学習部６１３とを含む。

【0107】

入力部６１１は、開発者により準備された多数の例題データ（画像データ）を受け付けて抽出部６１２に出力する。

【0108】

抽出部６１２は、入力部６１１からの例題データを推定モデル５１０に入力することによって、例題データに含まれる車両を例題データ毎に抽出する。抽出部６１２は、その抽出結果（推定モデル５１０からの出力）を学習部６１３に出力する。

【0109】

学習部６１３は、抽出部６１２から受けた例題データからの車両の抽出結果と、その例題データに対応する正解データとに基づいて、推定モデル５１０を学習させる。具体的には、学習部６１３は、抽出部６１２によって得られた車両および背景を含むトリミング画像の抽出結果が正解データに近づくように、パラメータ５１２（たとえば重み付け係数）を調整する。

【0110】

以上のように推定モデル５１０の学習が行われ、学習が完了した推定モデル５１０が抽出処理モデル７００として、抽出処理部４９に格納されている。抽出処理モデル７００は、特定動画ＣＶ２を入力とし、かつ、車両および背景を含む抽出画像を出力する。

【0111】

なお、本実施の形態において、記憶部１９または記憶部３１の少なくとも一方は、特許請求の範囲に記載された「記憶部」に相当し、演算処理部３２は特許請求の範囲に記載された「処理部」に相当する。

【0112】

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した実施の形態の説明ではなくて特許請求の範によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0113】

１ 画像処理システム、２ 撮影システム、３ サーバ、４ 出力端末、５ ネットワーク、９Ａ，９Ｂ 車両、１０ 識別用カメラ、１１ 鑑賞用カメラ、１２ 制御装置、１３ 通信部、１４ 車両抽出部、１５ ナンバー認識部、１６ マッチング処理部、１７ 対象車両選択部、１８ 特徴量抽出部、１９，３１ 記憶部、２０ 動画切り出し部、６１１ 入力部、３２ 演算処理部、３４ 物体検出部、３５ 対象車両特定部、３６ フレーム抽出部、３７ 画像処理部、３８ 評価部、３９ アルバム作成部、４０ ウェブサービス管理部、４１ 撮影システム管理部、４９ 抽出処理部、５０，５０Ａ 三分割構図線、５１，５２ 縦線、５３，５４ 横線、５５ 外枠、６０，６１ 道路、６２ 山、６３ 樹木、６４ 歩行者、８１，８２ ナンバー、３０１ 画像記憶部、３０２ 登録情報記憶部、５１０ 推定モデル、５１１ ニューラルネットワーク、５１２ パラメータ、６１０ 学習システム、６１２ 抽出部、６１３ 学習部、７００ 抽出処理モデル、２００９ 特開、ＡＲ，ＡＲ０ 面積比率、ＢＥＩ 基準評価情報、ＣＶ０ 切り出し動画、ＣＶ１ 検出動画、ＣＶ２ 特定動画、ＤＩ１ 減点項目、ＤＰ 項目係数、ＥＩ 評価情報、ＥＩ１，ＥＩ２，ＥＩ３，ＥＩ４，ＥＩ５ 評価項目、ＥＶ，ＥＶ０，ＥＶ１，ＨＥＶ 評価値。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】