特開 2024-74816 画像記録装置及び画像記録方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024074816

(43)【公開日】2024-05-31

(54)【発明の名称】画像記録装置及び画像記録方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240524BHJP

   G06V 20/50 20220101ALI20240524BHJP

【ＦＩ】

H04N7/18 J

G06V20/50

H04N7/18 U

【審査請求】有

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2024043357

(22)【出願日】2024-03-19

(62)【分割の表示】P 2019193156の分割

【原出願日】2019-10-24

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(72)【発明者】

【氏名】塚本 富光夫

(72)【発明者】

【氏名】山口 雄介

(72)【発明者】

【氏名】安江 弘彦

(72)【発明者】

【氏名】渡邉 将

(72)【発明者】

【氏名】山根 正大

(72)【発明者】

【氏名】佐藤 貴之

(57)【要約】

【課題】記憶容量の使用を抑制しつつ、有用な画像を記録すること。
【解決手段】本発明にかかる画像記録装置（１００）は、所定の認識対象を認識するための認識モデル（１３０）を用いて、車両の周辺の撮影画像から認識対象を認識した確からしさである認識精度を算出し、認識精度が所定の閾値以上である場合に、認識対象を認識したとする画像認識部（１２０）と、認識対象が認識された場合に、撮影画像を記録装置（１５０）に記録する記録制御部（１４０）と、認識対象が認識された場合に、認識モデル（１３０）を、認識精度の前記閾値を上げるように更新するモデル更新部（１６０）と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定の認識対象を認識するための認識モデルを用いて、車両の周辺の撮影画像から前記認識対象を認識した確からしさである認識精度を算出し、前記認識精度が所定の閾値以上である場合に、前記認識対象を認識したとする画像認識部と、
前記認識対象が認識された場合に、前記撮影画像を記録装置に記録する記録制御部と、
前記認識対象が認識された場合に、前記認識モデルを、前記認識精度の前記閾値を上げるように更新するモデル更新部と、
を備える、画像記録装置。

【請求項2】

前記画像認識部は、前記認識対象の物体の種別、及び、属性を含んだ認識結果を出力し、
前記モデル更新部は、前記認識対象が認識された場合に、前記認識結果に含まれる前記属性を抽出し、前記抽出された属性を含む認識対象に対して、前記認識精度の前記閾値を上げるように、前記認識モデルを更新する、
請求項１に記載の画像記録装置。

【請求項3】

前記車両の位置情報を取得する位置情報取得部をさらに備えて、
前記モデル更新部は、前記認識対象が認識された位置の位置情報が、過去に同じ認識対象が認識された位置の位置情報と一致する場合に、前記認識モデルを前記認識精度の前記閾値を上げるように更新する、
請求項１または２に記載の画像記録装置。

【請求項4】

所定の認識対象を認識するための認識モデルを用いて、車両の周辺の撮影画像から前記認識対象を認識した確からしさである認識精度を算出し、前記認識精度が所定の閾値以上である場合に、前記認識対象を認識したとする画像認識ステップと、
前記認識対象が認識された場合に、前記撮影画像を記録装置に記録する記録制御ステップと、
前記認識対象が認識された場合に、前記認識モデルを、前記認識精度の前記閾値を上げるように更新するモデル更新ステップと、
を備える、画像記録方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像記録装置及び画像記録方法に関する。

【背景技術】

【0002】

車両を運転している際に旧車などとすれ違った場合に、その旧車を撮影し、画像として
記録したいことがある。その場合、手動で撮影及び記録する必要があり、手間や安全上の
問題があった。ここで、特許文献１には、運転支援装置に関する技術が開示されている。
特許文献１にかかる運転支援装置は、運転中に撮影された外部の映像から先行車のストッ
プランプ等を認識し、先行車のライト点灯が認識された場合、映像の記録を開始するもの
である。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２－２２１１３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１では、画像認識がされる度に映像が記録され続けるため、同
じ車両を何度も撮影及び記録してしまい、記憶容量が不足してしまうという問題点がある
。

【0005】

本発明は、上述の課題に鑑みてなされたものであり、記憶容量の使用を抑制しつつ、有用な画像を記録するための画像記録装置及び画像記録方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様は、所定の認識対象を認識するための認識モデルを用いて、車両の周辺の撮影画像から認識対象を認識した確からしさである認識精度を算出し、認識精度が所定の閾値以上である場合に、認識対象を認識したとする画像認識部と、認識対象が認識された場合に、撮影画像を記録装置に記録する記録制御部と、認識対象が認識された場合に、認識モデルを、認識精度の前記閾値を上げるように更新するモデル更新部と、を備える、画像記録装置である。

【0007】

本発明の第２の態様は、所定の認識対象を認識するための認識モデルを用いて、車両の周辺の撮影画像から認識対象を認識した確からしさである認識精度を算出し、認識精度が所定の閾値以上である場合に、認識対象を認識したとする画像認識ステップと、認識対象が認識された場合に、撮影画像を記録装置に記録する記録制御ステップと、認識対象が認識された場合に、認識モデルを、認識精度の閾値を上げるように更新するモデル更新ステップと、を備える、画像記録方法である。

【発明の効果】

【0008】

本発明により、記憶容量の使用を抑制しつつ、有用な画像を記録するための画像記録装置及び画像記録方法を提供することができる。

【図面の簡単な説明】

【0009】

【図1】本実施形態１にかかる画像記録装置の構成を示すブロック図である。

【図2】本実施形態１にかかる画像記録処理の流れを示すフローチャートである。

【図3】本実施形態２にかかる画像記録装置の構成を示すブロック図である。

【図4】本実施形態２にかかる画像記録処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0010】

以下では、本発明の具体的な実施の形態について、図面を参照しながら詳細に説明する
。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要
に応じて重複説明は省略する。

【0011】

＜実施形態１＞
図１は、本実施形態１にかかる画像記録装置１００の構成を示すブロック図である。画
像記録装置１００は、例えば、自動車等の移動体に搭載されたいわゆるドライブレコーダ
の一部である。画像記録装置１００は、画像取得部１１０と、画像認識部１２０と、辞書
１３０と、記録制御部１４０と、記録装置１５０と、モデル更新部１６０とを備える。

【0012】

画像記録装置１００は、車両の周辺を撮影する車載カメラと接続されている。そして、
画像取得部１１０は、車載カメラによる撮影画像を定期的に取得し、画像認識部１２０へ
出力する。

【0013】

辞書１３０は、所定の認識対象を認識するための認識モデルの一例であり、学習済モデ
ルとも呼ばれる。ここで、認識対象は、記録してコレクションとして保存しておきたい対
象について、二次元形状の特徴量を定義した情報であり、例えば、人気の高い人気車種や
旧車・名車、名所や旧跡、店舗などの建築物、観光地や風景などの観光ポイント、人物の
服装等が挙げられるが、これらに限定されない。尚、認識モデルは、ニューラルネットワ
ーク、サポートベクターマシン等で実現可能である。

【0014】

また、辞書１３０は、入力された撮影画像から認識対象が認識できたか否かを示す認識
結果を出力してもよい。特に、辞書１３０は、後述する認識精度が閾値を超えた場合に、
認識対象として認識できたと判定してもよい。言い換えると、辞書１３０は、撮影画像に
認識対象が写っていると、所定値以上の確からしさで認識できた場合に、認識対象として
認識できたと判定してもよい。また、認識結果には、撮影画像に含まれる認識対象につい
てのラベルが含まれていても良い。尚、辞書１３０は、２以上の認識対象を認識できるモ
デルであってもよい。また、辞書１３０は、画像記録装置１００の外部に存在し、画像記
録装置１００と通信回線を介して接続されていてもよい。

【0015】

画像認識部１２０は、辞書１３０を用いて、車両の周辺の撮影画像から認識対象認識す
る。画像認識部１２０は、辞書１３０を用いて入力された画像データの特徴量に対して所
定のロジックで演算を行い、定義された認識対象に対する確からしさ（認識精度）を算出
し、出力する。認識精度は、例えば、０から１までの値で算出され、０は間違いなく認識
対象でないこと、１は間違いなく認識対象であることを示し、数値が高いほど確からしい
（認識精度が高い）ことを意味する。認識精度は、例えば、０から１００までの値として
パーセントで算出されてもよい。例えば、辞書１３０は、撮影画像を入力し、撮影画像か
ら特徴量を算出し、設定されたパラメータを用いて特徴量に対して所定の演算を行い、演
算結果を出力する処理が実装されたプログラムモジュールやモデル式である。ここで、パ
ラメータは、重み付け係数とも呼ばれる。画像認識部１２０は、認識結果を記録制御部１
４０及びモデル更新部１６０へ出力する。

【0016】

記録制御部１４０は、撮影画像中に認識対象が認識された場合に、撮影画像を記録装置
１５０に記録する。ここで、認識対象が認識された場合とは、辞書１３０による認識結果
において撮影画像内に認識対象が含まれると判定された場合を示す。または、認識対象が
認識された場合とは、認識精度が閾値を超えた場合であってもよい。

【0017】

記録装置１５０は、ハードディスク又はフラッシュメモリ等の不揮発性記憶装置である
。記録装置１５０は、ＳＤカード（登録商標）などの記憶媒体や、記憶媒体を挿入するス
ロットおよび記憶媒体を読み書きするコントローラであってもよい。記録装置１５０は、
撮影画像１５１を記憶する。撮影画像１５１は、撮影時刻又は記録時刻等が対応付けられ
ている。また、撮影画像１５１は、認識された対象物（認識対象）がラベル付けされてい
てもよい。

【0018】

モデル更新部１６０は、認識対象が認識され、かつ、認識結果が所定条件を満たす場合
に、撮影画像を記録装置１５０に記録した以後、認識対象の認識を抑制するように認識モ
デル、つまり辞書１３０を更新する。これにより、以後に同等の認識対象が撮影された場
合には、認識が抑制されるため、記録装置１５０への撮影画像１５１の追加記録が抑止さ
れ易くなる。言い換えると、認識対象が認識され、撮影画像が記録装置１５０に記録され
た場合、その後は同じ認識対象の記録装置１５０への記録が抑制される。そのため、記憶
容量の使用を抑制しつつ、有用な画像を記録することができる。

【0019】

ここで、所定条件としては、認識対象が撮影画像上で所定値以上の大きさで撮影されて
いた場合、又は、認識対象が所定時間以上連続して撮影されていた場合が挙げられる。例
えば、撮影画像内で認識対象がある程度以上のサイズで撮影されていれば、当該認識対象
の記録としては十分といえる。または、認識対象が静止画よりは、動きが把握できるよう
な画像群（映像）が撮影されれば、当該認識対象の記録としては十分といえる。よって、
これらのいずれかを所定条件とすることで、以後の追加記録を抑制しつつ、質の高い画像
群を保持することができる。所定値以上の大きさとは、例えば、撮影画像全体の画素数の
１０％以上または５％以上の画素数で撮影されていることや、認識対象が占める画素数が
所定値、例えば１０万画素以上で撮影されていることである。また所定時間以上とは、例
えば、３０秒以上の期間撮影されていることである。尚、所定条件は上述したものに限定
されない。

【0020】

さらに、所定条件が撮影画像に含まれる認識対象が所定値以上の大きさで撮影されてい
た場合、記録制御部１４０は、過去に記録された所定値未満の大きさの撮影画像１５１を
削除してもよい。これにより、有用な画像が残され、不要な画像が削除され、記録装置１
５０の記憶容量を有効利用できる。

【0021】

また、モデル更新部１６０は、認識対象が認識され、かつ、認識結果が所定条件を満た
す場合に、以後の認識精度の閾値を上げるように、辞書１３０を更新するとよい。これに
より、次回の画像認識においては認識精度の閾値が上がるため、以後に同等の認識対象が
撮影された場合、同程度以下の認識の確からしさでは認識されなくなり、不要な画像の記
録が抑制される。

【0022】

また、モデル更新部１６０は、撮影画像内に占める認識対象の割合が所定値以上の場合
を、所定条件としてもよい。この場合、モデル更新部１６０は、認識対象が認識され、か
つ、認識結果が所定条件を満たす場合に、以後の認識対象の割合の所定値を高くするよう
に、辞書１３０を更新する。例えば、撮影画像内に認識対象が含まれるが他の物体と重な
って遮られている場合には、認識されにくくなる。また、撮影画像内に認識対象がより大
きな割合で含まれている場合に記録対象として優先できる。さらに、以後は、撮影画像内
に占める認識対象の割合がより高いものが記録対象となるため、撮影画像１５１の質が向
上する。尚、このとき、記録制御部１４０は、過去に記録された所定値の割合未満の撮影
画像１５１を削除してもよい。

【0023】

または、モデル更新部１６０は、認識対象が認識され、かつ、認識結果が所定条件を満
たす場合に、以後は所定の認識対象が認識されないように認識モデルを更新してもよい。
例えば、モデル更新部１６０は、辞書１３０から当該認識対象を削除してもよい。つまり
、辞書１３０において当該認識対象を認識対象外とすればよい。

【0024】

尚、辞書１３０は、特定の対象物体についての複数の属性と優先度とを含めて認識対象
としてもよい。例えば、認識対象が旧車である場合、色、前後左右、改造の有無等の属性
が挙げられる。そして、各属性には個別に認識における優先度が対応付けられているもの
とする。この場合、認識結果には、認識対象の物体の種別と共に、撮影画像に含まれる属
性も含むものとする。そして、モデル更新部１６０は、認識結果に上記属性が含まれるこ
とを所定条件とする。例えば、認識結果にある旧車の青の前方及び右側の属性が含まれて
いたとする。この場合、モデル更新部１６０は辞書１３０に対して、以後の当該旧車の属
性「青」「前方」「右側」の優先度を下げるように更新する。言い換えると、以後、当該
旧車の属性「青」「前方」「右側」の場合の認識および撮影画像の記録が抑制される。そ
のため、以後、辞書１３０は、入力される撮影画像が、ある旧車の「青」以外の色や、左
側や後方である場合に、認識できた（認識精度を超えた）と判定する。つまり、「青」「
前方」「右側」である場合と比べて優先して認識を行う。例えば、優先度は認識精度の閾
値と対応付けてもよい。よって、認識対象のうち記録装置１５０に記録済みの属性につい
ては記録されにくくなり、未記録の属性について優先的に記録されるようになる。

【0025】

尚、画像記録装置１００は、図示しない構成としてプロセッサ及びメモリを備えるもの
である。また、記憶装置１５０には、上述した画像認識部１２０、記録制御部１４０及び
モデル更新部１６０の処理が実装されたコンピュータプログラムが記憶されている。そし
て、当該プロセッサは、記憶装置１５０からコンピュータプログラムを前記メモリへ読み
込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、画像
認識部１２０、記録制御部１４０及びモデル更新部１６０の機能を実現する。

【0026】

図２は、本実施形態１にかかる画像記録処理の流れを示すフローチャートである。まず
、画像取得部１１０は、撮影画像を取得する（Ｓ１０１）。次に、画像認識部１２０は、
認識モデル（辞書１３０）を用いて、車両の周辺の撮影画像から認識対象を認識する（Ｓ
１０２）。そして、画像記録装置１００は、画像認識に成功したか否かを判定する（Ｓ１
０３）。つまり、認識対象が認識されたか否かを判定する。

【0027】

認識対象が認識された場合、記録制御部１４０は、撮影画像を記録装置１５０に記録す
る（Ｓ１０４）。また、認識対象が認識された場合、モデル更新部１６０は、認識結果が
所定条件を満たすか否かを判定する（Ｓ１０５）。認識結果が所定条件を満たす場合、モ
デル更新部１６０は、認識対象の認識を抑制するように認識モデルを更新する（Ｓ１０６
）。

【0028】

その後、ステップＳ１０１へ戻る。尚、ステップＳ１０３又はＳ１０５でＮＯと判定さ
れた場合も、ステップＳ１０１へ戻る。

【0029】

このように、本実施形態により、自動車等の走行中にユーザが収集したい対象物の近く
を通過した場合に、車載カメラによる撮影画像について辞書１３０を用いて画像認識がさ
れることにより、当該対象物の画像を自動的に記録し、収集することができる。そして、
記録した画像が所定条件を満たす場合には、以後に同程度の撮影画像については認識を抑
制するため、記録装置１５０への撮影画像１５１の追加記録が抑止される。そのため、記
憶容量の使用を抑制しつつ、有用な画像を記録することができる。

【0030】

＜実施形態２＞
本実施形態２は、上述した実施形態１を改良したものである。図３は、本実施形態２に
かかる画像記録装置１００ａの構成を示すブロック図である。画像記録装置１００ａは、
図１の画像記録装置１００と比べてモデル更新部１６０がモデル更新部１６０ａに置き換
わり、取得部１７０が追加されたものである。それ以外の構成は、図１と同等であるため
、重複する説明は適宜省略する。

【0031】

取得部１７０は、外部から新たな認識対象の学習用データを取得する。ここで、新たな
認識対象とは、例えば、ユーザが所望する新たな対象物体の画像であるか、既に学習済み
の認識対象における追加の属性の画像であってもよい。または、新たな認識対象とは、警
察や自治体等から提供された盗難車や違反者の画像であってもよい。つまり、取得部１７
０は、ネットワーク等を介して提供元から受信した画像群を学習用データとして取得する
。取得部１７０は、外部から新たな認識対象の学習済モデルである認識モデル（辞書１３
０）を取得してもよい。

【0032】

本実施形態では、モデル更新部１６０ａは、取得部１７０により取得された学習用デー
タを用いた学習を行い、認識モデル（辞書１３０）を更新するための学習部を備える。こ
れにより、辞書１３０を効果的に学習させることができる。モデル更新部１６０ａは、学
習部を備えず、取得部１７０により取得された認識モデル（辞書１３０）を従来の認識モ
デルに代えて導入する形態を、変形例としてもよい。

【0033】

図４は、本実施形態２にかかる画像記録処理の流れを示すフローチャートである。まず
、取得部１７０は、外部から配布された学習用データを取得する（Ｓ２０１）。次に、モ
デル更新部１６０ａは、学習用データを用いて学習し、認識モデル（辞書１３０）を更新
する（Ｓ２０２）。

【0034】

このように、本実施形態２では、外部から提供される新たな認識対象を辞書１３０に追
加的に学習することで、辞書１３０をより効果的なものにすることができる。例えば、特
定の地域で捜索等を行う際に、特定の地域内の多数の自動車に対して、捜索対象物の画像
を一斉に配信することで、各自動車の辞書１３０を即座に学習させることができる。よっ
て、より短時間に効率的に捜索を行うことができる。

【0035】

＜その他の実施形態＞
撮影画像が撮影された位置情報を取得する図示しない位置情報取得部をさらに備えて、
モデル更新部１６０は、認識対象が認識された位置の位置情報が、過去に同じ認識対象が
認識された位置の位置情報と一致する場合を、所定条件としてもよい。これにより、同じ
背景での画像が重複して記録されることを抑止できる。よって、記憶容量の使用を抑制し
つつ、より多様な画像を記録できる。位置情報の取得は、例えば、ＧＮＳＳ（Global Nav
igation Satellite System）により取得することができる。

【0036】

撮影画像が撮影された際の天気情報を取得する図示しない天気情報取得部をさらに備え
て、モデル更新部１６０は、認識対象が認識された際の天気情報が、過去に同じ認識対象
が認識された際の天気情報より良い場合を、所定条件としてもよい。これにより、少なく
とも天候が悪い場合でも、例えば、雨の日で認識対象の写りが不十分であっても最低限の
記録が可能となる。そして、同じ認識対象でも、同程度の悪天候であれば追加記録がされ
ず、より良い天候の時に撮影された場合に限り追加記録ができる。天気情報の取得は、例
えば、ネット上のサーバから通信により取得することができる。

【0037】

また、画像認識部１２０は、車両の周辺の撮影画像から認識対象を認識した際に、ユー
ザに認識対象を認識した旨を図示しない報知部により報知することが好ましい。スピーカ
またはモニタを備える報知部は、音声や画像によって、ユーザに認識対象を認識した旨を
報知する。報知部は、記録制御部１４０が撮影画像を記録装置１５０に記録した際に、ユ
ーザに撮影画像を記録した旨を報知する形態であってもよい。

【0038】

以上、本発明を上記実施の形態に即して説明したが、本発明は上記実施の形態の構成に
のみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であ
ればなし得る各種変形、修正、組み合わせを含むことは勿論である。

【0039】

例えば上記実施の形態では、認識対象が認識され、かつ、認識結果が所定条件を満たす
場合に、モデル更新部が認識モデルを更新することで、同じ認識対象がその後は認識され
ないようにしているが、認識対象が認識され、かつ、認識結果が所定条件を満たす場合に
、記録制御部が記録を抑制することで、同じ認識対象がその後は記録されないようにして
もよい。この場合、撮影画像に認識対象が含まれている場合に認識はするが記録はされな
いことになり、上記実施の形態と同様の効果を得ることができる。

【0040】

また、上述の通信装置の任意の処理は、CPU（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、CD-ROM（Read Only Memory）、CD-R、CD-R/W、半導体メモリ（例えば、マスクROM、PROM（Programmable ROM）、EPROM（Erasable PROM）、フラッシュROM、RAM（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0041】

また、コンピュータが上述の実施の形態の機能を実現するプログラムを実行することに
より、上述の実施の形態の機能が実現される場合だけでなく、このプログラムが、コンピ
ュータ上で稼動しているOS（Operating System）もしくはアプリケーションソフトウェア
と共同して、上述の実施の形態の機能を実現する場合も、本発明の実施の形態に含まれる
。さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡
張ボードやコンピュータに接続された機能拡張ユニットによって行われて、上述の実施の
形態の機能が実現される場合も、本発明の実施の形態に含まれる。

【符号の説明】

【0042】

１００ 画像記録装置
１１０ 画像取得部
１２０ 画像認識部
１３０ 辞書
１４０ 記録制御部
１５０ 記録装置
１５１ 撮影画像
１６０ モデル更新部

【図1】

【図2】

【図3】

【図4】