IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 名古屋電機工業株式会社の特許一覧

特許7539621画像生成システム、画像生成方法および画像生成プログラム
<>
  • 特許-画像生成システム、画像生成方法および画像生成プログラム 図1
  • 特許-画像生成システム、画像生成方法および画像生成プログラム 図2
  • 特許-画像生成システム、画像生成方法および画像生成プログラム 図3
  • 特許-画像生成システム、画像生成方法および画像生成プログラム 図4
  • 特許-画像生成システム、画像生成方法および画像生成プログラム 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-16
(45)【発行日】2024-08-26
(54)【発明の名称】画像生成システム、画像生成方法および画像生成プログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20240819BHJP
   G06T 5/00 20240101ALI20240819BHJP
   H04N 23/52 20230101ALI20240819BHJP
   H04N 23/63 20230101ALI20240819BHJP
【FI】
G06T7/00 350B
G06T5/00 700
H04N23/52
H04N23/63 310
【請求項の数】 4
(21)【出願番号】P 2021197779
(22)【出願日】2021-12-06
(65)【公開番号】P2023083841
(43)【公開日】2023-06-16
【審査請求日】2023-02-16
(73)【特許権者】
【識別番号】000243881
【氏名又は名称】名古屋電機工業株式会社
(74)【代理人】
【識別番号】110000660
【氏名又は名称】Knowledge Partners弁理士法人
(72)【発明者】
【氏名】渡辺 辰巳
(72)【発明者】
【氏名】田中 良士
【審査官】吉川 康男
(56)【参考文献】
【文献】特開2020-042760(JP,A)
【文献】特開2010-273014(JP,A)
【文献】特開2020-174320(JP,A)
【文献】特開2018-098745(JP,A)
【文献】特開2019-211571(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G06T 5/00
H04N 23/52
H04N 23/63
(57)【特許請求の範囲】
【請求項1】
カメラによって撮影された撮影画像を取得する撮影画像取得部と、
前記カメラによって撮影された画像を入力して前記カメラのレンズに対する付着物を除去した画像を出力するように機械学習された機械学習モデルに対して、前記撮影画像を入力し、前記付着物を除去した除去後画像を出力する付着物除去部と、
前記撮影画像と前記除去後画像との差分の大きさに基づいて、前記撮影画像における前記付着物の量を取得し、前記付着物の量に基づいて、警告部に警告を出力させる、警告制御部と、
を備える画像生成システム。
【請求項2】
前記除去後画像を、表示部に表示させる表示制御部をさらに備える、
請求項1に記載の画像生成システム。
【請求項3】
カメラによって撮影された撮影画像を取得する撮影画像取得工程と、
前記カメラによって撮影された画像を入力して前記カメラのレンズに対する付着物を除去した画像を出力するように機械学習された機械学習モデルに対して、前記撮影画像を入力し、前記付着物を除去した除去後画像を出力する付着物除去工程と、
前記撮影画像と前記除去後画像との差分の大きさに基づいて、前記撮影画像における前記付着物の量を取得し、前記付着物の量に基づいて、警告部に警告を出力させる、警告制御工程と、
を含む画像生成方法。
【請求項4】
コンピュータを、
カメラによって撮影された撮影画像を取得する撮影画像取得部、
前記カメラによって撮影された画像を入力して前記カメラのレンズに対する付着物を除去した画像を出力するように機械学習された機械学習モデルに対して、前記撮影画像を入力し、前記付着物を除去した除去後画像を出力する付着物除去部、
前記撮影画像と前記除去後画像との差分の大きさに基づいて、前記撮影画像における前記付着物の量を取得し、前記付着物の量に基づいて、警告部に警告を出力させる、警告制御部、
として機能させる画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像生成システム、画像生成方法および画像生成プログラムに関する。
【背景技術】
【0002】
カメラのレンズに付着物が付着していると、撮影画像が劣化することが知られている。特許文献1においては、レンズの汚れや曇り等による欠陥が画像に生じているか否かを、識別モデルによって判定する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第6616906号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の技術においては、画質の劣化を検出することができるが、画質の劣化を自動的に解消することができなかった。従って、従来の技術においては、劣化が検出された場合に監視員に通知し、監視員がカメラの設置場所まで行って清掃するなどの対策をしなければ、画質の劣化を解消することができない。
本発明は、前記課題にかんがみてなされたもので、レンズに対する付着物が撮影画像に与える影響を低減させることを目的とする。
【課題を解決するための手段】
【0005】
上述の目的を達成するため、画像生成システムは、カメラによって撮影された撮影画像を取得する撮影画像取得部と、前記カメラによって撮影された画像を入力して前記カメラのレンズに対する付着物を除去した画像を出力するように機械学習された機械学習モデルに対して、前記撮影画像を入力し、前記付着物を除去した除去後画像を出力する付着物除去部と、を備える。
【0006】
すなわち、画像生成システムにおいては、カメラによって撮影された画像からレンズに対する付着物を除去した画像を生成する機械学習モデルが、機械学習によって予め生成されている。従って、カメラによって撮影された撮影画像を機械学習モデルに入力すると、付着物が除去された除去後画像を生成することができる。また、レンズに対する付着物が撮影画像に与える影響を低減させた状態で利用者に提供することができる。
【図面の簡単な説明】
【0007】
図1】画像生成システムのブロック図である。
図2】生成モデルと識別モデルを説明する図である。
図3】機械学習処理のフローチャートである。
図4】画像生成処理のフローチャートである。
図5】画像の比較例を説明する図である。
【発明を実施するための形態】
【0008】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)画像生成システムの構成:
(2)管理者端末の構成:
(3)画像生成処理:
(4)他の実施形態:
【0009】
(1)画像生成システムの構成:
図1は画像生成システム10の構成を示すブロック図である。画像生成システム10はカメラ40を備えており、カメラ40によって撮影対象を撮影できる位置に画像生成システム10が設置される。画像生成システム10は、カメラ40によって撮影された撮影画像からレンズに対する付着物を除去した除去後画像を生成し、管理者端末100の表示部400に表示させる。
【0010】
カメラ40による撮影対象は、種々の対象であって良く、複数個存在してもよい。本実施形態においては、撮影対象が道路であり、複数の撮影対象のそれぞれをカメラ40で撮影可能な複数の位置のそれぞれに画像生成システム10が設置される。図1においては、一台の画像生成システム10が図示されているが、実際には、複数個の画像生成システム10が稼働しており、他の画像生成システム10の図示は省略されている。管理者端末100は、複数個存在していても良いが、本実施形態においては一台の管理者端末100が利用される態様が想定されている。
【0011】
画像生成システム10は、制御部20,記憶媒体30,カメラ40,通信部50を備えている。制御部20は、図示しないCPU,RAM,ROM等を備えており、記憶媒体30等に記録された各種プログラムを実行することができる。通信部50は、管理者端末100と通信を行う装置である。通信の態様は限定されず、有線通信や、無線通信を利用可能である。制御部20は、通信部50を介して、管理者端末100に対して各種の情報を送信することが可能であり、また、管理者端末100から各種の情報を受信することが可能である。
【0012】
カメラ40は、視野内の風景をレンズによって撮像素子に結像する装置である。制御部20は、カメラ40を制御し、カメラ40によって撮影された撮影画像を取得することができる。本実施形態において、カメラ40は屋外に設置されている。従って、画像生成システム10の運用過程において、雨や雪、泥等がレンズに付着し得る。レンズに対して付着物が付着した状態で撮影画像が取得されると、撮影画像には当該付着物の像が含まれるため、本来予定している視野内の風景の一部が撮影されていない状態になり得る。
【0013】
そこで、本実施形態において制御部20は、画像生成プログラム21を実行し、当該付着物を除去する。このような処理を実行するため、画像生成プログラム21は、撮影画像取得部21a、付着物除去部21b、表示制御部21c、警告制御部21dの各機能を備えている。撮影画像取得部21aは、カメラ40によって撮影された撮影画像を取得する機能を制御部20に実行させる。本実施形態において、制御部20は、撮影画像取得部21aの機能により、既定のフレームレートでカメラ40から出力される撮影画像を取得し、撮影画像データ30aとして記憶媒体30に記憶させる。
【0014】
付着物除去部21bは、機械学習モデル30bに対して、撮影画像を入力し、付着物を除去した除去後画像を出力する機能を制御部20に実行させる。機械学習モデル30bは、カメラ40によって撮影された画像を入力し、カメラ40のレンズに対する付着物を除去した画像を出力するように機械学習されたモデルである。本実施形態において、モデルは、入力される画像データの画素毎の階調値を入力値とし、生成される画像の画像データの画素毎の階調値を出力値とした場合における両データの対応関係を導出する式を示す情報である。
【0015】
本実施形態において、機械学習モデル30bは、画像生成システム10の稼働前に予め管理者端末100にて作成され、記憶媒体30に記憶される。機械学習モデル30bの作成については後述する。本実施形態において、制御部20は、既定のフレームレートでカメラ40から出力される撮影画像のそれぞれを機械学習モデル30bに入力し、それぞれの撮影画像から付着物を除去した除去後画像を生成する。生成された除去後画像は、除去後画像データ30cとして記憶媒体30に記憶される。
【0016】
表示制御部21cは、除去後画像を、表示部に表示させる機能を制御部20に実行させる。本実施形態において、表示部は、管理者端末100に備えられている。そこで、制御部20は、通信部50を制御し、画像生成システム10の識別情報を対応づけた除去後画像データ30cを管理者端末100に送信する。管理者端末100が除去後画像データ30cを受信すると、管理者端末100は、管理者端末100が備える表示部400を制御し、画像生成システム10の識別情報とともに、除去後画像を表示させる。
【0017】
この結果、管理者端末100の利用者は、画像生成システム10のカメラ40で撮影された画像を視認することができる。カメラ40のレンズに付着物が付着していたとしても、当該付着物は機械学習モデル30bによって除去される。従って、レンズに対する付着物が撮影画像に与える影響を低減させた状態で画像を利用者に提供することができる。利用者は、付着物による影響が低減した状態の画像に基づいて、渋滞の有無など、種々の判断をすることができる。また、画像による解析(例えば、車両の数の計測など)が行われる場合であっても、付着物による影響が低減した状態の画像に基づいて画像を解析することができる。
【0018】
警告制御部21dは、撮影画像と除去後画像との比較に基づいて、撮影画像における付着物の量を取得し、付着物の量に基づいて、警告部に警告を出力させる機能を制御部20に実行させる。除去後画像は、付着物が除去された後の画像であるため、除去後画像が撮影画像と比較して大きく変化しているほど、元の撮影画像に付着物の像が含まれている量が多いと推定することができる。
【0019】
そこで、制御部20は、撮影画像と除去後画像とを比較し、両者の差が大きいほど大きくなる数値を、指標として取得する。指標は、種々の手法で取得されて良く、詳細な例は後述する。制御部20は、指標の大きさに基づいて、付着物の量を取得し、付着物の量が予め決められた基準以上である場合に、カメラ40のレンズへの付着物の量が警告対象の量であると見なす。警告対象の量であると見なされた場合、制御部20は、通信部50を制御し、レンズへの付着物の量が警告対象の量であることを示す情報に対して、画像生成システム10の識別情報を対応づけて管理者端末100に送信する。管理者端末100がこれらの情報を受信すると、管理者端末100は、管理者端末100が備える表示部400を制御し、画像生成システム10の識別情報とともに、カメラ40のレンズへの付着物の量が警告対象の量であることの警告を表示させる。むろん、警告の態様は表示に限定されず、音等による警告が行われてもよい。
【0020】
当該警告の結果、管理者端末100の利用者は、カメラ40のレンズへの付着物の量が警告対象の量であることを認識することができる。従って、利用者は、識別情報が示す画像生成システム10において、カメラ40のメンテナンスが必要であると認識することができる。カメラ40のメンテナンスが必要である場合、種々の態様でメンテナンスが行われてよい。例えば、管理者端末100の利用者が、画像生成システム10の識別番号をメンテナンス担当者に連絡し、メンテナンス担当者がカメラ40のレンズの掃除や、交換等を行う態様が挙げられる。この態様以外にも、例えば、管理者端末100の利用者が、画像生成システム10の識別番号をメンテナンス業者に対して通知し、メンテナンス業者がカメラ40のレンズの掃除や、交換等を行う態様が挙げられる。むろん、メンテナンス担当者等への通知は、管理者端末100から自動的に実施されてもよい。また、カメラ40のメンテナンスが必要でなければ、メンテナンスは行われない。
【0021】
以上の構成によれば、カメラ40のレンズに過度の量の付着物が付着したとしても、メンテナンス対象を容易に特定し、メンテナンスを行うことができる。また、カメラ40のレンズに過度の量の付着物が付着していない場合、例えば、機械学習モデル30bによる処理によって充分に付着物を除去することができる場合に、無用なメンテナンスが行われることを防止することができる。従って、メンテナンスのために複数の画像生成システム10を定期的に巡回するなどの無駄を削減または低減することができる。
【0022】
(2)管理者端末の構成:
次に、管理者端末100の構成を説明する。管理者端末100は、制御部200,記憶媒体300,表示部400,通信部500を備えている。表示部400は、画像を表示するディスプレイ装置である。通信部500は、画像生成システム10と通信を行う装置である。
【0023】
制御部200は、図示しないCPU,RAM,ROM,GPU(Graphics Processing Unit)等を備えており、記憶媒体300等に記録された各種プログラムを実行することができる。本実施形態において制御部200は、機械学習モデル30bを生成するための機械学習プログラム210と、画像生成システム10との通信を制御する通信制御プログラム220と、を実行可能である。機械学習プログラム210が実行されると、制御部20は、機械学習部210aとして機能する。機械学習部210aは、ニューラルネットワークを形成する訓練モデルを最適化する機械学習処理を制御部200に実行させる。モデルは、種々の態様であってよいが、本実施形態においては、pix2pixと呼ばれるモデルを機械学習することが想定されている。
【0024】
図2は、本実施形態における機械学習モデルを模式的に示す図である。本実施形態においては、生成モデルGと識別モデルDとが訓練モデルとして用意され、敵対的に競わせて交互に学習させる。生成モデルGは、画像を入力して、他の画像を生成するモデルである。ここでは、生成モデルGに入力される画像を入力画像Ii、生成モデルGから出力される画像を生成画像Igと呼ぶ。機械学習の際、入力画像Iiと当該入力画像Iiから生成された生成画像Igとはペアとされる。また、入力画像Iiは複数個用意される。従って、各入力画像Iiのそれぞれに対して、ペアとなる生成画像Igが存在する。図2の中央上部においては、入力画像Iiと生成画像Igとがペアになっていることを矢印で示している。
【0025】
識別モデルDには、2つの画像ペアが入力される。入力される画像ペアは、入力画像Iiと生成画像Igとのペアであるか、または、教師データ300aによって対応づけられた2つの画像のペアである。教師データ300aは、付着物Rを含み得る入力画像Iiと当該付着物Rが含まれないターゲット画像Itとのペアが複数組用意されることによって定義される。本実施形態において、教師データ300aに含まれる入力画像Iiは機械学習の際に生成モデルGに入力される画像でもある。当該入力画像Iiは、付着物がレンズに付着していることがあり得る状態でカメラ40によって撮影された撮影画像Ipでもある。一方、ターゲット画像Itは、付着物Rが含まれない画像であり、ペアとなる撮影画像Ipと同じ環境下で、付着物Rがレンズに付着していない状態でカメラ40によって撮影された画像である。教師データ300aにおいても、入力画像Iiとターゲット画像Itとのペアは複数組用意される。図2の中央下部には、教師データ300aにおいて、入力画像Iiとターゲット画像Itとが対応づけられている様子が矢印によって示されている。教師データ300aは、種々の手法で生成されて良い。例えば、実際に付着物がレンズに付着している状態と、付着していない状態とで撮影された画像が複数個用意されても良い。また、付着物がレンズに付着していない状態で撮影された画像に対して、ノイズ等が付与されることによって、付着物がレンズに付着している状態で撮影された画像が仮想的に生成されても良い。また、付着物がレンズに付着していない状態で撮影された画像を入力し、付着物を付加した画像を出力する機械学習モデルが予め生成され、当該機械学習モデルに基づいて画像が生成されても良い。いずれにしても、ターゲット画像Itは、入力画像Iiに含まれ得る付着物が除去された状態である。
【0026】
以上のように教師データ300aによって入力画像Iiに対応するターゲット画像Itが定義されていることを利用して、識別モデルDは、入力された前記2つの画像ペアが、教師データ300aに含まれる組合せであるか否かを識別するように学習される。すなわち、入力される画像ペアが入力画像Iiとターゲット画像Itである場合、正解ラベルがreal(真)と定義され、入力される画像ペアが入力画像Iiと生成画像Igとのペアである場合、正解ラベルがfake(偽)と定義される。
【0027】
そして、識別モデルDは、正解ラベルとして用意されたreal(真)とfake(偽)を使って、入力された画像ペアが、入力画像Iiとターゲット画像Itのペア(正解ラベルが真)の場合には、出力される識別信号の値がreal(真)を示す値に近くなるように学習される。また、入力された画像ペアが、入力画像Iiと生成画像Igのペア(正解ラベルが偽)の場合には、出力される識別信号の値がfake(偽)を示す値に近くなるように学習される。さらに、生成モデルGは、入力画像Iiと生成画像Igのペアが識別モデルDに入力された場合に、出力される識別信号の値がreal(真)を示す値に近くなる(生成画像Igがターゲット画像Itと誤解される)ように学習される。すなわち、入力画像Iiとしての撮影画像Ipが生成モデルGに入力された場合に生成される生成画像Igが、ターゲット画像Itと区別できないほど、生成画像Igがターゲット画像Itに近づくように学習が行われる。ターゲット画像Itは、撮影画像Ipの付着物が除去された状態の画像であるため、生成画像Igとターゲット画像Itとが区別できないように学習された場合には、生成画像Igは付着物が除去された除去後画像Ieであると言える。
【0028】
以上のような機械学習を行うため、教師データ300aは、機械学習が行われる前に予め用意される。教師データ300aが用意されると、当該教師データ300aを利用して機械学習を行うことができる。
【0029】
図3は機械学習処理を示すフローチャートである。本実施形態において、機械学習処理は、画像生成システム10の運用が開始される前に予め実行される。また、機械学習処理が行われる前には、予め教師データ300aが用意される。機械学習処理が開始されると、制御部200は、機械学習部210aの機能により、訓練モデルを取得する(ステップS100)。本実施形態において、制御部200は、生成モデルGの訓練モデルと、識別モデルDの訓練モデルを取得する。ここで、訓練モデルは、モデルを示すフィルタや活性化関数、損失関数等の情報である。次に、制御部200は、機械学習部210aの機能により、教師データ300aを取得する(ステップS105)。
【0030】
次に、制御部200は、機械学習部210aの機能により、テストデータを取得する(ステップS110)。本実施形態においては、教師データ300aの一部を抽出し、学習の汎化が行われたか否かを確認するためのテストデータとする。なお、テストデータは、機械学習には使用されない。
【0031】
次に、制御部200は、機械学習部210aの機能により、初期値を決定する(ステップS115)。すなわち、制御部200は、ステップS100で取得した訓練モデルのうち、学習対象となる可変のパラメーター(フィルタの重みやバイアス等)に対して初期値を与える。初期値は、種々の手法で決定されて良い。むろん、学習の過程でパラメーターが最適化されるように初期値が調整されても良いし、各種のデータベース等から学習済のパラメーターが取得されて利用されても良い。
【0032】
次に、制御部200は、機械学習部210aの機能により、学習を行う(ステップS120)。本実施形態において、制御部200は、生成モデルGと識別モデルDとの一方を固定し他方の機械学習を行い、さらに、学習後のパラメーターで他方を固定し、一方を機械学習する。
【0033】
具体的には、本実施形態において制御部200は、まず、生成モデルGを固定する。すなわち、制御部200は、教師データ300aを参照し、入力画像Iiを抽出し、生成モデルGに入力する。この結果、生成画像Igが得られる。生成画像Igが得られると、制御部200は、識別モデルDに対して画像ペアを入力する。上述のように、画像ペアは、入力画像Iiと当該入力画像Iiに基づいて生成された生成画像Igとのペア、または、教師データ300aにおいて対応づけられた入力画像Iiとターゲット画像Itとのペアである。識別モデルDに入力される画像ペアがいずれのペアであるのかは、例えば、統計的に決められて良い。
【0034】
識別モデルDに対する入力が行われると、識別モデルDからは入力された画像ペアの一方が、生成画像Ig、ターゲット画像Itのいずれと識別されたのかを示す識別信号が出力される。機械学習が行われる際に、入力された画像ペアの一方が、生成画像Igである可能性またはターゲット画像Itのいずれであるのかは予め確定しているため、真偽の正解ラベルも予め確定している。そこで、制御部200は、正解ラベル(real(真)の場合1,fake(偽)の場合0)と、識別モデルDから出力された識別信号と、の誤差に基づいて、誤差が最小化されるように識別モデルDを最適化する。すなわち、制御部200は、誤差の大きさを評価する損失関数に基づいて誤差を特定する。損失関数が得られたら、制御部200は、既定の最適化アルゴリズム、例えば、確率的勾配降下法等によってパラメーターを更新する。すなわち、制御部200は、損失関数のパラメーターによる微分に基づいてパラメーターを更新する処理を行う。
【0035】
次に、制御部200は、識別モデルDを固定する。すなわち、制御部200は、教師データ300aを参照し、入力画像Iiを抽出し、生成モデルGに入力する。この結果、生成画像Igが得られる。生成画像Igが得られると、制御部200は、識別モデルDに対してこれらの入力画像Ii、生成画像Igを入力する。
【0036】
識別モデルDに対する入力が行われると、識別モデルDからは入力された画像ペアの一方である生成画像Igの真偽の識別結果を示す識別信号が出力される。生成モデルGの機械学習は、生成モデルGの出力である生成画像Igの識別モデルDによる識別結果が真を示す値に近くなるように進められる。このため、ここでは、識別モデルDから出力された識別信号と、真であることを示す数値1と、の誤差(第1の誤差)が小さいほど、生成モデルGが最適化されていると言える。
【0037】
さらに、生成モデルGから出力された生成画像Igにおいて付着物が完全に除去されていると、ターゲット画像Itと同等の画像になるはずである。従って、生成画像Igと、ターゲット画像Itと、の誤差(第2の誤差)が小さいほど、生成モデルGが最適化されていると言える。
【0038】
そこで、制御部200は、これらの第1の誤差および第2の誤差の大きさを評価する損失関数に基づいて機械学習が行われる。すなわち、生成モデルGの学習に必要な誤差は、識別モデルDから経由した誤差と、入力画像Iiを生成モデルGに入力して得られた生成画像Igとターゲット画像It間の違いを表す誤差であり、これらの誤差が組み合わされて逆伝搬される。損失関数が得られたら、制御部200は、既定の最適化アルゴリズム、例えば、確率的勾配降下法等によってパラメーターを更新する。すなわち、制御部200は、損失関数のパラメーターによる微分に基づいてパラメーターを更新する処理を行う。本実施形態においては、以上のような識別モデルDの最適化および生成モデルGの最適化を1サイクルの学習とし、このサイクルを繰り返すことによって機械学習を行う。なお、生成モデルGおよび識別モデルDの2つのモデル構造や損失関数の設定、学習パラメーターの設定等は、種々の手法で行われてよく、各種の公知技術を利用可能である。
【0039】
既定回数のサイクルのパラメーターの更新が行われると、制御部200は、訓練モデルの汎化が完了したか否かを判定する(ステップS125)。すなわち、制御部200は、ステップS110で取得したテストデータの入力画像Iiを訓練モデルの生成モデルGに入力して生成画像Igを生成する。また、制御部200は、生成された生成画像Igと入力画像Iiとのペアを訓練モデルの識別モデルDに入力して、真偽を示す数値を取得する。そして、制御部200は、テストデータのうち、識別結果が閾値以上であった(真に近い値であった)ペアの数を取得し、テストデータの全サンプル数で除することで、真と識別された画像が生成された確率を取得する。本実施形態において、制御部200は、当該確率が閾値以上である場合に汎化が完了したと判定する。
【0040】
なお、汎化性能の評価に加え、ハイパーパラメーターの妥当性の検証が行われてもよい。すなわち、学習対象となる可変のパラメーター以外の可変量であるハイパーパラメーター、例えば、ノードの数等がチューニングされる構成において、制御部200は、検証データに基づいてハイパーパラメーターの妥当性を検証しても良い。検証データは、ステップS110と同様の処理により、教師データ300aから検証データを予め抽出し、訓練に用いないデータとして確保しておくことで取得すれば良い。
【0041】
ステップS125において、訓練モデルの汎化が完了したと判定されない場合、制御部200は、ステップS120を繰り返す。すなわち、さらに学習対象となる可変のパラメーターを更新する処理を行う。一方、ステップS125において、訓練モデルの汎化が完了したと判定された場合、制御部200は、機械学習済の生成モデルGを機械学習モデル30bとして記録する(ステップS130)。すなわち、制御部200は、学習した各モデルのうちの、生成モデルGを機械学習モデル30bとして記憶媒体300に記録する。また、制御部200は、通信部500を制御し、機械学習モデル30bを画像生成システム10に対して送信し、記憶媒体30に記憶させる。むろん、識別モデルDが、画像生成システム10の記憶媒体30、管理者端末100の記憶媒体300の少なくとも一方に記録され、動作確認や再学習等に利用可能であっても良い。
【0042】
(3)画像生成処理:
次に、画像生成システム10において実行される画像生成処理を図4に示すフローチャートに基づいて説明する。画像生成処理は、機械学習モデル30bが記憶媒体30に記録された後に実行される。また、画像生成処理は、カメラ40の視野内に撮影対象が位置するように画像生成システム10が設置された状態で実行される。本実施形態において、画像生成処理は、カメラ40による撮影周期で繰り返し実行される。
【0043】
画像生成処理が開始されると、制御部20は、撮影画像取得部21aの機能により、撮影画像を取得する(ステップS200)。すなわち、制御部20は、カメラ40から出力される撮影画像を示す撮影画像データ30aを記憶媒体30に記憶させる。次に、制御部20は、付着物除去部21bの機能により、撮影画像を機械学習モデルに入力する(ステップS205)。すなわち、制御部20は、機械学習モデル30bに対して、撮影画像データ30aが示す撮影画像Ipを入力する。次に、制御部20は、付着物除去部21bの機能により、除去後画像を取得する(ステップS210)。すなわち、制御部20は、機械学習モデル30bから出力された生成画像Igを除去後画像Ieとみなし、当該除去後画像Ieを示す除去後画像データ30cを記憶媒体30に記憶させる。
【0044】
次に、制御部20は、表示制御部21cの機能により、除去後画像の表示制御を実行する(ステップS215)。すなわち、制御部20は、通信部50を制御し、除去後画像データ30cに画像生成システム10の識別情報を対応付け、管理者端末100に送信する。管理者端末100の制御部200は、通信制御プログラム220の機能により、通信部500を制御し、除去後画像データ30cを受信して記憶媒体300に記憶させる。さらに、制御部200は、通信制御プログラム220の機能により、表示部400を制御し、除去後画像データ30cが示す除去後画像に、画像生成システム10の識別情報を対応づけて表示させる。
【0045】
ステップS215が実行されると、制御部20は、警告制御部21dの機能により、撮影画像と除去後画像の差分を取得する(ステップS220)。本実施形態において、撮影画像と除去後画像とは同一のサイズおよび同一の形状の画像である。そこで、制御部20は、撮影画像データ30aと、除去後画像データ30cとを参照し、同一座標の画素同士で階調値の差分を取得する処理を、各画素について実施する。本実施形態において、撮影画像と除去後画像とは、赤、青、緑の3チャネルからなる画像であるため、差分を取得する処理は各画素について実施され、その総和が各画素の差分を示す値とされる。この構成は一例であり、各種の態様で画素毎の差分を示す値が取得されても良い。例えば、赤、青、緑のそれぞれのチャネルの差分に対して重み付け係数を乗じて加えた値が、画素毎の差分を示す値とされても良い。
【0046】
画素毎の差分が取得されると、制御部20は、警告制御部21dの機能により、差分が閾値以上である画素の割合を取得する(ステップS225)。すなわち、制御部20は、差分を示す値が閾値以上である画素の像を付着物の像であると見なし、当該画素が全画像に占める割合で付着物の量を評価する。図5においては、撮影画像Ipから機械学習モデル30bによって生成された除去後画像Ieと、撮影画像Ipと、の差分が閾値以上である画素をグレーに着色した画像Idを模式的に示している。画像Idにおいて、差分が閾値より小さい(0に近い)部分は白に着色されている。図5に示すように、レンズへの付着物が除去された除去後画像Ieが生成されると、撮影画像Ipと除去後画像Ieとの差分は、付着物が存在しない部位で0に近くなり、付着物が存在する部位で大きくなる。
【0047】
そこで、制御部20は、付着物の像であると見なされた画素の数を計測し、全画素数で除することによって、付着物が画像に占める割合を取得する。付着物が画像に占める割合は、付着物の量に対応しているため、本実施形態においては、撮影画像と除去後画像の差分に基づいて、レンズに付着した付着物の量を評価していることになる。以上の構成によれば、カメラ40のレンズに付着した付着物の量を、容易に、かつ、客観的に、自動的に判定することが可能である。
【0048】
次に、制御部20は、警告制御部21dの機能により、ステップS225で取得された割合が基準以上であるか否か判定する(ステップS230)。すなわち、警告対象となる基準の値が予め決められており、制御部20は、ステップS225で取得された割合が当該基準の値以上である場合、カメラ40のレンズに対する付着物の量が警告対象の量であると見なす。
【0049】
ステップS230において、割合が基準以上であると判定された場合、制御部20は、警告制御部21dの機能により、通信部50を制御し、付着物の量が警告対象の量であることを示す情報に対して、画像生成システム10の識別情報を対応づけて管理者端末100に送信する。管理者端末100の制御部200は、通信制御プログラム220の機能により、通信部500を制御し、これらの情報を受信して記憶媒体300に記憶させる。さらに、制御部200は、通信制御プログラム220の機能により、表示部400を制御し、画像生成システム10の識別情報とともに、当該識別情報の画像生成システム10において、レンズへの付着物の量が警告対象を超えていることを示す警告情報を表示させる。
【0050】
(4)他の実施形態:
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、画像生成システム10は、複数の装置によって実現されても良い。また、機械学習は、画像生成システム10で実施されてもよいし、他の装置、例えば、サーバや持ち運び可能な端末等で実施されてもよい。画像生成システム10においても機械学習が実行可能であれば、例えば、画像生成システム10が設置された各現場で撮影された撮影画像を利用した再学習が可能である。
【0051】
持ち運び可能な端末で機械学習が可能である場合、当該端末において任意の場所で機械学習を行うことができる。従って、画像生成システム10が設置された現場やその付近において、機械学習を行うことが可能であり、学習した機械学習モデル30bをリムーバブルメモリや有線通信、無線通信等の任意の手段によって画像生成システム10に転送し、機械学習モデル30bをアップデートすることができる。この構成であれば、画像生成システム10が、管理者端末100等のコンピュータとネットワーク接続していない状態であっても、機械学習モデル30bをアップデートし、アップデート後の機械学習モデル30bによって付着物を除去した除去後画像を生成することができる。むろん、この構成においては、管理者端末100が存在しても良いし、存在しなくても良い。なお、以上の構成においても、機械学習は、生成モデルGおよび識別モデルDについて実施されるが、除去後画像の生成は、少なくとも生成モデルGを利用すれば実施可能である。従って、画像生成システム10には、少なくとも生成モデルGが保存されていれば良いが、この構成において、画像生成システム10において生成モデルGおよび識別モデルDの機械学習が可能であっても良い。
【0052】
さらに、画像生成システム10が表示部を備えており、画像生成システム10において除去後画像が表示されても良い。また、画像生成システム10が警告部を備えており、画像生成システム10において警告が実施されても良い。
さらに、撮影画像取得部21a、付着物除去部21b、表示制御部21c、警告制御部21dの少なくとも一部が複数の装置に分かれて存在してもよい。むろん、上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。
【0053】
撮影画像取得部は、カメラによって撮影された撮影画像を取得することができればよい。従って、カメラは、画像生成システム10が備えていても良いし、画像生成システム10の外部に設置されたカメラで撮影された撮影画像が取得されても良い。撮影画像は、カメラによって撮影された画像であれば良く、撮影された画像自体が機械学習モデルに入力されても良いし、撮影された画像に対して種々の処理が行われた画像が機械学習モデルに入力されてもよい。当該種々の処理は限定されず、例えば、コントラストや明るさの調整や、トリミング、回転、拡大、縮小、ノイズ除去などの処理を想定可能である。
【0054】
付着物除去部は、機械学習モデルに対して、撮影画像を入力し、付着物を除去した除去後画像を出力することができればよい。ここで、付着物の除去は、機械学習モデルによって実施されるため、撮影画像に基づいて、付着物がない場合にカメラによって撮影される可能性が高い画像が得られれば、除去が行われたと言える。すなわち、付着物の除去は、付着物が無い状態での画像が厳密に得られるとは限られず、撮影画像に含まれる付着物の少なくとも一部が除去された状態に近づいていれば良い。
【0055】
付着物が除去された後には、付着物が存在しなければ撮影されている可能性が高い被写体の像が存在することが好ましい。従って、付着物によって一部が隠された被写体等が再現できるように、機械学習が行われることが好ましい。このため、機械学習の教師データには、被写体となり得るオブジェクトを含む画像が含まれることが好ましい。例えば、カメラによって道路を含む画像を撮影するのであれば、道路等の静止物を含む画像に加え、視野内に写り得る移動体、例えば、車や自転車、歩行者などを含む画像も教師データに含まれることが好ましい。
【0056】
付着物は、レンズに付着し、被写体を遮り得る各種の物体であり、種類は限定されない。例えば、雨や雪、泥、石、レンズに付着した水が揮発した後の残存物等が付着物等となり得る。被写体を遮り得る物体、例えば、霧や靄などが機械学習モデルで除去されても良い。
【0057】
機械学習モデルは、カメラによって撮影された画像を入力してカメラのレンズに対する付着物を除去した画像を出力するように機械学習されたモデルであれば良い。入力および出力のフォーマットは限定されず、各種の態様の画像が入力され、出力されて良い。すなわち、カメラで撮影された撮影画像自体、撮影画像に対して処理を行った画像のいずれが入力されても良い。入力される画像と出力される画像のフォーマットは同一であってもよいし、異なっていてもよい。
【0058】
機械学習モデルは、撮影画像を除去後画像に変換するモデルであれば良く、上述の構成以外にも種々の構成を採用可能である。すなわち、機械学習モデルは、DCGAN(Deep Convolutional Generative Adversarial Networks)の各種態様やそれらの派生の態様、conditional GAN等で得られる画像-画像変換モデルであってもよい。
【0059】
機械学習の態様は限定されず、例えばニューラルネットワークを構成する層の数やノードの数、活性化関数の種類、損失関数の種類、勾配降下法の種類、勾配降下法の最適化アルゴリズムの種類、ミニバッチ学習の有無やバッチの数、学習率、初期値、過学習抑制手法の種類や有無、畳み込み層の有無、畳み込み演算におけるフィルタのサイズ、フィルタの種類、パディングやストライドの種類、プーリング層の種類や有無、全結合層の有無、再帰的な構造の有無など、種々の要素を適宜選択して機械学習が行われればよい。むろん、他の機械学習、例えば、サポートベクターマシンやクラスタリング、強化学習等によって学習が行われてもよい。さらに、モデルの構造(例えば、層の数や層毎のノードの数等)が自動的に最適化される機械学習が行われてもよい。各種パラメーターの態様としても、各種の態様を採用可能である。例えば、識別モデルDから出力される識別信号の範囲は0~1に限定されず、0~100等の範囲であっても良い。
【0060】
また、上述の実施形態において識別モデルDの出力は1個の出力であるが、識別モデルDの態様はこの態様に限定されない。例えば、識別モデルDから2個の出力が得られるようにモデルを定義し、一方において偽の確度を表す値を出力し、他方において真の確度を表す値を出力する構成としても良い。この場合、識別モデルDおよび生成モデルGの学習時には、2出力からなるベクトルと、対応するターゲットベクトル間の差分量を逆伝搬し、上述の実施形態と同じように学習が実行される。
【0061】
表示制御部は、除去後画像を、表示部に表示させることができればよく、除去後画像以外の各種情報を表示部に表示させても良い。例えば、表示制御部は、除去後画像と画像生成システム10の設置位置とを対応づけて表示部に表示させても良い。また、表示制御部は、除去後画像における各種の処理の結果、例えば、除去後画像の解析結果(道路の渋滞度等)と除去後画像とを対応づけて表示部に表示させても良い。
【0062】
警告制御部は、撮影画像と除去後画像との比較に基づいて、撮影画像における付着物の量を取得し、付着物の量に基づいて、警告部に警告を出力させることができればよい。すなわち、警告制御部は、警告対象となる量の付着物がカメラのレンズに付着していることを利用者に警告することができればよい。撮影画像と除去後画像との比較は、上述の実施形態のような画素毎の階調値の差分を取得することによって実施される構成に限定されない。すなわち、当該階調値の差分に替えて、または当該階調値の差分に加えて、各種の比較が行われてよい。例えば、画像の各種の特徴量の比較やヒストグラムの比較、コントラスト、明るさの比較等が行われてもよい。また、各画像の一部は比較され、残りの部分は比較されない構成等が採用されてもよい。例えば、道路を含む画像であれば、道路および道路を含む部分において撮影画像と除去後画像とが比較され、空等の残りの部分は比較されない構成であっても良い。
【0063】
付着物の量は、撮影画像と除去後画像との比較に基づいて取得されれば良い。付着物の量は、各種の指標によって評価されて良い。従って、上述の実施形態のように、差分が閾値以上の画素が全画素に対して占める割合によって付着物の量が評価される構成以外にも、種々の構成が採用されてよい。例えば、差分の大きさの累積値に基づいて付着物の量が評価されても良いし、差分等によって撮影画像と除去後画像とが異なっている部分が特定され、当該部分のうち、面積の小さい部分がノイズとして除去されても良い。また、差分等によって撮影画像と除去後画像とが異なっている部分の形状に基づいて、連続する付着物の形状が再現されて付着物の量が評価されても良い。
【0064】
警告を出力させるか否かは、付着物の量に基づいて決められれば良く、付着物の量に応じて警告が実施されてもよい。例えば、付着物の量が多いほど、段階的または連続的に警告の強度が強くなっても良い。さらに、警告部は、画像生成システム10に備えられていても良いし、上述の実施形態のように、画像生成システム10の外部の装置に備えられていても良い。いずれにしても、警告制御部は、当該警告部に、除去後画像を表示させることができればよい。
【0065】
さらに、本発明のように、機械学習モデルによって画像から付着物の像を除去する手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合や、複数の装置によって実現される場合が想定可能であり、各種の態様を含むものである。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし半導体メモリであってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【符号の説明】
【0066】
10…画像生成システム、20…制御部、21…画像生成プログラム、21a…撮影画像取得部、21b…付着物除去部、21c…表示制御部、21d…警告制御部、30…記憶媒体、30a…撮影画像データ、30b…機械学習モデル、30c…除去後画像データ、40…カメラ、50…通信部、100…管理者端末、200…制御部、210…機械学習プログラム、210a…機械学習部、220…通信制御プログラム、300…記憶媒体、300a…教師データ、400…表示部、500…通信部、D…識別モデル、G…生成モデル
図1
図2
図3
図4
図5