特開 2023-83841 画像生成システム、画像生成方法および画像生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023083841

(43)【公開日】2023-06-16

(54)【発明の名称】画像生成システム、画像生成方法および画像生成プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230609BHJP

   H04N 23/63 20230101ALI20230609BHJP

   H04N 23/60 20230101ALI20230609BHJP

   G06T 5/00 20060101ALI20230609BHJP

【ＦＩ】

G06T7/00 350B

H04N5/232 941

H04N5/232 300

G06T5/00 705

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021197779

(22)【出願日】2021-12-06

(71)【出願人】

【識別番号】000243881

【氏名又は名称】名古屋電機工業株式会社

(74)【代理人】

【識別番号】110000660

【氏名又は名称】Ｋｎｏｗｌｅｄｇｅ Ｐａｒｔｎｅｒｓ弁理士法人

(72)【発明者】

【氏名】渡辺 辰巳

(72)【発明者】

【氏名】田中 良士

【テーマコード（参考）】

5B057

5C122

5L096

【Ｆターム（参考）】

5B057BA11

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CE02

5B057DA08

5B057DA15

5B057DC40

5C122EA02

5C122EA42

5C122FH11

5C122FH14

5C122FH18

5C122FK35

5C122GC52

5C122HA13

5C122HA35

5C122HA88

5C122HB01

5C122HB05

5L096CA02

5L096DA01

5L096DA02

5L096FA17

5L096GA08

5L096GA30

5L096KA04

5L096MA03

(57)【要約】

【課題】レンズに対する付着物が撮影画像に与える影響を低減させる技術の提供。
【解決手段】カメラによって撮影された撮影画像を取得する撮影画像取得部と、前記カメラによって撮影された画像を入力して前記カメラのレンズに対する付着物を除去した画像を出力するように機械学習された機械学習モデルに対して、前記撮影画像を入力し、前記付着物を除去した除去後画像を出力する付着物除去部と、前記除去後画像を、表示部に表示させる表示制御部と、を備える画像生成システムを構成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

カメラによって撮影された撮影画像を取得する撮影画像取得部と、
前記カメラによって撮影された画像を入力して前記カメラのレンズに対する付着物を除去した画像を出力するように機械学習された機械学習モデルに対して、前記撮影画像を入力し、前記付着物を除去した除去後画像を出力する付着物除去部と、
前記除去後画像を、表示部に表示させる表示制御部と、
を備える画像生成システム。

【請求項2】

前記撮影画像と前記除去後画像との比較に基づいて、前記撮影画像における前記付着物の量を取得し、前記付着物の量に基づいて、警告部に警告を出力させる、警告制御部をさらに備える、
請求項１に記載の画像生成システム。

【請求項3】

前記警告制御部は、
前記撮影画像と前記除去後画像との差分を、前記撮影画像と前記除去後画像との比較を行うための情報として取得し、前記差分の大きさに基づいて前記付着物の量を取得する、
請求項２に記載の画像生成システム。

【請求項4】

カメラによって撮影された撮影画像を取得する撮影画像取得工程と、
前記カメラによって撮影された画像を入力して前記カメラのレンズに対する付着物を除去した画像を出力するように機械学習された機械学習モデルに対して、前記撮影画像を入力し、前記付着物を除去した除去後画像を出力する付着物除去工程と、
前記除去後画像を、表示部に表示させる表示制御工程と、
を含む画像生成方法。

【請求項5】

コンピュータを、
カメラによって撮影された撮影画像を取得する撮影画像取得部、
前記カメラによって撮影された画像を入力して前記カメラのレンズに対する付着物を除去した画像を出力するように機械学習された機械学習モデルに対して、前記撮影画像を入力し、前記付着物を除去した除去後画像を出力する付着物除去部、
前記除去後画像を、表示部に表示させる表示制御部、
として機能させる画像生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成システム、画像生成方法および画像生成プログラムに関する。

【背景技術】

【0002】

カメラのレンズに付着物が付着していると、撮影画像が劣化することが知られている。特許文献１においては、レンズの汚れや曇り等による欠陥が画像に生じているか否かを、識別モデルによって判定する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６６１６９０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術においては、画質の劣化を検出することができるが、画質の劣化を自動的に解消することができなかった。従って、従来の技術においては、劣化が検出された場合に監視員に通知し、監視員がカメラの設置場所まで行って清掃するなどの対策をしなければ、画質の劣化を解消することができない。
本発明は、前記課題にかんがみてなされたもので、レンズに対する付着物が撮影画像に与える影響を低減させることを目的とする。

【課題を解決するための手段】

【0005】

上述の目的を達成するため、画像生成システムは、カメラによって撮影された撮影画像を取得する撮影画像取得部と、前記カメラによって撮影された画像を入力して前記カメラのレンズに対する付着物を除去した画像を出力するように機械学習された機械学習モデルに対して、前記撮影画像を入力し、前記付着物を除去した除去後画像を出力する付着物除去部と、前記除去後画像を、表示部に表示させる表示制御部と、を備える。

【0006】

すなわち、画像生成システムにおいては、カメラによって撮影された画像からレンズに対する付着物を除去した画像を生成する機械学習モデルが、機械学習によって予め生成されている。従って、カメラによって撮影された撮影画像を機械学習モデルに入力すると、付着物が除去された除去後画像を生成することができる。当該除去後画像を表示部に表示させることにより、レンズに対する付着物が撮影画像に与える影響を低減させた状態で利用者に提供することができる。

【図面の簡単な説明】

【0007】

【図1】画像生成システムのブロック図である。

【図2】生成モデルと識別モデルを説明する図である。

【図3】機械学習処理のフローチャートである。

【図4】画像生成処理のフローチャートである。

【図5】画像の比較例を説明する図である。

【発明を実施するための形態】

【0008】

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）画像生成システムの構成：
（２）管理者端末の構成：
（３）画像生成処理：
（４）他の実施形態：

【0009】

（１）画像生成システムの構成：
図１は画像生成システム１０の構成を示すブロック図である。画像生成システム１０はカメラ４０を備えており、カメラ４０によって撮影対象を撮影できる位置に画像生成システム１０が設置される。画像生成システム１０は、カメラ４０によって撮影された撮影画像からレンズに対する付着物を除去した除去後画像を生成し、管理者端末１００の表示部４００に表示させる。

【0010】

カメラ４０による撮影対象は、種々の対象であって良く、複数個存在してもよい。本実施形態においては、撮影対象が道路であり、複数の撮影対象のそれぞれをカメラ４０で撮影可能な複数の位置のそれぞれに画像生成システム１０が設置される。図１においては、一台の画像生成システム１０が図示されているが、実際には、複数個の画像生成システム１０が稼働しており、他の画像生成システム１０の図示は省略されている。管理者端末１００は、複数個存在していても良いが、本実施形態においては一台の管理者端末１００が利用される態様が想定されている。

【0011】

画像生成システム１０は、制御部２０，記憶媒体３０，カメラ４０，通信部５０を備えている。制御部２０は、図示しないＣＰＵ，ＲＡＭ，ＲＯＭ等を備えており、記憶媒体３０等に記録された各種プログラムを実行することができる。通信部５０は、管理者端末１００と通信を行う装置である。通信の態様は限定されず、有線通信や、無線通信を利用可能である。制御部２０は、通信部５０を介して、管理者端末１００に対して各種の情報を送信することが可能であり、また、管理者端末１００から各種の情報を受信することが可能である。

【0012】

カメラ４０は、視野内の風景をレンズによって撮像素子に結像する装置である。制御部２０は、カメラ４０を制御し、カメラ４０によって撮影された撮影画像を取得することができる。本実施形態において、カメラ４０は屋外に設置されている。従って、画像生成システム１０の運用過程において、雨や雪、泥等がレンズに付着し得る。レンズに対して付着物が付着した状態で撮影画像が取得されると、撮影画像には当該付着物の像が含まれるため、本来予定している視野内の風景の一部が撮影されていない状態になり得る。

【0013】

そこで、本実施形態において制御部２０は、画像生成プログラム２１を実行し、当該付着物を除去する。このような処理を実行するため、画像生成プログラム２１は、撮影画像取得部２１ａ、付着物除去部２１ｂ、表示制御部２１ｃ、警告制御部２１ｄの各機能を備えている。撮影画像取得部２１ａは、カメラ４０によって撮影された撮影画像を取得する機能を制御部２０に実行させる。本実施形態において、制御部２０は、撮影画像取得部２１ａの機能により、既定のフレームレートでカメラ４０から出力される撮影画像を取得し、撮影画像データ３０ａとして記憶媒体３０に記憶させる。

【0014】

付着物除去部２１ｂは、機械学習モデル３０ｂに対して、撮影画像を入力し、付着物を除去した除去後画像を出力する機能を制御部２０に実行させる。機械学習モデル３０ｂは、カメラ４０によって撮影された画像を入力し、カメラ４０のレンズに対する付着物を除去した画像を出力するように機械学習されたモデルである。本実施形態において、モデルは、入力される画像データの画素毎の階調値を入力値とし、生成される画像の画像データの画素毎の階調値を出力値とした場合における両データの対応関係を導出する式を示す情報である。

【0015】

本実施形態において、機械学習モデル３０ｂは、画像生成システム１０の稼働前に予め管理者端末１００にて作成され、記憶媒体３０に記憶される。機械学習モデル３０ｂの作成については後述する。本実施形態において、制御部２０は、既定のフレームレートでカメラ４０から出力される撮影画像のそれぞれを機械学習モデル３０ｂに入力し、それぞれの撮影画像から付着物を除去した除去後画像を生成する。生成された除去後画像は、除去後画像データ３０ｃとして記憶媒体３０に記憶される。

【0016】

表示制御部２１ｃは、除去後画像を、表示部に表示させる機能を制御部２０に実行させる。本実施形態において、表示部は、管理者端末１００に備えられている。そこで、制御部２０は、通信部５０を制御し、画像生成システム１０の識別情報を対応づけた除去後画像データ３０ｃを管理者端末１００に送信する。管理者端末１００が除去後画像データ３０ｃを受信すると、管理者端末１００は、管理者端末１００が備える表示部４００を制御し、画像生成システム１０の識別情報とともに、除去後画像を表示させる。

【0017】

この結果、管理者端末１００の利用者は、画像生成システム１０のカメラ４０で撮影された画像を視認することができる。カメラ４０のレンズに付着物が付着していたとしても、当該付着物は機械学習モデル３０ｂによって除去される。従って、レンズに対する付着物が撮影画像に与える影響を低減させた状態で画像を利用者に提供することができる。利用者は、付着物による影響が低減した状態の画像に基づいて、渋滞の有無など、種々の判断をすることができる。また、画像による解析（例えば、車両の数の計測など）が行われる場合であっても、付着物による影響が低減した状態の画像に基づいて画像を解析することができる。

【0018】

警告制御部２１ｄは、撮影画像と除去後画像との比較に基づいて、撮影画像における付着物の量を取得し、付着物の量に基づいて、警告部に警告を出力させる機能を制御部２０に実行させる。除去後画像は、付着物が除去された後の画像であるため、除去後画像が撮影画像と比較して大きく変化しているほど、元の撮影画像に付着物の像が含まれている量が多いと推定することができる。

【0019】

そこで、制御部２０は、撮影画像と除去後画像とを比較し、両者の差が大きいほど大きくなる数値を、指標として取得する。指標は、種々の手法で取得されて良く、詳細な例は後述する。制御部２０は、指標の大きさに基づいて、付着物の量を取得し、付着物の量が予め決められた基準以上である場合に、カメラ４０のレンズへの付着物の量が警告対象の量であると見なす。警告対象の量であると見なされた場合、制御部２０は、通信部５０を制御し、レンズへの付着物の量が警告対象の量であることを示す情報に対して、画像生成システム１０の識別情報を対応づけて管理者端末１００に送信する。管理者端末１００がこれらの情報を受信すると、管理者端末１００は、管理者端末１００が備える表示部４００を制御し、画像生成システム１０の識別情報とともに、カメラ４０のレンズへの付着物の量が警告対象の量であることの警告を表示させる。むろん、警告の態様は表示に限定されず、音等による警告が行われてもよい。

【0020】

当該警告の結果、管理者端末１００の利用者は、カメラ４０のレンズへの付着物の量が警告対象の量であることを認識することができる。従って、利用者は、識別情報が示す画像生成システム１０において、カメラ４０のメンテナンスが必要であると認識することができる。カメラ４０のメンテナンスが必要である場合、種々の態様でメンテナンスが行われてよい。例えば、管理者端末１００の利用者が、画像生成システム１０の識別番号をメンテナンス担当者に連絡し、メンテナンス担当者がカメラ４０のレンズの掃除や、交換等を行う態様が挙げられる。この態様以外にも、例えば、管理者端末１００の利用者が、画像生成システム１０の識別番号をメンテナンス業者に対して通知し、メンテナンス業者がカメラ４０のレンズの掃除や、交換等を行う態様が挙げられる。むろん、メンテナンス担当者等への通知は、管理者端末１００から自動的に実施されてもよい。また、カメラ４０のメンテナンスが必要でなければ、メンテナンスは行われない。

【0021】

以上の構成によれば、カメラ４０のレンズに過度の量の付着物が付着したとしても、メンテナンス対象を容易に特定し、メンテナンスを行うことができる。また、カメラ４０のレンズに過度の量の付着物が付着していない場合、例えば、機械学習モデル３０ｂによる処理によって充分に付着物を除去することができる場合に、無用なメンテナンスが行われることを防止することができる。従って、メンテナンスのために複数の画像生成システム１０を定期的に巡回するなどの無駄を削減または低減することができる。

【0022】

（２）管理者端末の構成：
次に、管理者端末１００の構成を説明する。管理者端末１００は、制御部２００，記憶媒体３００，表示部４００，通信部５００を備えている。表示部４００は、画像を表示するディスプレイ装置である。通信部５００は、画像生成システム１０と通信を行う装置である。

【0023】

制御部２００は、図示しないＣＰＵ，ＲＡＭ，ＲＯＭ，ＧＰＵ（Graphics Processing Unit）等を備えており、記憶媒体３００等に記録された各種プログラムを実行することができる。本実施形態において制御部２００は、機械学習モデル３０ｂを生成するための機械学習プログラム２１０と、画像生成システム１０との通信を制御する通信制御プログラム２２０と、を実行可能である。機械学習プログラム２１０が実行されると、制御部２０は、機械学習部２１０ａとして機能する。機械学習部２１０ａは、ニューラルネットワークを形成する訓練モデルを最適化する機械学習処理を制御部２００に実行させる。モデルは、種々の態様であってよいが、本実施形態においては、pix2pixと呼ばれるモデルを機械学習することが想定されている。

【0024】

図２は、本実施形態における機械学習モデルを模式的に示す図である。本実施形態においては、生成モデルＧと識別モデルＤとが訓練モデルとして用意され、敵対的に競わせて交互に学習させる。生成モデルＧは、画像を入力して、他の画像を生成するモデルである。ここでは、生成モデルＧに入力される画像を入力画像Ｉｉ、生成モデルＧから出力される画像を生成画像Ｉｇと呼ぶ。機械学習の際、入力画像Ｉｉと当該入力画像Ｉｉから生成された生成画像Ｉｇとはペアとされる。また、入力画像Ｉｉは複数個用意される。従って、各入力画像Ｉｉのそれぞれに対して、ペアとなる生成画像Ｉｇが存在する。図２の中央上部においては、入力画像Ｉｉと生成画像Ｉｇとがペアになっていることを矢印で示している。

【0025】

識別モデルＤには、２つの画像ペアが入力される。入力される画像ペアは、入力画像Ｉｉと生成画像Ｉｇとのペアであるか、または、教師データ３００ａによって対応づけられた２つの画像のペアである。教師データ３００ａは、付着物Ｒを含み得る入力画像Ｉｉと当該付着物Ｒが含まれないターゲット画像Ｉｔとのペアが複数組用意されることによって定義される。本実施形態において、教師データ３００ａに含まれる入力画像Ｉｉは機械学習の際に生成モデルＧに入力される画像でもある。当該入力画像Ｉｉは、付着物がレンズに付着していることがあり得る状態でカメラ４０によって撮影された撮影画像Ｉｐでもある。一方、ターゲット画像Ｉｔは、付着物Ｒが含まれない画像であり、ペアとなる撮影画像Ｉｐと同じ環境下で、付着物Ｒがレンズに付着していない状態でカメラ４０によって撮影された画像である。教師データ３００ａにおいても、入力画像Ｉｉとターゲット画像Ｉｔとのペアは複数組用意される。図２の中央下部には、教師データ３００ａにおいて、入力画像Ｉｉとターゲット画像Ｉｔとが対応づけられている様子が矢印によって示されている。教師データ３００ａは、種々の手法で生成されて良い。例えば、実際に付着物がレンズに付着している状態と、付着していない状態とで撮影された画像が複数個用意されても良い。また、付着物がレンズに付着していない状態で撮影された画像に対して、ノイズ等が付与されることによって、付着物がレンズに付着している状態で撮影された画像が仮想的に生成されても良い。また、付着物がレンズに付着していない状態で撮影された画像を入力し、付着物を付加した画像を出力する機械学習モデルが予め生成され、当該機械学習モデルに基づいて画像が生成されても良い。いずれにしても、ターゲット画像Ｉｔは、入力画像Ｉｉに含まれ得る付着物が除去された状態である。

【0026】

以上のように教師データ３００ａによって入力画像Ｉｉに対応するターゲット画像Ｉｔが定義されていることを利用して、識別モデルＤは、入力された前記２つの画像ペアが、教師データ３００ａに含まれる組合せであるか否かを識別するように学習される。すなわち、入力される画像ペアが入力画像Ｉｉとターゲット画像Ｉｔである場合、正解ラベルがｒｅａｌ（真）と定義され、入力される画像ペアが入力画像Ｉｉと生成画像Ｉｇとのペアである場合、正解ラベルがｆａｋｅ（偽）と定義される。

【0027】

そして、識別モデルＤは、正解ラベルとして用意されたｒｅａｌ（真）とｆａｋｅ（偽）を使って、入力された画像ペアが、入力画像Ｉｉとターゲット画像Ｉｔのペア（正解ラベルが真）の場合には、出力される識別信号の値がｒｅａｌ（真）を示す値に近くなるように学習される。また、入力された画像ペアが、入力画像Ｉｉと生成画像Ｉｇのペア（正解ラベルが偽）の場合には、出力される識別信号の値がｆａｋｅ（偽）を示す値に近くなるように学習される。さらに、生成モデルＧは、入力画像Ｉｉと生成画像Ｉｇのペアが識別モデルＤに入力された場合に、出力される識別信号の値がｒｅａｌ（真）を示す値に近くなる（生成画像Ｉｇがターゲット画像Ｉｔと誤解される）ように学習される。すなわち、入力画像Ｉｉとしての撮影画像Ｉｐが生成モデルＧに入力された場合に生成される生成画像Ｉｇが、ターゲット画像Ｉｔと区別できないほど、生成画像Ｉｇがターゲット画像Ｉｔに近づくように学習が行われる。ターゲット画像Ｉｔは、撮影画像Ｉｐの付着物が除去された状態の画像であるため、生成画像Ｉｇとターゲット画像Ｉｔとが区別できないように学習された場合には、生成画像Ｉｇは付着物が除去された除去後画像Ｉｅであると言える。

【0028】

以上のような機械学習を行うため、教師データ３００ａは、機械学習が行われる前に予め用意される。教師データ３００ａが用意されると、当該教師データ３００ａを利用して機械学習を行うことができる。

【0029】

図３は機械学習処理を示すフローチャートである。本実施形態において、機械学習処理は、画像生成システム１０の運用が開始される前に予め実行される。また、機械学習処理が行われる前には、予め教師データ３００ａが用意される。機械学習処理が開始されると、制御部２００は、機械学習部２１０ａの機能により、訓練モデルを取得する（ステップＳ１００）。本実施形態において、制御部２００は、生成モデルＧの訓練モデルと、識別モデルＤの訓練モデルを取得する。ここで、訓練モデルは、モデルを示すフィルタや活性化関数、損失関数等の情報である。次に、制御部２００は、機械学習部２１０ａの機能により、教師データ３００ａを取得する（ステップＳ１０５）。

【0030】

次に、制御部２００は、機械学習部２１０ａの機能により、テストデータを取得する（ステップＳ１１０）。本実施形態においては、教師データ３００ａの一部を抽出し、学習の汎化が行われたか否かを確認するためのテストデータとする。なお、テストデータは、機械学習には使用されない。

【0031】

次に、制御部２００は、機械学習部２１０ａの機能により、初期値を決定する（ステップＳ１１５）。すなわち、制御部２００は、ステップＳ１００で取得した訓練モデルのうち、学習対象となる可変のパラメーター（フィルタの重みやバイアス等）に対して初期値を与える。初期値は、種々の手法で決定されて良い。むろん、学習の過程でパラメーターが最適化されるように初期値が調整されても良いし、各種のデータベース等から学習済のパラメーターが取得されて利用されても良い。

【0032】

次に、制御部２００は、機械学習部２１０ａの機能により、学習を行う（ステップＳ１２０）。本実施形態において、制御部２００は、生成モデルＧと識別モデルＤとの一方を固定し他方の機械学習を行い、さらに、学習後のパラメーターで他方を固定し、一方を機械学習する。

【0033】

具体的には、本実施形態において制御部２００は、まず、生成モデルＧを固定する。すなわち、制御部２００は、教師データ３００ａを参照し、入力画像Ｉｉを抽出し、生成モデルＧに入力する。この結果、生成画像Ｉｇが得られる。生成画像Ｉｇが得られると、制御部２００は、識別モデルＤに対して画像ペアを入力する。上述のように、画像ペアは、入力画像Ｉｉと当該入力画像Ｉｉに基づいて生成された生成画像Ｉｇとのペア、または、教師データ３００ａにおいて対応づけられた入力画像Ｉｉとターゲット画像Ｉｔとのペアである。識別モデルＤに入力される画像ペアがいずれのペアであるのかは、例えば、統計的に決められて良い。

【0034】

識別モデルＤに対する入力が行われると、識別モデルＤからは入力された画像ペアの一方が、生成画像Ｉｇ、ターゲット画像Ｉｔのいずれと識別されたのかを示す識別信号が出力される。機械学習が行われる際に、入力された画像ペアの一方が、生成画像Ｉｇである可能性またはターゲット画像Ｉｔのいずれであるのかは予め確定しているため、真偽の正解ラベルも予め確定している。そこで、制御部２００は、正解ラベル（ｒｅａｌ（真）の場合１，ｆａｋｅ（偽）の場合０）と、識別モデルＤから出力された識別信号と、の誤差に基づいて、誤差が最小化されるように識別モデルＤを最適化する。すなわち、制御部２００は、誤差の大きさを評価する損失関数に基づいて誤差を特定する。損失関数が得られたら、制御部２００は、既定の最適化アルゴリズム、例えば、確率的勾配降下法等によってパラメーターを更新する。すなわち、制御部２００は、損失関数のパラメーターによる微分に基づいてパラメーターを更新する処理を行う。

【0035】

次に、制御部２００は、識別モデルＤを固定する。すなわち、制御部２００は、教師データ３００ａを参照し、入力画像Ｉｉを抽出し、生成モデルＧに入力する。この結果、生成画像Ｉｇが得られる。生成画像Ｉｇが得られると、制御部２００は、識別モデルＤに対してこれらの入力画像Ｉｉ、生成画像Ｉｇを入力する。

【0036】

識別モデルＤに対する入力が行われると、識別モデルＤからは入力された画像ペアの一方である生成画像Ｉｇの真偽の識別結果を示す識別信号が出力される。生成モデルＧの機械学習は、生成モデルＧの出力である生成画像Ｉｇの識別モデルＤによる識別結果が真を示す値に近くなるように進められる。このため、ここでは、識別モデルＤから出力された識別信号と、真であることを示す数値１と、の誤差（第１の誤差）が小さいほど、生成モデルＧが最適化されていると言える。

【0037】

さらに、生成モデルＧから出力された生成画像Ｉｇにおいて付着物が完全に除去されていると、ターゲット画像Ｉｔと同等の画像になるはずである。従って、生成画像Ｉｇと、ターゲット画像Ｉｔと、の誤差（第２の誤差）が小さいほど、生成モデルＧが最適化されていると言える。

【0038】

そこで、制御部２００は、これらの第１の誤差および第２の誤差の大きさを評価する損失関数に基づいて機械学習が行われる。すなわち、生成モデルＧの学習に必要な誤差は、識別モデルＤから経由した誤差と、入力画像Ｉｉを生成モデルＧに入力して得られた生成画像Ｉｇとターゲット画像Ｉｔ間の違いを表す誤差であり、これらの誤差が組み合わされて逆伝搬される。損失関数が得られたら、制御部２００は、既定の最適化アルゴリズム、例えば、確率的勾配降下法等によってパラメーターを更新する。すなわち、制御部２００は、損失関数のパラメーターによる微分に基づいてパラメーターを更新する処理を行う。本実施形態においては、以上のような識別モデルＤの最適化および生成モデルＧの最適化を１サイクルの学習とし、このサイクルを繰り返すことによって機械学習を行う。なお、生成モデルＧおよび識別モデルＤの２つのモデル構造や損失関数の設定、学習パラメーターの設定等は、種々の手法で行われてよく、各種の公知技術を利用可能である。

【0039】

既定回数のサイクルのパラメーターの更新が行われると、制御部２００は、訓練モデルの汎化が完了したか否かを判定する（ステップＳ１２５）。すなわち、制御部２００は、ステップＳ１１０で取得したテストデータの入力画像Ｉｉを訓練モデルの生成モデルＧに入力して生成画像Ｉｇを生成する。また、制御部２００は、生成された生成画像Ｉｇと入力画像Ｉｉとのペアを訓練モデルの識別モデルＤに入力して、真偽を示す数値を取得する。そして、制御部２００は、テストデータのうち、識別結果が閾値以上であった（真に近い値であった）ペアの数を取得し、テストデータの全サンプル数で除することで、真と識別された画像が生成された確率を取得する。本実施形態において、制御部２００は、当該確率が閾値以上である場合に汎化が完了したと判定する。

【0040】

なお、汎化性能の評価に加え、ハイパーパラメーターの妥当性の検証が行われてもよい。すなわち、学習対象となる可変のパラメーター以外の可変量であるハイパーパラメーター、例えば、ノードの数等がチューニングされる構成において、制御部２００は、検証データに基づいてハイパーパラメーターの妥当性を検証しても良い。検証データは、ステップＳ１１０と同様の処理により、教師データ３００ａから検証データを予め抽出し、訓練に用いないデータとして確保しておくことで取得すれば良い。

【0041】

ステップＳ１２５において、訓練モデルの汎化が完了したと判定されない場合、制御部２００は、ステップＳ１２０を繰り返す。すなわち、さらに学習対象となる可変のパラメーターを更新する処理を行う。一方、ステップＳ１２５において、訓練モデルの汎化が完了したと判定された場合、制御部２００は、機械学習済の生成モデルＧを機械学習モデル３０ｂとして記録する（ステップＳ１３０）。すなわち、制御部２００は、学習した各モデルのうちの、生成モデルＧを機械学習モデル３０ｂとして記憶媒体３００に記録する。また、制御部２００は、通信部５００を制御し、機械学習モデル３０ｂを画像生成システム１０に対して送信し、記憶媒体３０に記憶させる。むろん、識別モデルＤが、画像生成システム１０の記憶媒体３０、管理者端末１００の記憶媒体３００の少なくとも一方に記録され、動作確認や再学習等に利用可能であっても良い。

【0042】

（３）画像生成処理：
次に、画像生成システム１０において実行される画像生成処理を図４に示すフローチャートに基づいて説明する。画像生成処理は、機械学習モデル３０ｂが記憶媒体３０に記録された後に実行される。また、画像生成処理は、カメラ４０の視野内に撮影対象が位置するように画像生成システム１０が設置された状態で実行される。本実施形態において、画像生成処理は、カメラ４０による撮影周期で繰り返し実行される。

【0043】

画像生成処理が開始されると、制御部２０は、撮影画像取得部２１ａの機能により、撮影画像を取得する（ステップＳ２００）。すなわち、制御部２０は、カメラ４０から出力される撮影画像を示す撮影画像データ３０ａを記憶媒体３０に記憶させる。次に、制御部２０は、付着物除去部２１ｂの機能により、撮影画像を機械学習モデルに入力する（ステップＳ２０５）。すなわち、制御部２０は、機械学習モデル３０ｂに対して、撮影画像データ３０ａが示す撮影画像Ｉｐを入力する。次に、制御部２０は、付着物除去部２１ｂの機能により、除去後画像を取得する（ステップＳ２１０）。すなわち、制御部２０は、機械学習モデル３０ｂから出力された生成画像Ｉｇを除去後画像Ｉｅとみなし、当該除去後画像Ｉｅを示す除去後画像データ３０ｃを記憶媒体３０に記憶させる。

【0044】

次に、制御部２０は、表示制御部２１ｃの機能により、除去後画像の表示制御を実行する（ステップＳ２１５）。すなわち、制御部２０は、通信部５０を制御し、除去後画像データ３０ｃに画像生成システム１０の識別情報を対応付け、管理者端末１００に送信する。管理者端末１００の制御部２００は、通信制御プログラム２２０の機能により、通信部５００を制御し、除去後画像データ３０ｃを受信して記憶媒体３００に記憶させる。さらに、制御部２００は、通信制御プログラム２２０の機能により、表示部４００を制御し、除去後画像データ３０ｃが示す除去後画像に、画像生成システム１０の識別情報を対応づけて表示させる。

【0045】

ステップＳ２１５が実行されると、制御部２０は、警告制御部２１ｄの機能により、撮影画像と除去後画像の差分を取得する（ステップＳ２２０）。本実施形態において、撮影画像と除去後画像とは同一のサイズおよび同一の形状の画像である。そこで、制御部２０は、撮影画像データ３０ａと、除去後画像データ３０ｃとを参照し、同一座標の画素同士で階調値の差分を取得する処理を、各画素について実施する。本実施形態において、撮影画像と除去後画像とは、赤、青、緑の３チャネルからなる画像であるため、差分を取得する処理は各画素について実施され、その総和が各画素の差分を示す値とされる。この構成は一例であり、各種の態様で画素毎の差分を示す値が取得されても良い。例えば、赤、青、緑のそれぞれのチャネルの差分に対して重み付け係数を乗じて加えた値が、画素毎の差分を示す値とされても良い。

【0046】

画素毎の差分が取得されると、制御部２０は、警告制御部２１ｄの機能により、差分が閾値以上である画素の割合を取得する（ステップＳ２２５）。すなわち、制御部２０は、差分を示す値が閾値以上である画素の像を付着物の像であると見なし、当該画素が全画像に占める割合で付着物の量を評価する。図５においては、撮影画像Ｉｐから機械学習モデル３０ｂによって生成された除去後画像Ｉｅと、撮影画像Ｉｐと、の差分が閾値以上である画素をグレーに着色した画像Ｉｄを模式的に示している。画像Ｉｄにおいて、差分が閾値より小さい（０に近い）部分は白に着色されている。図５に示すように、レンズへの付着物が除去された除去後画像Ｉｅが生成されると、撮影画像Ｉｐと除去後画像Ｉｅとの差分は、付着物が存在しない部位で０に近くなり、付着物が存在する部位で大きくなる。

【0047】

そこで、制御部２０は、付着物の像であると見なされた画素の数を計測し、全画素数で除することによって、付着物が画像に占める割合を取得する。付着物が画像に占める割合は、付着物の量に対応しているため、本実施形態においては、撮影画像と除去後画像の差分に基づいて、レンズに付着した付着物の量を評価していることになる。以上の構成によれば、カメラ４０のレンズに付着した付着物の量を、容易に、かつ、客観的に、自動的に判定することが可能である。

【0048】

次に、制御部２０は、警告制御部２１ｄの機能により、ステップＳ２２５で取得された割合が基準以上であるか否か判定する（ステップＳ２３０）。すなわち、警告対象となる基準の値が予め決められており、制御部２０は、ステップＳ２２５で取得された割合が当該基準の値以上である場合、カメラ４０のレンズに対する付着物の量が警告対象の量であると見なす。

【0049】

ステップＳ２３０において、割合が基準以上であると判定された場合、制御部２０は、警告制御部２１ｄの機能により、通信部５０を制御し、付着物の量が警告対象の量であることを示す情報に対して、画像生成システム１０の識別情報を対応づけて管理者端末１００に送信する。管理者端末１００の制御部２００は、通信制御プログラム２２０の機能により、通信部５００を制御し、これらの情報を受信して記憶媒体３００に記憶させる。さらに、制御部２００は、通信制御プログラム２２０の機能により、表示部４００を制御し、画像生成システム１０の識別情報とともに、当該識別情報の画像生成システム１０において、レンズへの付着物の量が警告対象を超えていることを示す警告情報を表示させる。

【0050】

（４）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、画像生成システム１０は、複数の装置によって実現されても良い。また、機械学習は、画像生成システム１０で実施されてもよいし、他の装置、例えば、サーバや持ち運び可能な端末等で実施されてもよい。画像生成システム１０においても機械学習が実行可能であれば、例えば、画像生成システム１０が設置された各現場で撮影された撮影画像を利用した再学習が可能である。

【0051】

持ち運び可能な端末で機械学習が可能である場合、当該端末において任意の場所で機械学習を行うことができる。従って、画像生成システム１０が設置された現場やその付近において、機械学習を行うことが可能であり、学習した機械学習モデル３０ｂをリムーバブルメモリや有線通信、無線通信等の任意の手段によって画像生成システム１０に転送し、機械学習モデル３０ｂをアップデートすることができる。この構成であれば、画像生成システム１０が、管理者端末１００等のコンピュータとネットワーク接続していない状態であっても、機械学習モデル３０ｂをアップデートし、アップデート後の機械学習モデル３０ｂによって付着物を除去した除去後画像を生成することができる。むろん、この構成においては、管理者端末１００が存在しても良いし、存在しなくても良い。なお、以上の構成においても、機械学習は、生成モデルＧおよび識別モデルＤについて実施されるが、除去後画像の生成は、少なくとも生成モデルＧを利用すれば実施可能である。従って、画像生成システム１０には、少なくとも生成モデルＧが保存されていれば良いが、この構成において、画像生成システム１０において生成モデルＧおよび識別モデルＤの機械学習が可能であっても良い。

【0052】

さらに、画像生成システム１０が表示部を備えており、画像生成システム１０において除去後画像が表示されても良い。また、画像生成システム１０が警告部を備えており、画像生成システム１０において警告が実施されても良い。
さらに、撮影画像取得部２１ａ、付着物除去部２１ｂ、表示制御部２１ｃ、警告制御部２１ｄの少なくとも一部が複数の装置に分かれて存在してもよい。むろん、上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。

【0053】

撮影画像取得部は、カメラによって撮影された撮影画像を取得することができればよい。従って、カメラは、画像生成システム１０が備えていても良いし、画像生成システム１０の外部に設置されたカメラで撮影された撮影画像が取得されても良い。撮影画像は、カメラによって撮影された画像であれば良く、撮影された画像自体が機械学習モデルに入力されても良いし、撮影された画像に対して種々の処理が行われた画像が機械学習モデルに入力されてもよい。当該種々の処理は限定されず、例えば、コントラストや明るさの調整や、トリミング、回転、拡大、縮小、ノイズ除去などの処理を想定可能である。

【0054】

付着物除去部は、機械学習モデルに対して、撮影画像を入力し、付着物を除去した除去後画像を出力することができればよい。ここで、付着物の除去は、機械学習モデルによって実施されるため、撮影画像に基づいて、付着物がない場合にカメラによって撮影される可能性が高い画像が得られれば、除去が行われたと言える。すなわち、付着物の除去は、付着物が無い状態での画像が厳密に得られるとは限られず、撮影画像に含まれる付着物の少なくとも一部が除去された状態に近づいていれば良い。

【0055】

付着物が除去された後には、付着物が存在しなければ撮影されている可能性が高い被写体の像が存在することが好ましい。従って、付着物によって一部が隠された被写体等が再現できるように、機械学習が行われることが好ましい。このため、機械学習の教師データには、被写体となり得るオブジェクトを含む画像が含まれることが好ましい。例えば、カメラによって道路を含む画像を撮影するのであれば、道路等の静止物を含む画像に加え、視野内に写り得る移動体、例えば、車や自転車、歩行者などを含む画像も教師データに含まれることが好ましい。

【0056】

付着物は、レンズに付着し、被写体を遮り得る各種の物体であり、種類は限定されない。例えば、雨や雪、泥、石、レンズに付着した水が揮発した後の残存物等が付着物等となり得る。被写体を遮り得る物体、例えば、霧や靄などが機械学習モデルで除去されても良い。

【0057】

機械学習モデルは、カメラによって撮影された画像を入力してカメラのレンズに対する付着物を除去した画像を出力するように機械学習されたモデルであれば良い。入力および出力のフォーマットは限定されず、各種の態様の画像が入力され、出力されて良い。すなわち、カメラで撮影された撮影画像自体、撮影画像に対して処理を行った画像のいずれが入力されても良い。入力される画像と出力される画像のフォーマットは同一であってもよいし、異なっていてもよい。

【0058】

機械学習モデルは、撮影画像を除去後画像に変換するモデルであれば良く、上述の構成以外にも種々の構成を採用可能である。すなわち、機械学習モデルは、ＤＣＧＡＮ（Deep Convolutional Generative Adversarial Networks）の各種態様やそれらの派生の態様、conditional GAN等で得られる画像－画像変換モデルであってもよい。

【0059】

機械学習の態様は限定されず、例えばニューラルネットワークを構成する層の数やノードの数、活性化関数の種類、損失関数の種類、勾配降下法の種類、勾配降下法の最適化アルゴリズムの種類、ミニバッチ学習の有無やバッチの数、学習率、初期値、過学習抑制手法の種類や有無、畳み込み層の有無、畳み込み演算におけるフィルタのサイズ、フィルタの種類、パディングやストライドの種類、プーリング層の種類や有無、全結合層の有無、再帰的な構造の有無など、種々の要素を適宜選択して機械学習が行われればよい。むろん、他の機械学習、例えば、サポートベクターマシンやクラスタリング、強化学習等によって学習が行われてもよい。さらに、モデルの構造（例えば、層の数や層毎のノードの数等）が自動的に最適化される機械学習が行われてもよい。各種パラメーターの態様としても、各種の態様を採用可能である。例えば、識別モデルＤから出力される識別信号の範囲は０～１に限定されず、０～１００等の範囲であっても良い。

【0060】

また、上述の実施形態において識別モデルＤの出力は１個の出力であるが、識別モデルＤの態様はこの態様に限定されない。例えば、識別モデルＤから２個の出力が得られるようにモデルを定義し、一方において偽の確度を表す値を出力し、他方において真の確度を表す値を出力する構成としても良い。この場合、識別モデルＤおよび生成モデルＧの学習時には、２出力からなるベクトルと、対応するターゲットベクトル間の差分量を逆伝搬し、上述の実施形態と同じように学習が実行される。

【0061】

表示制御部は、除去後画像を、表示部に表示させることができればよく、除去後画像以外の各種情報を表示部に表示させても良い。例えば、表示制御部は、除去後画像と画像生成システム１０の設置位置とを対応づけて表示部に表示させても良い。また、表示制御部は、除去後画像における各種の処理の結果、例えば、除去後画像の解析結果（道路の渋滞度等）と除去後画像とを対応づけて表示部に表示させても良い。

【0062】

警告制御部は、撮影画像と除去後画像との比較に基づいて、撮影画像における付着物の量を取得し、付着物の量に基づいて、警告部に警告を出力させることができればよい。すなわち、警告制御部は、警告対象となる量の付着物がカメラのレンズに付着していることを利用者に警告することができればよい。撮影画像と除去後画像との比較は、上述の実施形態のような画素毎の階調値の差分を取得することによって実施される構成に限定されない。すなわち、当該階調値の差分に替えて、または当該階調値の差分に加えて、各種の比較が行われてよい。例えば、画像の各種の特徴量の比較やヒストグラムの比較、コントラスト、明るさの比較等が行われてもよい。また、各画像の一部は比較され、残りの部分は比較されない構成等が採用されてもよい。例えば、道路を含む画像であれば、道路および道路を含む部分において撮影画像と除去後画像とが比較され、空等の残りの部分は比較されない構成であっても良い。

【0063】

付着物の量は、撮影画像と除去後画像との比較に基づいて取得されれば良い。付着物の量は、各種の指標によって評価されて良い。従って、上述の実施形態のように、差分が閾値以上の画素が全画素に対して占める割合によって付着物の量が評価される構成以外にも、種々の構成が採用されてよい。例えば、差分の大きさの累積値に基づいて付着物の量が評価されても良いし、差分等によって撮影画像と除去後画像とが異なっている部分が特定され、当該部分のうち、面積の小さい部分がノイズとして除去されても良い。また、差分等によって撮影画像と除去後画像とが異なっている部分の形状に基づいて、連続する付着物の形状が再現されて付着物の量が評価されても良い。

【0064】

警告を出力させるか否かは、付着物の量に基づいて決められれば良く、付着物の量に応じて警告が実施されてもよい。例えば、付着物の量が多いほど、段階的または連続的に警告の強度が強くなっても良い。さらに、警告部は、画像生成システム１０に備えられていても良いし、上述の実施形態のように、画像生成システム１０の外部の装置に備えられていても良い。いずれにしても、警告制御部は、当該警告部に、除去後画像を表示させることができればよい。

【0065】

さらに、本発明のように、機械学習モデルによって画像から付着物の像を除去する手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合や、複数の装置によって実現される場合が想定可能であり、各種の態様を含むものである。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし半導体メモリであってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。

【符号の説明】

【0066】

１０…画像生成システム、２０…制御部、２１…画像生成プログラム、２１ａ…撮影画像取得部、２１ｂ…付着物除去部、２１ｃ…表示制御部、２１ｄ…警告制御部、３０…記憶媒体、３０ａ…撮影画像データ、３０ｂ…機械学習モデル、３０ｃ…除去後画像データ、４０…カメラ、５０…通信部、１００…管理者端末、２００…制御部、２１０…機械学習プログラム、２１０ａ…機械学習部、２２０…通信制御プログラム、３００…記憶媒体、３００ａ…教師データ、４００…表示部、５００…通信部、Ｄ…識別モデル、Ｇ…生成モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【手続補正書】

【提出日】2023-02-16

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

カメラによって撮影された撮影画像を取得する撮影画像取得部と、
前記カメラによって撮影された画像を入力して前記カメラのレンズに対する付着物を除去した画像を出力するように機械学習された機械学習モデルに対して、前記撮影画像を入力し、前記付着物を除去した除去後画像を出力する付着物除去部と、
を備える画像生成システム。

【請求項2】

前記除去後画像を、表示部に表示させる表示制御部をさらに備える、
請求項１に記載の画像生成システム。

【請求項3】

前記撮影画像と前記除去後画像との比較に基づいて、前記撮影画像における前記付着物の量を取得し、前記付着物の量に基づいて、警告部に警告を出力させる、警告制御部をさらに備える、
請求項１または請求項２に記載の画像生成システム。

【請求項4】

前記警告制御部は、
前記撮影画像と前記除去後画像との差分を、前記撮影画像と前記除去後画像との比較を行うための情報として取得し、前記差分の大きさに基づいて前記付着物の量を取得する、
請求項３に記載の画像生成システム。

【請求項5】

カメラによって撮影された撮影画像を取得する撮影画像取得工程と、
前記カメラによって撮影された画像を入力して前記カメラのレンズに対する付着物を除去した画像を出力するように機械学習された機械学習モデルに対して、前記撮影画像を入力し、前記付着物を除去した除去後画像を出力する付着物除去工程と、
を含む画像生成方法。

【請求項6】

コンピュータを、
カメラによって撮影された撮影画像を取得する撮影画像取得部、
前記カメラによって撮影された画像を入力して前記カメラのレンズに対する付着物を除去した画像を出力するように機械学習された機械学習モデルに対して、前記撮影画像を入力し、前記付着物を除去した除去後画像を出力する付着物除去部、
として機能させる画像生成プログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００５

【補正方法】変更

【補正の内容】

【0005】

上述の目的を達成するため、画像生成システムは、カメラによって撮影された撮影画像を取得する撮影画像取得部と、前記カメラによって撮影された画像を入力して前記カメラのレンズに対する付着物を除去した画像を出力するように機械学習された機械学習モデルに対して、前記撮影画像を入力し、前記付着物を除去した除去後画像を出力する付着物除去部と、を備える。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００６

【補正方法】変更

【補正の内容】

【0006】

すなわち、画像生成システムにおいては、カメラによって撮影された画像からレンズに対する付着物を除去した画像を生成する機械学習モデルが、機械学習によって予め生成されている。従って、カメラによって撮影された撮影画像を機械学習モデルに入力すると、付着物が除去された除去後画像を生成することができる。また、レンズに対する付着物が撮影画像に与える影響を低減させた状態で利用者に提供することができる。

【手続補正書】

【提出日】2023-02-22

【手続補正1】

【補正対象書類名】図面

【補正対象項目名】図１

【補正方法】変更

【補正の内容】

【図1】