特開 2023-161938 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023161938

(43)【公開日】2023-11-08

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   G06T 5/00 20060101AFI20231031BHJP

   G06T 1/00 20060101ALI20231031BHJP

   G08G 1/00 20060101ALI20231031BHJP

   H04N 7/18 20060101ALI20231031BHJP

【ＦＩ】

G06T5/00 735

G06T1/00 330A

G08G1/00 D

H04N7/18 J

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022072603

(22)【出願日】2022-04-26

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】渡邊 正人

(72)【発明者】

【氏名】服部 成人

【テーマコード（参考）】

5B057

5C054

5H181

【Ｆターム（参考）】

5B057AA16

5B057CE11

5B057DC40

5C054DA09

5C054EJ00

5C054FC04

5C054FE06

5C054FE11

5C054FE18

5C054FE22

5C054HA30

5H181AA01

5H181BB04

5H181CC04

5H181CC12

5H181CC27

5H181MC19

(57)【要約】

【課題】移動体で撮像した画像データを監視する監視者の疲労の蓄積を抑制する。
【解決手段】例えば、情報処理装置１００は、移動体で撮像された画像データＤ１０が示す画像において、所定輝度以上の輝度となる第１領域を抽出する抽出部１５１と、抽出された第１領域の抽出データＤ３０を所定輝度よりも低い第１輝度に変換する変換部１５２と、変換された抽出データＤ３０が反映された画像データＤ１０を出力する出力部１５３と、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

移動体で撮像された画像データが示す画像において、所定輝度以上の輝度となる第１領域を抽出する抽出部と、
抽出された前記第１領域の抽出データを前記所定輝度よりも低い第１輝度に変換する変換部と、
変換された前記抽出データが反映された前記画像データを出力する出力部と、
を備える情報処理装置。

【請求項2】

請求項１に記載の情報処理装置において、
前記変換部は、前記抽出データと撮像条件が異なりかつ前記抽出データの特徴を有する複数の学習用画像データを、前記第１輝度に変換するように機械学習した変換モデルで、入力した前記抽出データを変換する
情報処理装置。

【請求項3】

請求項２に記載の情報処理装置において、
前記変換モデルは、
前記第１領域の前記学習用画像データが示す画像を前記第１輝度に変換するように機械学習した第１変換モデルと、
前記学習用画像データが示す画像で、前記所定輝度以上の撮像物が存在する領域を前記第１輝度に変換せずに、前記第１領域で前記所定輝度以上の撮像物が存在しない領域を前記第１輝度に変換するように機械学習した第２変換モデルと、を有し、
前記変換部は、入力した第１変換条件を満たす前記抽出データを前記第１変換モデルで、変換し、入力した第２変換条件を満たす前記抽出データを前記第２変換モデルで、変換する
情報処理装置。

【請求項4】

請求項２に記載の情報処理装置において、
撮像された前記画像データは、所定ルートを周期的に移動する移動体に設けられた、前記移動体の外部を撮像可能な撮像装置によって撮像された画像データであり、
前記学習用画像データは、前記所定ルートにおいて撮像された前記画像データに基づくデータである
情報処理装置。

【請求項5】

請求項４に記載の情報処理装置において、
前記撮像条件は、時間帯を含む、
情報処理装置。

【請求項6】

請求項２に記載の情報処理装置において、
前記画像データ及び前記学習用画像データは、付加データとして、
前記画像データ及び前記学習用画像データを取得した位置情報、
前記画像データ及び前記学習用画像データを撮像した方向の方向情報、
前記画像データ及び前記学習用画像データを撮像した時間の時間情報、
前記画像データ及び前記学習用画像データを撮像した際の天候の天候情報、及び、
前記画像データ及び前記学習用画像データの対象画像の特徴を識別可能な特徴情報の少なくとも１つを含む
情報処理装置。

【請求項7】

請求項１に記載の情報処理装置において、
前記抽出部は、前記画像データと前記画像データにガンマ補正処理した変換データとを比較して前記画像の前記第１領域を特定し、前記画像データから前記第１領域の前記抽出データを抽出する
情報処理装置。

【請求項8】

請求項１に記載の情報処理装置において、
前記変換部は、
前記画像が示す街灯の輝度は低下させ、
前記画像が示す信号機、車のランプ、工事現場の照明及び人が着用している発光体の少なくともいずれかの輝度低下を前記街灯の輝度低下よりも抑制する
情報処理装置。

【請求項9】

コンピュータが、
移動体で撮像された画像データが示す画像において、所定輝度以上の輝度となる第１領域を抽出することと、
抽出された前記第１領域の抽出データを前記所定輝度よりも低い第１輝度に変換することと、
変換された前記抽出データが反映された前記画像データを出力することと、
を含む情報処理方法。

【請求項10】

コンピュータに、
移動体で撮像された画像データが示す画像において、所定輝度以上の輝度となる第１領域を抽出することと、
抽出された前記第１領域の抽出データを前記所定輝度よりも低い第１輝度に変換することと、
変換された前記抽出データが反映された前記画像データを出力することと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

自動運転車両は、遠隔監視が行われている。特許文献１には、移動体のカメラが撮影した画像から、所定の間隔で挿入されるキーフレームと差分フレームとからなる画像データを受信し、キーフレームの受信状態に基づいて緊急制御信号の送信を制御するサーバ装置を備える監視制御システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－３４０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の遠隔監視システムでは、遠隔地から監視者が複数の移動体からの映像を監視することで、緊急時の検知や緊急時の対応を可能にしている。しかし、遠隔監視システムは、移動体からの映像を監視者がリアルタイムで監視するため、映像に高輝度の映像が含まれていると疲労が蓄積してしまう。このため、遠隔監視システムでは、移動体で撮像した画像データを監視する監視者の疲労の蓄積を抑制したいとのニーズがある。

【課題を解決するための手段】

【0005】

態様の１つに係る情報処理装置は、移動体で撮像された画像データが示す画像において、所定輝度以上の輝度となる第１領域を抽出する抽出部と、抽出された前記第１領域の抽出データを前記所定輝度よりも低い第１輝度に変換する変換部と、変換された前記抽出データが反映された前記画像データを出力する出力部と、を備える。

【0006】

態様の１つに係る情報処理方法は、コンピュータが、移動体で撮像された画像データが示す画像において、所定輝度以上の輝度となる第１領域を抽出することと、抽出された前記第１領域の抽出データを前記所定輝度よりも低い第１輝度に変換することと、変換された前記抽出データが反映された前記画像データを出力することと、を含む。

【0007】

態様の１つに係るプログラムは、コンピュータに、移動体で撮像された画像データが示す画像において、所定輝度以上の輝度となる第１領域を抽出することと、抽出された前記第１領域の抽出データを前記所定輝度よりも低い第１輝度に変換することと、変換された前記抽出データが反映された前記画像データを出力することと、を実行させる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る情報処理装置を含むシステムの概要を説明するための図である。

【図2】図２は、実施形態に係る情報処理装置の画像データに対する処理概要の一例を示す図である。

【図3】図３は、図１に示す移動体の構成の一例を示す構成図である。

【図4】図４は、図１に示す情報処理装置の構成の一例を示す図である。

【図5】図５は、学習用画像データと付加データとの一例を示す図である。

【図6】図６は、画像データが示す画像から第１領域を抽出する抽出例を説明するための図である。

【図7】図７は、画像データが示す画像から第１領域を抽出する他の抽出例を説明するための図である。

【図8】図８は、情報処理装置の第１領域の抽出方法の一例を示す図である。

【図9】図９は、実施形態に係る移動体が実行する処理手順の一例を示すフローチャートである。

【図10】図１０は、実施形態に係る情報処理装置が実行する処理手順の一例を示すフローチャートである。

【図11】図１１は、図１０に示す変換処理の処理手順の一例を示すフローチャートである。

【図12】図１２は、移動体の巡行経路の一例を示す図である。

【図13】図１３は、実施形態に係る情報処理装置が実行する収集処理の処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

本出願に係る情報処理装置、情報処理方法、プログラム等を実施するための複数の実施形態を、図面を参照しつつ詳細に説明する。なお、以下の説明により本出願が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下の説明において、同様の構成要素について同一の符号を付すことがある。さらに、重複する説明は省略することがある。

【0010】

図１は、実施形態に係る情報処理装置を含むシステムの概要を説明するための図である。図１に示すように、システム１は、情報処理装置１００と、複数の移動体１０００と、を備える。システム１は、情報処理装置１００が複数の移動体１０００を遠隔地で監視可能な遠隔監視システムである。システム１は、図示しないネットワークを介して、情報処理装置１００と複数の移動体１０００とが通信可能に接続されている。なお、本実施形態では、システム１は、情報処理装置１００と複数の移動体１０００とが一対複数の関係になっているが、情報処理装置１００と移動体１０００とが一対一の関係であってもよい。また、本開示は、いかに説明する情報処理装置１００の機能が移動体１０００に搭載されたものとしてもよい。

【0011】

情報処理装置１００は、複数の移動体１０００を遠隔地で監視可能な装置である。情報処理装置１００は、複数の移動体１０００で撮像された画像データＤ１０を処理、表示等が可能な装置である。情報処理装置１００は、例えば、移動体１０００の外部に設けられたサーバ装置である。情報処理装置１００は、移動体１０００が伝送した画像データＤ１０（映像）をリアルタイムで表示する機能を有する。画像データＤ１０は、例えば、動画、静止画等の２次元画像を含む。本実施形態では、説明を簡単化するために、画像データＤ１０は、静止画である場合について説明する。

【0012】

移動体１０００は、例えば、自動走行、運転者による手動走行等で移動可能な車両を含む。車両は、例えば、バス、トラック、乗用車等を含む。本実施形態では、移動体１０００は、巡行経路を自動で走行する車両である場合について説明するが、これに限定されない。移動体１０００は、電車、飛行機、船、ドローン、宇宙船などでもよい。巡行経路は、移動体１０００が周期的に移動する経路である。移動体１０００は、自機の周辺を撮像する撮像装置を備える。移動体１０００は、撮像装置が撮像した画像データＤ１０を情報処理装置１００に伝送する機能を有する。すなわち、移動体１０００は、同一の位置で、昼間、夜間、晴天、雨天等の異なる交通環境で撮像した画像データＤ１０を、情報処理装置１００に伝送することができる。

【0013】

情報処理装置１００は、移動体１０００が伝送した画像データＤ１０をリアルタイムで表示することで、移動体１０００の周辺の状況を監視者に確認させることを可能にしている。情報処理装置１００は、複数の移動体１０００が伝送した複数の画像データＤ１０を、表示画面に分割して同時に表示することができる。これにより、情報処理装置１００は、移動体１０００の自動運転等を遠隔地の監視者に監視させることで、緊急時の検知や緊急時の対応を可能にしている。

【0014】

システム１では、情報処理装置１００は、移動体１０００が伝送した画像データＤ１０をそのまま表示すると、監視者が眩しいと感じる画像が画像データＤ１０に含まれていた場合、眩しさに伴う疲労度が監視者に蓄積され、監視の質が低下する可能性がある。また、情報処理装置１００は、移動体１０００が伝送した画像データＤ１０の輝度を低下させて表示すると、移動体１０００の前方のブレーキランプ等の重要な箇所の監視の質が低下する可能性がある。本実施形態では、情報処理装置１００は、監視の質を低下させることなく、移動体１０００で撮像した画像データＤ１０を監視する監視者の疲労の蓄積を抑制することを可能にする。

【0015】

図２は、実施形態に係る情報処理装置１００の画像データＤ１０に対する処理概要の一例を示す図である。図２に示すように、情報処理装置１００は、撮像された画像データＤ１０が示す画像Ｄ１１で所定輝度以上の輝度となる第１領域Ｅ１０－１及び第１領域Ｅ１０－２を抽出する。所定輝度は、例えば、監視者が眩しいと感じる輝度等を設定できる。第１領域Ｅ１０－１は、第１領域Ｅ１０－２よりも輝度が高い、例えば、街灯、対向車両のヘッドライト等の撮像物を含む領域である。第１領域Ｅ１０－２は、所定輝度以上の車両のテールランプ等の撮像物を含む領域である。以下の説明では、第１領域Ｅ１０－１及び第１領域Ｅ１０－２を区別して説明する必要がない場合には、単に第１領域Ｅ１０と記す。

【0016】

情報処理装置１００は、抽出された第１領域Ｅ１０の抽出データＤ３０を所定輝度よりも低い第１輝度に変換する変換部１５２を備える。第１輝度は、例えば、監視者が眩しいと感じない所定輝度よりも低い輝度、監視者が希望する輝度等を設定できる。変換部１５２は、抽出データと撮像条件が異なりかつ抽出データＤ３０の特徴を有する複数の学習用画像データを、第１輝度に変換するように機械学習した変換モデルＭを有する。撮像条件は、例えば、撮像した時間帯、日時、天候等を含む。学習用画像データは、抽出データＤ３０の特徴を有し、抽出データＤ３０（画像データＤ１０）とは異なる撮像条件で撮像された画像を示すデータである。なお、学習用画像データの一例については、後述する。

【0017】

変換部１５２は、例えば、街灯の輝度は低下させ、信号機、車のランプ、工事現場の照明及び人が着用している発光体の少なくともいずれかの輝度低下を、街灯の輝度低下よりも抑制するとしてもよい。すなわち、変換部１５２は、監視者にとって眩しいと感じる画像Ｄ１１の部分のうち、街灯などの移動体１０００の移動における安全性において、重要性の低いものの輝度は低下させる。しかし、変換部１５２は、信号機、車のランプ、工事現場の照明及び人が着用している発光体のように、移動体１０００の移動における安全性に重要なものの輝度の低下は抑制する。

【0018】

変換モデルＭは、第１変換モデルＭ１と第２変換モデルＭ２を有する。第１変換モデルＭ１は、学習用画像データを第１輝度に変換するように機械学習した機械学習済みモデルである。第１変換モデルＭ１は、入力された抽出データＤ３０を第１輝度に変換し、変換後の抽出データＤ３０を出力する。第２変換モデルＭ２は、学習用画像データが示す画像で、所定輝度以上の撮像物が存在する領域を第１輝度に変換せずに、当該撮像物が存在しない領域を第１輝度に変換するように機械学習した機械学習済みモデルである。第２変換モデルＭ２は、入力された抽出データＤ３０が示す画像で、所定輝度以上の撮像物が存在しない領域を第１輝度に変換し、変換後の抽出データＤ３０を出力する。

【0019】

情報処理装置１００は、抽出データＤ３０が眩しさを抑え、かつ監視対象を含まない画像である場合、抽出データＤ３０を第１変換モデルＭ１に入力し、第１変換モデルＭ１が出力した変換後の抽出データＤ３０を得る。情報処理装置１００は、抽出データＤ３０が監視対象を含む画像である場合、抽出データＤ３０を第２変換モデルＭ２に入力し、第２変換モデルＭ２が出力した変換後の抽出データＤ３０を得る。情報処理装置１００は、変換した抽出データＤ３０のパッチを画像データＤ１０が示す画像Ｄ１１の第１領域Ｅ１０－１及び第１領域Ｅ１０－２にブレンディングすることで、抽出データＤ３０を画像データＤ１０に反映する。これにより、情報処理装置１００は、画像Ｄ１１における重要度の低い照明等の眩しさを低減し、車両のテールランプ等の監視対象を維持した変換後の画像Ｄ１２を示す画像データＤ１０を提供することができる。その結果、情報処理装置１００は、変換した画像データＤ１０が示す重要な画像を監視者に視認させることでき、かつ疲労感を軽減することができる。

【0020】

［実施形態に係る移動体の構成例］
図３は、図１に示す移動体１０００の構成の一例を示す構成図である。図３に示すように、移動体１０００は、複数の撮像装置１１００と、センサ部１２００と、通信部１３００と、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１４００と、を備える。ＥＣＵ１４００は、撮像装置１１００、センサ部１２００、通信部１３００等と通信可能に接続されている。

【0021】

複数の撮像装置１１００は、移動体１０００の前方、後方、右側方及び左側方の各々を撮像可能に、移動体１０００に設けられている。複数の撮像装置１１００は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサを用いて電子的に画像データを撮像できる。複数の撮像装置１１００は、撮像方向が異なっている。複数の撮像装置１１００は、移動体１０００の周辺の環境を所定のフレームレートでリアルタイムに撮像し、撮像した画像データＤ１０をＥＣＵ１４００に供給できる。

【0022】

センサ部１２００は、移動体１０００の状態を識別可能なセンサ情報を検出する。センサ部１２００は、例えば、位置センサ、ジャイロセンサ等のセンサを用いることができる。位置センサとしては、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機等の絶対座標の位置を取得するセンサ等が例示される。センサ部１２００は、移動体１０００の位置（情報処理装置１００の位置）、角速度等を含むセンサ情報をＥＣＵ１４００に供給できる。これにより、ＥＣＵ１４００は、センサ情報に基づいて、撮像装置１１００の撮像位置、方向等の情報を取得できる。

【0023】

通信部１３００は、例えば、他の通信機器等と通信できる。通信部１３００は、各種通信規格をサポートできる。通信部１３００は、例えば、有線又は無線ネットワーク等を介して各種データを送受信できる。通信部１３００は、受信したデータをＥＣＵ１４００に供給できる。通信部１３００は、ＥＣＵ１４００が指示した送信先に、エンコーダ１４１０が復号化した画像データＤ１０を情報処理装置１００に送信できる。

【0024】

ＥＣＵ１４００は、エンコーダ１４１０と、記憶部１４２０と、制御部１４３０と、を備える。制御部１４３０は、エンコーダ１４１０及び記憶部１４２０と電気的に接続されている。

【0025】

エンコーダ１４１０は、制御部１４３０の制御によって画像データＤ１０を符号化する機能を有する。エンコーダ１４１０は、移動体１０００が伝送する画像データＤ１０を、一定の形式に基づいて特定の符号に変換する。エンコーダ１４１０は、制御部１４３０から入力された画像データＤ１０を復号化し、復号化した画像データＤ１０を通信部１３００に供給する。

【0026】

記憶部１４２０は、各種データ及びプログラムを記憶する。記憶部１４２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。記憶部１４２０は、通信部１３００を介して受信した情報等を記憶する。記憶部１４２０は、例えば、上述した画像データＤ１０、位置情報Ｄ５１、方向情報Ｄ５２、時間情報Ｄ５３等の各種情報を記憶する。位置情報Ｄ５１は、例えば、センサ部１２００によって検出された画像データＤ１０の撮像位置を示す情報を含む。方向情報Ｄ５２は、例えば、センサ部１２００によって検出された画像データＤ１０の撮像方向を示す情報を含む。時間情報Ｄ５３は、例えば、画像データＤ１０を撮像した日時、時間帯等を示す情報を含む。位置情報Ｄ５１、方向情報Ｄ５２及び時間情報Ｄ５３は、画像データＤ１０に関連付けられている。位置情報Ｄ５１、方向情報Ｄ５２及び時間情報Ｄ５３は、画像データＤ１０に含めてもよい。

【0027】

記憶部１４２０は、例えば、機械学習データを記憶してもよい。ここで、機械学習データは、機械学習によって生成されるデータとしてよい。機械学習データは、機械学習によって生成されるパラメータを含むとしてよい。また、機械学習とは、特定のタスクをトレーニングによって実行可能になるＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の技術に基づくものとしてよい。より具体的には、機械学習とは、コンピュータのような情報処理装置が多くのデータを学習し、分類及び／又は予測などのタスクを遂行するアルゴリズム又はモデルを自動的に構築する技術としてよい。本明細書において、ＡＩの一部には、機械学習が含まれるとしてもよい。本明細書において、機械学習には、正解データをもとに入力データの特徴又はルールを学習する教師あり学習が含まれるものとしてよい。また、機械学習には、正解データがない状態で入力データの特徴又はルールを学習する教師なし学習が含まれるものとしてもよい。さらに、機械学習には、報酬又は罰などを与えて入力データの特徴又はルールを学習する強化学習などが含まれるものとしてもよい。また、本明細書において、機械学習は、教師あり学習、教師なし学習、及び強化学習を任意に組み合わせたものとしてもよい。

【0028】

本実施形態の機械学習データの概念は、入力データに対して学習されたアルゴリズムを用いて所定の推論（推定）結果を出力するアルゴリズムを含むとしてもよい。本実施形態は、このアルゴリズムとして、例えば、従属変数と独立変数との関係を予測する線形回帰、人の脳神経系ニューロンを数理モデル化したニューラルネットワーク（ＮＮ）、誤差を二乗して算出する最小二乗法、問題解決を木構造にする決定木、及びデータを所定の方法で変形する正則化などその他適宜なアルゴリズムを用いることができる。本実施形態は、ニューラルネットワークの一種であるディープニューラルネットワークラーニングを利用するとしてよい。ディープニューラルネットワークラーニングは、ニューラルネットワークの一種であり、一般にネットワークの階層が中間層が１層以上の深い構造のものを意味するニューラルネットワークがディープラーニングと呼ばれている。ディープラーニングは、ＡＩを構成するアルゴリズムとして多用されている。

【0029】

制御部１４３０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、及びコプロセッサを含むが、これらに限定されない。制御部１４３０は、移動体１０００を制御する統合制御ユニットである。

【0030】

具体的には、制御部１４３０は、記憶部１４２０に記憶されている情報を必要に応じて参照しつつ、記憶部１４２０に記憶されているプログラムに含まれる命令を実行する。そして、制御部１４３０は、複数の撮像装置１１００が撮像した画像データＤ１０の各々をエンコーダ１４１０で復号化させ、当該画像データＤ１０を位置情報Ｄ５１、方向情報Ｄ５２及び時間情報Ｄ５３に関連付けて情報処理装置１００に伝送する制御を行う機能を有する。制御部１４３０は、移動体１０００が巡行経路を移動している場合に、通信部１３００を介して、画像データＤ１０をリアルタイムで情報処理装置１００に伝送する。

【0031】

以上、実施形態に係る移動体１０００の機能構成例について説明した。なお、図３を用いて説明した上記の構成はあくまで一例であり、実施形態に係る移動体１０００の機能構成は係る例に限定されない。実施形態に係る移動体１０００の機能構成は、仕様や運用に応じて柔軟に変形可能である。

【0032】

［実施形態に係る情報処理装置の構成例］
図４は、図１に示す情報処理装置１００の構成の一例を示す図である。図５は、学習用画像データＤ４０と付加データＤ５０との一例を示す図である。図６は、画像データＤ１０が示す画像Ｄ１１から第１領域Ｅ１０を抽出する抽出例を説明するための図である。図７は、画像データＤ１０が示す画像Ｄ１１から第１領域Ｅ１０を抽出する他の抽出例を説明するための図である。図８は、情報処理装置１００の第１領域Ｅ１０の抽出方法の一例を示す図である。

【0033】

図４に示すように、情報処理装置１００は、表示部１１０と、通信部１２０と、デコーダ１３０と、記憶部１４０と、制御部１５０と、を備える。制御部１５０は、表示部１１０、通信部１２０、デコーダ１３０、記憶部１４０等と電気的に接続されている。

【0034】

表示部１１０は、制御部１５０の制御によって移動体１０００が伝送した画像データＤ１０等を表示できる。表示部１１０は、制御部１５０の制御によってデコーダ１３０が復号化した画像データＤ１０等を表示できる。表示部１１０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ（ｏｒｇａｎｉｃ ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｔ ｄｉｓｐｌａｙ）等の表示デバイスを用いることができる。表示部１１０は、例えば、複数の移動体１０００が伝送した複数の画像データＤ１０を選択的に表示したり、同時に表示したりすることができる。表示部１１０は、複数の表示デバイスで実現してもよい。

【0035】

通信部１２０は、例えば、移動体１０００の通信部１３００、他の通信機器等と通信できる。通信部１２０は、各種通信規格をサポートできる。通信部１２０は、例えば、有線又は無線ネットワーク等を介して各種データを送受信できる。通信部１２０は、受信したデータを制御部１５０に供給できる。通信部１２０は、制御部１５０が指示した送信先にデータを送信できる。

【0036】

デコーダ１３０は、制御部１５０の制御によって画像データＤ１０を復号化する。デコーダ１３０は、通信部１２０で受信した画像データＤ１０を一定の形式に基づいて復号化し、復号化した画像データＤ１０を制御部１５０に供給する。

【0037】

記憶部１４０は、プログラム及びデータを記憶できる。記憶部１４０は、制御部１５０の処理結果を一時的に記憶する作業領域としても利用される。記憶部１４０は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を含んでよい。記憶部１４０は、複数の種類の記憶媒体を含んでよい。記憶部１４０は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部１４０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。

【0038】

記憶部１４０は、例えば、プログラム１４１、第１変換モデルＭ１、第２変換モデルＭ２、画像データＤ１０、変換データＤ２０、抽出データＤ３０、学習用画像データＤ４０、付加データＤ５０等の各種データを記憶できる。プログラム１４１は、情報処理装置１００の各種動作に関する処理を実現するための機能を制御部１５０に実行させるプログラムである。第１変換モデルＭ１は、学習用画像データＤ４０を第１輝度に変換するように機械学習した機械学習済みモデルである。第２変換モデルＭ２は、学習用画像データＤ４０が示す画像で、所定輝度以上の撮像物が存在する領域を第１輝度に変換せずに、当該撮像物が存在しない領域を第１輝度に変換するように機械学習した機械学習済みモデルである。

【0039】

本開示は、夜間の時間帯の撮像条件で街灯が点灯している画像Ｄ１１を、輝度が低下した画像Ｄ１１に変換するモデルを第１変換モデルＭ１としてよい。本開示は、夜間の時間帯の撮像条件で車などのテールランプが点灯している画像Ｄ１１の輝度を低下させずに、街灯などの輝度を低下した画像Ｄ１１に変換するモデルを第２変換モデルＭ２としてよい。すなわち、本開示では、画像Ｄ１１の監視者にとってあまり重要ではない街灯などの輝度を、第１変換モデルＭ１により低下させる。他方、本開示では、画像Ｄ１１の監視者にとって安全性などから重要な車のテールランプなどの輝度は第２変換モデルＭ２により低下させない。本開示は、第１変換モデルＭ１や第２変換モデルＭ２を用いることにより、画像Ｄ１１の輝度を重要度に適した変換方法に切り替えることができる。

【0040】

画像データＤ１０は、移動体１０００が伝送した画像データＤ１０である。記憶部１４０は、複数の移動体１０００ごとに画像データＤ１０を時系列の順序で記憶している。変換データＤ２０は、画像データＤ１０をガンマ補正処理したガンマ変換画像を示すデータである。抽出データＤ３０は、画像データＤ１０が示す画像Ｄ１１の第１領域Ｅ１０から抽出した抽出画像を示すデータである。学習用画像データＤ４０は、抽出データＤ３０と撮像条件が異なりかつ抽出データＤ３０の特徴を有する機械学習用の画像を示すデータである。学習用画像データＤ４０は、機械学習の教師データである。本実施形態では、学習用画像データＤ４０は、移動体１０００が撮像したデータを含む。

【0041】

付加データＤ５０は、抽出データＤ３０を抽出した画像データＤ１０、学習用画像データＤ４０等に付加されるデータである。付加データＤ５０は、撮像条件を識別可能なデータである。付加データＤ５０は、図５に示すように、位置情報Ｄ５１と、方向情報Ｄ５２と、時間情報Ｄ５３と、特徴情報Ｄ５４と、天候情報Ｄ５５とを有する。位置情報Ｄ５１は、学習用画像データＤ４０を撮像した位置を示す、緯度、経度、ＧＰＳ情報などの情報を含む。方向情報Ｄ５２は、学習用画像データＤ４０を撮像した移動体１０００の撮像方向を示す情報を含む。時間情報Ｄ５３は、学習用画像データＤ４０を撮像した日時、時間帯等を示す情報を含む。特徴情報Ｄ５４は、画像Ｄ１１が示す対象画像の認識結果、対象画像の形状物体の特徴ベクトル、対象画像の背景等の特徴を識別可能な情報を含む。対象画像は、例えば、街灯、車両のランプ、信号機等の発光可能な物体の画像を含む。天候情報Ｄ５５は、学習用画像データＤ４０を撮像した、晴天、曇り、雨、雪、霧、気温などの天候を示す情報を含む。本開示は、付加データＤ５０として上記に限定するものではなく、他の付加データを含むとしてよい。

【0042】

図５に示す一例では、学習用画像データＤ４０と付加データＤ５０とを関連付けているが、これに限定されない。付加データＤ５０は、画像データＤ１０及び抽出データＤ３０の少なくとも一方に関連付けることができる。

【0043】

情報処理装置１００は、学習用画像データＤ４０と付加データＤ５０とを関連付けることで、付加データＤ５０を学習用画像データＤ４０のラベルとして用いることができる。情報処理装置１００は、画像データＤ１０または抽出データＤ３０に付加データＤ５０を関連付けることで、付加データＤ５０に類似した撮像条件が異なる学習用画像データＤ４０の収集することができる。これにより、情報処理装置１００は、移動体１０００が伝送する複数の画像データＤ１０の中から、付加データＤ１５０に基づく学習用画像データＤ４０を収集することができる。

【0044】

図４に示すように、制御部１５０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ、ＳｏＣ、ＭＣＵ、ＦＰＧＡ、及びコプロセッサを含むが、これらに限定されない。制御部１５０は、情報処理装置１００の動作を統括的に制御して各種の機能を実現できる。

【0045】

具体的には、制御部１５０は、記憶部１４０に記憶されている情報を必要に応じて参照しつつ、記憶部１４０に記憶されているプログラム１４１に含まれる命令を実行できる。そして、制御部１５０は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現できる。機能部は、例えば、表示部１１０及び通信部１２０を含むが、これらに限定されない。

【0046】

制御部１５０は、抽出部１５１、変換部１５２、出力部１５３、収集部１５４等の機能部を有する。制御部１５０は、プログラム１４１を実行することによって、抽出部１５１、変換部１５２、出力部１５３、収集部１５４等の機能部を実現する。プログラム１４１は、情報処理装置１００の制御部１５０を、抽出部１５１、変換部１５２、出力部１５３及び収集部１５４として機能させるためのプログラムである。

【0047】

抽出部１５１は、移動体１０００の撮像装置１１００によって撮像された画像データＤ１０が示す画像Ｄ１１で所定輝度以上の輝度となる第１領域Ｅ１０を抽出する。図６に示しように、抽出部１５１は、画像Ｄ１１で、監視者が眩しいと感じる輝度の領域である街灯の領域（第１領域Ｅ１０－１）、テールランプの点灯を維持する領域（第１領域Ｅ１０－２）等を抽出する。第１領域Ｅ１０－１は、画像Ｄ１１に含まれる点灯画像を変更する領域を含む。第１領域Ｅ１０－１は、画像Ｄ１１に含まれる点灯画像を、撮像条件が異なる同一箇所の非点灯画像に置き換える領域を含む。抽出部１５１は、第１領域Ｅ１０－１の画像を示す抽出データＤ３０－１を抽出する。第１領域Ｅ１０－２は、画像Ｄ１１に含まれる点灯画像を維持する領域を含む。第１領域Ｅ１０－２は、画像Ｄ１１に含まれる点灯画像を、撮像条件が異なる輝度が抑制された点灯画像に置き換える領域を含む。抽出部１５１は、第１領域Ｅ１０－２の画像を示す抽出データＤ３０－２を抽出して記憶部１４０に記憶する。

【0048】

抽出部１５１は、図７に示すように、移動体１０００の撮像装置１１００によって撮像された画像データＤ１０が示す画像Ｄ１１で所定輝度以上の輝度となり、かつ領域の面積が判定閾値Ｋよりも大きい第１領域Ｅ１０を抽出する。判定閾値Ｋは、画像Ｄ１１の全体の輝度を低下させるか否かを判定するための値である。面積が判定閾値Ｋよりも大きい第１領域Ｅ１０は、例えば、画像Ｄ１１における白飛びの領域を含む。抽出部１５１は、面積が判定閾値Ｋよりも大きい第１領域Ｅ１０の画像Ｄ１１を示す抽出データＤ３０を抽出して記憶部１４０に記憶する。

【0049】

抽出部１５１は、図８に示すように、画像データＤ１０と、画像データＤ１０をガンマ補正処理したガンマ変換画像を示す変換データＤ２０との差分から、所定輝度以上の第１領域Ｅ１０－１及び第１領域Ｅ１０－２を画像Ｄ１１から抽出する。ガンマ補正処理は、例えば、画像データＤ１０を高輝度化する処理を含む。抽出部１５１は、第１領域Ｅ１０－１及び第１領域Ｅ１０－２の画像を示す抽出データＤ３０を画像データＤ１０から抽出する。抽出部１５１は、抽出データＤ３０が示す画像に対して照度不変な特徴量を用いてベクトル化し、ベクトルＶとベクトルＶとの間のなす角θに基づくコサイン類似度を計算する。これにより、抽出部１５１は、抽出データＤ３０が示す画像の類似度を機別可能な特徴情報Ｄ５４を求めことができる。特徴量は、例えば、公知であるＳＩＦＴ特徴量、ＳＵＲＦ特徴量等を含む。抽出部１５１は、求めた特徴情報Ｄ５４を抽出データＤ３０に関連付けた記憶部１４０に記憶する。

【0050】

図４に示すように、変換部１５２は、抽出された第１領域Ｅ１０の抽出データＤ３０を所定輝度よりも低い第１輝度に変換する。変換部１５２は、抽出データＤ３０と撮像条件が異なりかつ抽出データＤ３０の特徴を有する複数の学習用画像データＤ４０を、第１輝度に変換するように機械学習した変換モデルＭで、入力した抽出データＤ３０を変換する。すなわち、変換部１５２は、抽出データＤ３０を変換モデルＭに入力することで、抽出データＤ３０を第１輝度に変換する。

【0051】

変換部１５２は、第１変換モデルＭ１で、入力した第１変換条件を満たす抽出データＤ３０を変換する。例えば、移動体１０００が撮像した画像Ｄ１１では、監視者が監視すべき領域は、移動体１０００の前方を撮像した画像Ｄ１１であれば、中央付近から下方であり、中央から上方は監視が不要な領域となる。このため、第１変換条件は、第１領域Ｅ１０が画像Ｄ１１における変換領域に存在するか否かの条件を含む。変換領域は、例えば、画像Ｄ１１の上下方向における２／３よりも上方の領域を含む。変換部１５２は、第２変換モデルＭ２で、入力した第２変換条件を満たす抽出データＤ３０を変換する。第２変換条件は、第１領域Ｅ１０が画像Ｄ１１における監視領域に存在するか否かの条件を含む。監視領域は、例えば、画像Ｄ１１の上下方向における２／３よりも下方の領域を含む。変換部１５２は、変換した抽出データＤ３０のパッチを画像データＤ１０が示す画像Ｄ１１の第１領域Ｅ１０にブレンディングすることで、抽出データＤ３０を画像データＤ１０に反映する。

【0052】

変換部１５２は、抽出部１５１が第１領域Ｅ１０を抽出した場合、第１領域Ｅ１０の面積が判定閾値よりも大きいと、画像データＤ１０が示す画像Ｄ１１の全体の画素の輝度を下げる低輝度化処理を実行する。変換部１５２は、記憶部１４０に記憶している元の画像データＤ１０を、変換後の画像データＤ１０に置き換える。

【0053】

出力部１５３は、変換された抽出データＤ３０が反映された画像データＤ１０を出力する。出力部１５３は、変化後の画像データＤ１０を出力（表示）するように、表示部１１０を制御する。これにより、表示部１１０は、高輝度の領域が抑制された画像データＤ１０を表示できる。

【0054】

収集部１５４は、抽出データＤ３０と撮像条件が異なりかつ抽出データＤ３０の特徴を有する複数の学習用画像データＤ４０を収集する。収集部１５４は、抽出データＤ３０に付加された付加データＤ５０に基づいて、特徴が類似した画像を示す学習用画像データＤ４０を収集する。例えば、移動体１０００が路線バスである場合、路線バスは、特定の巡行経路を何度も運行するため、同じ地点で異なる時間帯に画像データＤ１０を撮影することができる。付加データＤ５０が示す撮像位置で異なる日時、時間帯及び天候等に、移動体１０００で撮像した画像データＤ１０は、抽出データＤ３０と類似した特徴、背景等を有する画像を含む確率が高い。例えば、雨の日の画像は、晴れの日の画像に比べて輝度や明瞭度が異なる。このため、収集部１５４は、移動体１０００で撮像した画像データＤ１０から、抽出データＤ３０と撮像条件が異なりかつ抽出データＤ３０の特徴を有する複数の学習用画像データＤ４０を収集する。収集部１５４は、収集した学習用画像データＤ４０に、画像の特徴等を識別可能な付加データＤ５０を関連付けて記憶部１４０に記憶する。これにより、情報処理装置１００は、複数の学習用画像データＤ４０を、第１輝度に変換するように機械学習した第１変換モデルＭ１及び第２変換モデルＭ２の信頼性を向上させることができる。

【0055】

以上、本実施形態に係る情報処理装置１００の機能構成例について説明した。なお、図４を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理装置１００の機能構成は係る例に限定されない。本実施形態に係る情報処理装置１００の機能構成は、仕様や運用に応じて柔軟に変形可能である。

【0056】

［移動体の処理手順例］
図９は、実施形態に係る移動体１０００が実行する処理手順の一例を示すフローチャートである。図９に示す処理手順は、移動体１０００の制御部１４３０がプログラムを実行することによって実現される。図９に示す処理手順は、移動体１０００が巡行している場合に実行される。図９に示す処理手順は、説明を簡単化するために、移動体１０００の前方を撮像する撮像装置１１００の画像データＤ１０を伝送する手順を示している。

【0057】

図９に示すように、移動体１０００は、画像データＤ１０を取得する（ステップＳ１０１）。例えば、移動体１０００は、撮像装置１１００から画像データＤ１０を取得し、センサ部１２００から取得したセンサ情報に基づく位置情報Ｄ５１、撮像装置１１００の撮像方向を示す方向情報Ｄ５２及び時間情報Ｄ５３を関連付けた画像データＤ１０を記憶部１４２０に記憶する。移動体１０００は、ステップＳ１０１の処理が終了すると、処理をステップＳ１０２に進める。

【0058】

移動体１０００は、画像データＤ１０をエンコードする（ステップＳ１０２）。例えば、移動体１０００は、画像データＤ１０、位置情報Ｄ５１、方向情報Ｄ５２、時間情報Ｄ５３等を伝送する伝送データをエンコーダ１４１０でエンコードする。移動体１０００は、ステップＳ１０２の処理が終了すると、処理をステップＳ１０３に進める。

【0059】

移動体１０００は、画像データＤ１０を伝送する（ステップＳ１０３）。例えば、移動体１０００は、エンコードした伝送データの情報処理装置１００への伝送を通信部１３００に指示することで、画像データＤ１０を情報処理装置１００に伝送する。移動体１０００は、ステップＳ１０３の処理が終了すると、処理をステップＳ１０４に進める。

【0060】

移動体１０００は、伝送終了であるか否かを判定する（ステップＳ１０４）。例えば、移動体１０００は、画像データＤ１０の伝送終了条件を満たす場合に、伝送終了であると判定する。伝送終了条件は、例えば、移動体１０００の巡行移動の終了タイミング、予め設定された終了タイミング等の条件が設定される。移動体１０００は、伝送終了ではないと判定した場合（ステップＳ１０４でＮｏ）、処理を既に説明したステップＳ１０１に戻し、処理を継続する。また、移動体１０００は、伝送終了であると判定した場合（ステップＳ１０４でＹｅｓ）、図９に示す処理手順を終了させる。

【0061】

［情報処理装置の処理手順例］
図１０は、実施形態に係る情報処理装置１００が実行する処理手順の一例を示すフローチャートである。図１１は、図１０に示す変換処理の処理手順の一例を示すフローチャートである。図１０及び図１１に示す処理手順は、情報処理装置１００の制御部１５０がプログラム１４１を実行することによって実現される。図１０及び図１１に示す処理手順は、監視者が移動体１０００を監視する場合に実行される。図１０及び図１１に示す処理手順は、説明を簡単化するために、１台の移動体１０００から伝送された画像データＤ１０を処理する手順を示している。

【0062】

図１０に示すように、情報処理装置１００は、画像データＤ１０を受信する（ステップＳ２０１）。例えば、情報処理装置１００は、通信部１２０を介して、移動体１０００が伝送した画像データＤ１０を受信する。情報処理装置１００は、画像データＤ１０を受信すると、処理をステップＳ２０２に進める。

【0063】

情報処理装置１００は、受信した画像データＤ１０をデコードする（ステップＳ２０２）。例えば、情報処理装置１００は、通信部１２０で受信した伝送データをデコーダ１３０でデコードすることで、画像データＤ１０、位置情報Ｄ５１、方向情報Ｄ５２、時間情報Ｄ５３等をデコードする。情報処理装置１００は、デコードした画像データＤ１０を位置情報Ｄ５１、方向情報Ｄ５２及び時間情報Ｄ５３と移動体１０００を識別可能な情報に関連付けて記憶部１４０に記憶すると、処理をステップＳ２０３に進める。

【0064】

情報処理装置１００は、画像Ｄ１１から第１領域Ｅ１０の抽出データＤ３０を抽出する（ステップＳ２０３）。例えば、情報処理装置１００は、デコードした画像データＤ１０が示す画像Ｄ１１から、所定輝度以上の輝度となる第１領域Ｅ１０を抽出し、第１領域Ｅ１０の画像を示す抽出データＤ３０を抽出する。情報処理装置１００は、画像データＤ１０と、画像データＤ１０をガンマ補正処理で変換した変換データＤ２０との差分に基づいて第１領域Ｅ１０を抽出し、第１領域Ｅ１０の画像を示す抽出データＤ３０を抽出する。情報処理装置１００は、抽出した抽出データＤ３０を画像データＤ１０に関連付けて記憶部１４０に記憶する。情報処理装置１００は、付加データＤ５０を生成して抽出データＤ３０及び画像データＤ１０に関連付ける。情報処理装置１００は、ステップＳ２０３の処理が終了すると、処理をステップＳ２０４に進める。

【0065】

情報処理装置１００は、抽出データＤ３０の変換処理を実行する（ステップＳ２０４）。情報処理装置１００は、図１１に示す変換処理を実行することで、抽出データＤ３０の輝度を変換する。

【0066】

図１１に示すように、情報処理装置１００は、元の画像データＤ１０を取得する（ステップＳ３０１－１）。例えば、情報処理装置１００は、抽出データＤ３０に関連付けられた抽出元の画像データＤ１０を記憶部１４０から取得する。そして、情報処理装置１００は、第１領域Ｅ１０の画像の面積を算出する（ステップＳ３０１－２）。例えば、情報処理装置１００は、第１領域Ｅ１０の縦横の長さに基づいて面積を算出する。

【0067】

情報処理装置１００は、ステップＳ３０１－２の面積が判定閾値Ｋよりも大きいか否かを判定する（ステップＳ３０２）。情報処理装置１００は、面積が判定閾値Ｋよりも大きいと判定した場合（ステップＳ３０２でＹｅｓ）、抽出データＤ３０が白飛びの画像と見なし、処理をステップＳ３０３に進める。白飛びとは、撮像画像の輝度が撮像対象の輝度を超えたものとしてよい。白飛びは、撮像装置１１００のダイナミックレンジの限界を超えた場合に発生するとしてよい。

【0068】

情報処理装置１００は、ステップＳ３０１－１の処理が終了し、かつステップＳ３０２で面積が判定閾値Ｋよりも大きいと判定されると、元の画像データＤ１０を低輝度化する（ステップＳ３０３）。例えば、情報処理装置１００は、ステップＳ３０１－１で取得した元の画像データＤ１０の全体の輝度を、眩しさを低減させる輝度に低下させる画像処理を実行する。そして、情報処理装置１００は、変換したデータを記憶部１４０に記憶する（ステップＳ３０４）。例えば、情報処理装置１００は、変換データＤ２０として変換した元の画像データＤ１０を記憶部１４０に記憶する。情報処理装置１００は、ステップＳ３０４の処理が終了すると、図１１に示す処理手順を終了させ、図１０に示すステップＳ２０４の処理に復帰する。

【0069】

また、情報処理装置１００は、面積が判定閾値Ｋよりも大きくないと判定した場合（ステップＳ３０２でＮｏ）、処理をステップＳ３０５に進める。情報処理装置１００は、抽出データＤ３０の変換条件を判定する（ステップＳ３０５）。例えば、情報処理装置１００は、第１領域Ｅ１０が画像Ｄ１１における変換領域に存在する場合、第１変換条件を満たすと判定する。例えば、情報処理装置１００は、第１領域Ｅ１０が画像Ｄ１１における監視領域に存在する場合、第２変換条件を満たすと判定する。例えば、情報処理装置１００は、複数の抽出データＤ３０が存在する場合、複数の抽出データＤ３０の各々の変換条件を判定する。情報処理装置１００は、ステップＳ３０５の処理が終了すると、処理をステップＳ３０６に進める。

【0070】

情報処理装置１００は、第１変換条件を満たすか否かを判定する（ステップＳ３０６）。情報処理装置１００は、ステップＳ３０５の判定結果に基づいて、第１変換条件を満たすと判定した場合（ステップＳ３０６でＹｅｓ）、処理をステップＳ３０７に進める。情報処理装置１００は、第１変換モデルＭ１で、入力した抽出データＤ３０を変換する（ステップＳ３０７）。例えば、情報処理装置１００は、第１変換条件を満たす抽出データＤ３０を第１変換モデルＭ１に入力し、第１変換モデルＭ１が抽出データＤ３０を第１輝度に変換し、第１変換モデルＭ１が出力したデータを変換後の抽出データＤ３０とする。情報処理装置１００は、ステップＳ３０７の処理が終了すると、処理をステップＳ３０４に進める。情報処理装置１００は、変換したデータを記憶部１４０に記憶する（ステップＳ３０４）。例えば、情報処理装置１００は、変換データＤ２０として変換した抽出データＤ３０を記憶部１４０に記憶する。情報処理装置１００は、ステップＳ３０４の処理が終了すると、図１１に示す処理手順を終了させ、図１０に示すステップＳ２０４の処理に復帰する。

【0071】

また、情報処理装置１００は、ステップＳ３０５の判定結果に基づいて、第１変換条件を満たさないと判定した場合（ステップＳ３０６でＮｏ）、処理を後述するステップＳ３０８に進める。

【0072】

情報処理装置１００は、第２変換条件を満たすか否かを判定する（ステップＳ３０８）。情報処理装置１００は、ステップＳ３０５の判定結果に基づいて、第２変換条件を満たさないと判定した場合（ステップＳ３０８でＮｏ）、処理をステップＳ３０４に進める。情報処理装置１００は、変換したデータを記憶部１４０に記憶する（ステップＳ３０４）。例えば、情報処理装置１００は、データを変換していないことを示す情報を記憶部１４０に記憶してもよいし、変換していない抽出データＤ３０を変換データＤ２０として記憶部１４０に記憶してもよい。情報処理装置１００は、ステップＳ３０４の処理が終了すると、図１１に示す処理手順を終了させ、図１０に示すステップＳ２０４の処理に復帰する。

【0073】

また、情報処理装置１００は、ステップＳ３０５の判定結果に基づいて、第２変換条件を満たすと判定した場合（ステップＳ３０８でＹｅｓ）、処理をステップＳ３０９に進める。情報処理装置１００は、第２変換モデルＭ２で、入力した抽出データＤ３０を変換する（ステップＳ３０９）。例えば、情報処理装置１００は、第２変換条件を満たす抽出データＤ３０を第２変換モデルＭ２に入力し、第２変換モデルＭ２が抽出データＤ３０を、所定輝度以上の撮像物が存在する領域を第１輝度に変換せずに、当該撮像物が存在しない領域を第１輝度に変換する。情報処理装置１００は、第２変換モデルＭ２が出力したデータを変換後の抽出データＤ３０とする。情報処理装置１００は、ステップＳ３０９の処理が終了すると、処理をステップＳ３０４に進める。情報処理装置１００は、変換したデータを記憶部１４０に記憶する（ステップＳ３０４）。例えば、情報処理装置１００は、変換データＤ２０として変換した抽出データＤ３０を記憶部１４０に記憶する。情報処理装置１００は、ステップＳ３０４の処理が終了すると、図１１に示す処理手順を終了させ、図１０に示すステップＳ２０４の処理に復帰する。

【0074】

図１０に戻り、情報処理装置１００は、ステップＳ２０４の変換処理が終了すると、処理をステップＳ２０５に進める。情報処理装置１００は、画像データＤ１０に変換データＤ２０を反映する（ステップＳ２０５）。例えば、情報処理装置１００は、変換した抽出データＤ３０のパッチを画像データＤ１０が示す画像Ｄ１１の第１領域Ｅ１０にブレンディングすることで、抽出データＤ３０を画像データＤ１０に反映する。情報処理装置１００は、ステップＳ２０５の処理が終了すると、処理をステップＳ２０６に進める。

【0075】

情報処理装置１００は、画像データＤ１０を表示部１１０に出力する（ステップＳ２０６）。例えば、情報処理装置１００は、変化後の画像データＤ１０を出力（表示）するように、表示部１１０を制御する。例えば、情報処理装置１００は、変換後の画像データＤ１０を、通信部１２０を介して外部の機器に出力してもよい。情報処理装置１００は、ステップＳ２０６の処理が終了すると、処理をステップＳ２０７に進める。

【0076】

情報処理装置１００は、伝送終了であるか否かを判定する（ステップＳ２０７）。例えば、情報処理装置１００は、画像データＤ１０の伝送終了条件を満たす場合に、伝送終了であると判定する。伝送終了条件は、例えば、通信部１２０を介して画像データＤ１０を受信していない継続時間、予め設定された終了タイミング等の条件が設定される。情報処理装置１００は、伝送終了ではないと判定した場合（ステップＳ２０７でＮｏ）、処理を既に説明したステップＳ２０１に戻し、処理を継続する。また、情報処理装置１００は、伝送終了であると判定した場合（ステップＳ２０７でＹｅｓ）、図１０に示す処理手順を終了させる。

【0077】

以上のように、情報処理装置１００は、撮像された画像データＤ１０が示す画像Ｄ１１で所定輝度以上の輝度となる第１領域Ｅ１０を抽出し、当該第１領域Ｅ１０の抽出データＤ３０の輝度を低い輝度に変換する。情報処理装置１００は、変換された抽出データＤ３０を反映した画像データＤ１０を表示部１１０に出力する。これにより、情報処理装置１００は、所定輝度以上の輝度を低減した画像データＤ１０を表示部１１０に表示できるので、監視者の疲労度を軽減させることができる。

【0078】

情報処理装置１００は、抽出データＤ３０と撮像条件が異なりかつ抽出データＤ３０の特徴を有する複数の学習用画像データＤ４０を、第１輝度に変換するように機械学習した変換モデルＭで、入力した前記抽出データを変換することができる。これにより、情報処理装置１００は、抽出データＤ３０を変換モデルＭに入力すればよいので、複数の移動体１０００の画像データＤ１０を監視する場合の処理負担を抑制することができる。

【0079】

情報処理装置１００は、第１変換モデルＭ１で、入力した第１変換条件を満たす抽出データＤ３０を変換し、第２変換モデルＭ２で、入力した第２変換条件を満たす抽出データＤ３０を変換することができる。これにより、情報処理装置１００は、画像データＤ１０で対象画像の輝度を変換したり、変換しなかったりすることができるので、重要度の高い対象画像を維持することができる。

【0080】

情報処理装置１００は、画像データＤ１０と画像データＤ１０にガンマ補正処理した変換データＤ２０とを比較して画像Ｄ１１の第１領域Ｅ１０を特定し、画像データＤ１０から第１領域Ｅ１０の抽出データＤ３０を抽出する。これにより、情報処理装置１００は、ガンマ補正処理のガンマ値を高く設定することで、画像データＤ１０と変換データＤ２０との差分から眩しい領域（高輝度領域）を検出することができる。

【0081】

図１２は、移動体１０００の巡行経路１０００Ｒの一例を示す図である。図１３は、実施形態に係る情報処理装置１００が実行する収集処理の処理手順の一例を示すフローチャートである。図１３に示す処理手順は、情報処理装置１００の制御部１５０がプログラム１４１を実行することによって実現される。図１３に示す処理手順は、監視者が移動体１０００を監視する場合に実行され、終了が指示された場合に実行が終了される。

【0082】

図１２に示す経路データＤ６０は、移動体１０００の所定ルートである巡行経路１０００Ｒ、複数の停留所１０００Ｂ等の位置や、巡行スケジュールを識別可能な情報を有する。移動体１０００は、巡行経路１０００Ｒを何度も運行するため、同じ地点で異なる時間帯の画像データＤ１０を撮像することができる。例えば、情報処理装置１００は、位置情報Ｄ５１、方向情報Ｄ５２及び時間情報Ｄ５３が抽出データＤ３０に関連付けられている場合、位置情報Ｄ５１及び方向情報Ｄ５２が同じで、時間情報Ｄ５３が示す時間帯または時間、天候情報Ｄ５５が示す天候等の撮像条件が異なる画像データＤ１０から、学習用画像データＤ４０を収集する。

【0083】

図１３に示すように、情報処理装置１００は、画像データＤ１０を取得する（ステップＳ４０１）。例えば、情報処理装置１００は、通信部１２０を介して受信したデコード済みの画像データＤ１０を取得する。情報処理装置１００は、画像Ｄ１１から第１輝度以上の第１領域Ｅ１０を検出する（ステップＳ４０２）。例えば、情報処理装置１００は、画像Ｄ１１から所定輝度以上の輝度となる第１領域Ｅ１０を検出する。情報処理装置１００は、第１領域Ｅ１０の検出結果を記憶部１４０に記憶すると、処理をステップＳ４０３に進める。

【0084】

情報処理装置１００は、ステップＳ４０３の検出結果に基づいて、第１領域Ｅ１０を検出したか否かを判定する（ステップＳ４０３）。情報処理装置１００は、第１領域Ｅ１０を検出したと判定した場合（ステップＳ４０３でＹｅｓ）、処理をステップＳ４０４に進める。情報処理装置１００は、画像Ｄ１１から第１輝度以上の第１領域Ｅ１０を抽出する（ステップＳ４０４）。例えば、情報処理装置１００は、画像データＤ１０から画像Ｄ１１の第１領域Ｅ１０を示す抽出データＤ３０を抽出する。情報処理装置１００は、抽出した抽出データＤ３０を記憶部１４０に記憶すると、処理をステップＳ４０５に進める。

【0085】

情報処理装置１００は、抽出データＤ３０の特徴ベクトルを算出する（ステップＳ４０５）。例えば、情報処理装置１００は、抽出データＤ３０が示す画像Ｄ１１に対して照度不変な特徴量を用いて特徴ベクトルを算出する。情報処理装置１００は、算出した特徴ベクトル、物体、背景等を含む特徴情報Ｄ５４を、付加データＤ５０として抽出データＤ３０に関連付けて記憶部１４０に記憶する。情報処理装置１００は、移動体１０００が移動している位置の天候を示す天候情報Ｄ５５を取得し、天候情報Ｄ５５を付加データＤ５０として抽出データＤ３０に関連付けて記憶部１４０に記憶する。情報処理装置１００は、ステップＳ４０５の処理が終了すると、処理をステップＳ４０６に進める。

【0086】

情報処理装置１００は、撮像条件が異なる別の画像データＤ１０を取得する（ステップＳ４０６）。例えば、情報処理装置１００は、画像データＤ１０に関連付けられた付加データＤ５０に基づいて、撮像位置及び撮像方向が同じで時間帯、天候等が異なる別の画像データＤ１０を取得する。情報処理装置１００は、別の画像データＤ１０から第１領域Ｅ１０の第２抽出データを取得する（ステップＳ４０７）。例えば、情報処理装置１００は、別の画像データＤ１０から画像Ｄ１１の第１領域Ｅ１０を示す第２抽出データを抽出する。情報処理装置１００は、抽出した第２抽出データを記憶部１４０に記憶すると、処理をステップＳ４０８に進める。

【0087】

情報処理装置１００は、第２抽出データの特徴ベクトルを算出する（ステップＳ４０８）。例えば、情報処理装置１００は、第２抽出データが示す画像Ｄ１１に対して照度不変な特徴量を用いて特徴ベクトルを算出する。そして、情報処理装置１００は、抽出データと第２抽出データとの類似度を算出する（ステップＳ４０９）。例えば、情報処理装置１００は、算出プログラム、機械学習等を用いて、特徴ベクトルの類似度を算出し、算出結果を記憶部１４０に記憶する。情報処理装置１００は、ステップＳ４０９の処理が終了すると、処理をステップＳ４１０に進める。

【0088】

情報処理装置１００は、類似度が判定閾値よりも大きいか否かを判定する（ステップＳ４１０）。類似度の判定閾値は、特徴が同一であるか否かを判定するために設定された閾値である。情報処理装置１００は、類似度が判定閾値よりも大きいと判定した場合（ステップＳ４１０でＹｅｓ）、処理をステップＳ４１１に進める。情報処理装置１００は、第２抽出データの第１領域Ｅ１０を識別可能な情報に関連付けて保存する（ステップＳ４１１）。例えば、情報処理装置１００は、第２抽出データの抽出元の画像データＤ１０に関連付けられた付加データＤ５０を参照し、付加データＤ５０の特徴情報Ｄ５４を第２抽出データの特徴を示すように変更する。情報処理装置１００は、第２抽出データを学習用画像データＤ４０とし、付加データＤ５０を関連付けて記憶部１４０に保存する。情報処理装置１００は、ステップＳ４１１の処理が終了すると、処理を後述するステップＳ４１２に進める。

【0089】

また、情報処理装置１００は、類似度が判定閾値よりも大きくないと判定した場合（ステップＳ４１０でＮｏ）、処理をステップＳ４１２に進める。情報処理装置１００は、次のフレームの画像データＤ１０を取得する（ステップＳ４１２）。例えば、情報処理装置１００は、通信部１２０を介して、移動体１０００が伝送した次のフレームの画像データＤ１０を取得する。情報処理装置１００は、ステップＳ４１２の処理が終了すると、処理を既に説明したステップＳ４０２に戻し、処理を継続する。

【0090】

以上のように、情報処理装置１００は、巡行中の移動体１０００が伝送する画像データＤ１０から、付加データＤ５０に基づく抽出データＤ３０の学習に適した大量の学習用画像データＤ４０を取集することができる。例えば、同一の位置で同一の撮像方向を撮像した画像データＤ１０は、時間帯、天候等の撮像条件が異なることで、コンテキストが類似した画像Ｄ１１であっても、輝度、視認性等が異なる可能性が高い。情報処理装置１００は、経路データＤ６０が示す巡行経路１０００Ｒで撮像した画像データＤ１０から、付加データＤ５０が示す特徴と類似した特徴を有し、かつ撮像条件が異なる学習用画像データＤ４０を収集することができる。これにより、情報処理装置１００は、変換モデルＭが多くの学習用画像データＤ４０を機械学習できるので、変換モデルＭの出力の信頼度をより一層向上させることができる。

【0091】

上述した情報処理装置１００は、画像データＤ１０が示す画像Ｄ１１のＲＧＢ情報、コンテキスト等に基づいて画像Ｄ１１における撮像物を認識し、認識結果で変換に用いる第１変換モデルＭ１と第２変換モデルＭ２を切り替えるように構成してもよい。

【0092】

上述した情報処理装置１００は、画像データＤ１０の輝度を変換する機能と、学習用画像データＤ４０を収集する機能とを実現する場合について説明したが、これに限定されない。例えば、情報処理装置１００は、画像データＤ１０の輝度を変換する機能のみを有する構成としてもよい。例えば、情報処理装置１００は、２つの機能を個別の装置で実現してもよい。例えば、情報処理装置１００は、学習用画像データＤ４０を収集する機能を移動体１０００で実現してもよい。

【0093】

上述した情報処理装置１００は、移動体１０００の外部に設ける場合について説明したが、これに限定されない。情報処理装置１００は、移動体１０００に搭載されてもよいし、移動体１０００に搭載れたＥＣＵ１４００、車載器等で実現してもよい。

【0094】

添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成を具現化するように構成されるべきである。本開示の内容は、当業者であれば本開示に基づき種々の変形および修正を行うことができる。したがって、これらの変形および修正は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段、各ステップなどは論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段、各ステップなどと置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段、各ステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。

【符号の説明】

【0095】

１ システム
１００ 情報処理装置
１１０ 表示部
１２０ 通信部
１３０ デコーダ
１４０ 記憶部
１４１ プログラム
１５０ 制御部
１５１ 抽出部
１５２ 変換部
１５３ 出力部
１５４ 収集部
１０００ 移動体
１０００Ｒ 巡行経路
１１００ 撮像装置
１２００ センサ部
１３００ 通信部
１４００ ＥＣＵ
１４１０ エンコーダ
１４２０ 記憶部
１４３０ 制御部
Ｄ１０ 画像データ
Ｄ１１ 画像
Ｄ２０ 変換データ
Ｄ３０ 抽出データ
Ｄ４０ 学習用画像データ
Ｄ５０ 付加データ
Ｄ５１ 位置情報
Ｄ５２ 方向情報
Ｄ５３ 時間情報
Ｄ５４ 特徴情報
Ｄ５５ 天候情報
Ｄ６０ 経路データ
Ｅ１０ 第１領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】