ホーム > 特許ランキング > ソニーグループ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-13
(45)【発行日】2023-11-21
(54)【発明の名称】画像処理装置、移動装置、および方法、並びにプログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20231114BHJP
H04N 7/18 20060101ALI20231114BHJP
G08G 1/00 20060101ALI20231114BHJP
G16Y 10/40 20200101ALI20231114BHJP
G16Y 20/10 20200101ALI20231114BHJP
【ＦＩ】
H04N23/60 300
H04N7/18 D
G08G1/00 A
G16Y10/40
G16Y20/10
【請求項の数】
18
(21)【出願番号】P 2020527255
(86)(22)【出願日】2019-05-10
(86)【国際出願番号】 JP2019018771
(87)【国際公開番号】W WO2020003764
(87)【国際公開日】2020-01-02
【審査請求日】2022-03-18
(31)【優先権主張番号】P 2018120202
(32)【優先日】2018-06-25
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】110000763
【氏名又は名称】弁理士法人大同特許事務所
(72)【発明者】
【氏名】佐藤 竜太
(72)【発明者】
【氏名】青木 卓
(72)【発明者】
【氏名】山本 啓太郎
【審査官】高野 美帆子
(56)【参考文献】
【文献】国際公開第２０１７／０３８１００（ＷＯ，Ａ１）
【文献】国際公開第２０１７／２１２６３９（ＷＯ，Ａ１）
【文献】特開２０１６－１２７５６４（ＪＰ，Ａ）
【文献】特開２０１６－０６３２５１（ＪＰ，Ａ）
【文献】国際公開第２０１８／２２５５９６（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／６０
Ｈ０４Ｎ ７／１８
Ｇ０８Ｇ １／００
Ｇ１６Ｙ １０／４０
Ｇ１６Ｙ ２０／１０
(57)【特許請求の範囲】
【請求項1】
撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成する画像信号処理部と、前記画像信号処理部の生成したカラー画像の解析処理を実行する画像解析部と、
前記ＲＡＷ画像を外部サーバに送信するか否かを決定する送信要否判定部と、
前記送信要否判定部の判定結果に従って前記ＲＡＷ画像を外部サーバに送信する送信部と、
前記画像解析部におけるカラー画像解析結果と、前記外部サーバにおけるＲＡＷ画像解析結果を出力する出力部を有し、
前記送信部は、前記画像解析部におけるカラー画像解析処理の実行中に、外部サーバへのＲＡＷ画像送信処理を並列に実行し、
前記出力部は、前記画像解析部におけるカラー画像解析結果を継続的に出力するとともに、前記外部サーバから間欠的に入力するＲＡＷ画像解析結果を間欠的に出力する画像処理装置。
【請求項2】
前記送信要否判定部は、前記ＲＡＷ画像の外部サーバに対する送信処理を、予め規定した時間周期、またはフレーム周期単位とする送信タイミング制御を実行する請求項１に記載の画像処理装置。
【請求項3】
前記送信要否判定部は、前記ＲＡＷ画像の撮影パラメータ、または前記ＲＡＷ画像に対して前記画像信号処理部が適用した信号処理パラメータの少なくともずれかのパラメータに基づいて、前記ＲＡＷ画像の外部サーバに対する送信要否を決定する請求項１に記載の画像処理装置。
【請求項4】
前記撮影パラメータ、および信号処理パラメータは、シャッタースピード、アナログゲイン、デジタルゲイン、ホワイトバランス制御値、ハイダイナミックレンジ制御値の少なくともいずれかを含む請求項３に記載の画像処理装置。
【請求項5】
前記送信要否判定部は、前記画像解析部における解析結果情報に基づいて、前記ＲＡＷ画像の外部サーバに対する送信要否を決定する請求項１に記載の画像処理装置。
【請求項6】
前記画像解析部における解析結果情報は、前記カラー画像からの検出オブジェクト対応の認識結果確信度、または認識クラスの少なくともいずれかの情報を含む請求項５に記載の画像処理装置。
【請求項7】
前記送信要否判定部は、前記画像処理装置の装置情報に基づいて、前記ＲＡＷ画像の外部サーバに対する送信要否を決定する請求項１に記載の画像処理装置。
【請求項8】
前記装置情報は、前記画像処理装置のバスを流れる情報、前記撮像素子の欠陥画素数、前記画像処理装置の異常検出情報の少なくともいずれかの情報を含む請求項７に記載の画像処理装置。
【請求項9】
前記送信要否判定部は、前記外部サーバから入力するＲＡＷ画像送信要否判定情報に基づいて、前記ＲＡＷ画像の外部サーバに対する送信要否を決定する請求項１に記載の画像処理装置。
【請求項10】
前記外部サーバから入力するＲＡＷ画像送信要否判定情報は、前記画像処理装置が前記外部サーバに送信したカラー画像に対する前記外部サーバの解析結果に基づく判定情報である請求項９に記載の画像処理装置。
【請求項11】
前記送信要否判定部は、前記ＲＡＷ画像に併せて、前記ＲＡＷ画像の撮影パラメータ、または前記ＲＡＷ画像に対して前記画像信号処理部が適用した信号処理パラメータの少なくともいずれかのパラメータを外部サーバに送信するか否かを決定する請求項１に記載の画像処理装置。
【請求項12】
前記送信部は、前記ＲＡＷ画像に併せて、前記ＲＡＷ画像の撮影パラメータ、または前記ＲＡＷ画像に対して前記画像信号処理部が適用した信号処理パラメータの少なくともいずれかのパラメータを外部サーバに送信する請求項１に記載の画像処理装置。
【請求項13】
移動装置に装着された撮像部と、前記撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成する画像信号処理部と、
前記画像信号処理部の生成したカラー画像の解析処理を実行する画像解析部と、
前記ＲＡＷ画像を外部サーバに送信するか否かを決定する送信要否判定部と、
前記送信要否判定部の判定結果に従って前記ＲＡＷ画像を外部サーバに送信する送信部と、
前記画像解析部におけるカラー画像解析結果と、前記外部サーバにおけるＲＡＷ画像解析結果を出力する出力部を有し、
前記送信部は、前記画像解析部におけるカラー画像解析処理の実行中に、外部サーバへのＲＡＷ画像送信処理を並列に実行し、
前記出力部は、前記画像解析部におけるカラー画像解析結果を継続的に出力するとともに、前記外部サーバから間欠的に入力するＲＡＷ画像解析結果を間欠的に出力する移動装置。
【請求項14】
前記送信要否判定部は、前記ＲＡＷ画像の外部サーバに対する送信処理を、予め規定した時間周期、またはフレーム周期単位とする送信タイミング制御処理を実行する請求項１３に記載の移動装置。
【請求項15】
前記送信要否判定部は、前記ＲＡＷ画像の撮影パラメータ、または前記ＲＡＷ画像に対して前記画像信号処理部が適用した信号処理パラメータの少なくともずれかのパラメータ、または、
前記画像解析部における解析結果情報、または、
前記画像解析部を有する画像処理装置の装置情報、または、
前記外部サーバから入力するＲＡＷ画像送信要否判定情報の少なくともいずれかの情報に基づいて、前記ＲＡＷ画像の外部サーバに対する送信要否を決定する請求項１３に記載の移動装置。
【請求項16】
画像処理装置とサーバを有する画像処理システムであり、前記画像処理装置は、
撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成する画像信号処理部と、
前記画像信号処理部の生成したカラー画像の解析処理を実行する画像解析部と、
前記ＲＡＷ画像を外部サーバに送信するか否かを決定する送信要否判定部と、
前記送信要否判定部の判定結果に従って前記ＲＡＷ画像を外部サーバに送信する送信部と、
前記画像解析部におけるカラー画像解析結果と、前記外部サーバにおけるＲＡＷ画像解析結果を出力する出力部を有し、
前記サーバは、
前記画像処理装置からＲＡＷ画像を受信してＲＡＷ画像の解析処理を実行する構成であり、
前記画像処理装置の前記送信部は、前記画像解析部におけるカラー画像解析処理の実行中に、外部サーバへのＲＡＷ画像送信処理を並列に実行し、
前記画像処理装置の前記出力部は、前記画像解析部におけるカラー画像解析結果を継続的に出力するとともに、前記外部サーバから間欠的に入力するＲＡＷ画像解析結果を間欠的に出力する画像処理システム。
【請求項17】
画像処理装置において実行する画像処理方法であり、画像信号処理部が、撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成する画像信号処理ステップと、
画像解析部が、前記画像信号処理ステップにおいて生成したカラー画像の解析処理を実行する画像解析ステップと、
送信要否判定部が、前記ＲＡＷ画像を外部サーバに送信するか否かを決定する送信要否判定ステップと、
送信部が、前記送信要否判定ステップの判定結果に従って前記ＲＡＷ画像を外部サーバに送信する送信ステップと、
出力部が、前記画像解析ステップにおけるカラー画像解析結果と、前記外部サーバにおけるＲＡＷ画像解析結果を出力する出力ステップを有し、
前記送信ステップは、前記画像解析部におけるカラー画像解析処理の実行中に、外部サーバへのＲＡＷ画像送信処理を並列に実行するステップであり、
前記出力ステップは、前記画像解析部におけるカラー画像解析結果を継続的に出力するとともに、前記外部サーバから間欠的に入力するＲＡＷ画像解析結果を間欠的に出力するステップである画像処理方法。
【請求項18】
画像処理装置において画像処理を実行させるプログラムであり、画像信号処理部に、撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成させる画像信号処理ステップと、
画像解析部に、前記画像信号処理ステップにおいて生成したカラー画像の解析処理を実行させる画像解析ステップと、
送信要否判定部に、前記ＲＡＷ画像を外部サーバに送信するか否かを決定させる送信要否判定ステップと、
送信部に、前記送信要否判定ステップの判定結果に従って前記ＲＡＷ画像を外部サーバに送信させる送信ステップと、
出力部に、前記画像解析ステップにおけるカラー画像解析結果と、前記外部サーバにおけるＲＡＷ画像解析結果を出力する出力ステップを実行させ、
前記送信ステップは、前記画像解析部におけるカラー画像解析処理の実行中に、外部サーバへのＲＡＷ画像送信処理を並列に実行させるステップであり、
前記出力ステップは、前記画像解析部におけるカラー画像解析結果を継続的に出力するとともに、前記外部サーバから間欠的に入力するＲＡＷ画像解析結果を間欠的に出力させるステップであるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、移動装置、および方法、並びにプログラムに関する。さらに詳細には、例えば自動車等の移動装置に備えられたカメラの撮影画像の解析を行い、人等の障害物を検出する画像処理装置、移動装置、および方法、並びにプログラムに関する。
【背景技術】
【0002】
自動車の走行を行う際、カメラ撮影画像の解析によって、進行方向に人等の障害物があるか否かを確認するシステムが多く利用されている。
【0003】
画像解析を行う場合、カメラの撮像素子（イメージセンサ）の出力であるＲＡＷ画像に対する画像信号処理後の画像、例えばデモザイク処理やホワイトバランス調整処理後のＲＧＢ画像等のカラー画像を利用した解析を行うのが一般的である。しかし、ＲＡＷ画像とＲＧＢ画像を比較すると、ＲＡＷ画像の方が情報量が多く、ＲＡＷ画像を用いた解析を行うことでより詳細な画像解析結果を取得することができる。
【0004】
なお、ＲＡＷ画像を用いた画像解析について開示した従来技術として特許文献１（特開２００９－２３９７７２号公報）等がある。
しかし、ＲＡＷ画像は、ＲＧＢ画像より情報量が多いため、例えばデータ転送、データ処理に時間を要するという問題がある。
しかし、ＲＡＷ画像は、ＲＧＢ画像より情報量が多いため、例えばデータ転送、データ処理に時間を要するという問題がある。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２００９－２３９７７２号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本開示は、例えば上記問題点に鑑みてなされたものであり、自動車等の移動装置に装着されたカメラの撮影画像を利用して人や障害物等の検出を行う構成において、カメラの撮像素子（イメージセンサ）からの出力であるＲＡＷ画像を選択的にサーバに送信してサーバ側でＲＡＷ画像の解析を行わせる。サーバに対する選択的なＲＡＷ画像送信処理を行うことで、移動装置内の処理負荷を大きくすることなく、高精度な解析結果を取得可能とした画像処理装置、移動装置、および方法、並びにプログラムを提供する。
【課題を解決するための手段】
【0007】
本開示の第１の側面は、
撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成する画像信号処理部と、
前記画像信号処理部の生成したカラー画像の解析処理を実行する画像解析部と、
前記ＲＡＷ画像を外部サーバに送信するか否かを決定する送信要否判定部と、
前記送信要否判定部の判定結果に従って前記ＲＡＷ画像を外部サーバに送信する送信部を有する画像処理装置にある。
撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成する画像信号処理部と、
前記画像信号処理部の生成したカラー画像の解析処理を実行する画像解析部と、
前記ＲＡＷ画像を外部サーバに送信するか否かを決定する送信要否判定部と、
前記送信要否判定部の判定結果に従って前記ＲＡＷ画像を外部サーバに送信する送信部を有する画像処理装置にある。
【0008】
さらに、本開示の第２の側面は、
移動装置に装着された撮像部と、
前記撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成する画像信号処理部と、
前記画像信号処理部の生成したカラー画像の解析処理を実行する画像解析部と、
前記ＲＡＷ画像を外部サーバに送信するか否かを決定する送信要否判定部と、
前記送信要否判定部の判定結果に従って前記ＲＡＷ画像を外部サーバに送信する送信部を有する移動装置にある。
移動装置に装着された撮像部と、
前記撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成する画像信号処理部と、
前記画像信号処理部の生成したカラー画像の解析処理を実行する画像解析部と、
前記ＲＡＷ画像を外部サーバに送信するか否かを決定する送信要否判定部と、
前記送信要否判定部の判定結果に従って前記ＲＡＷ画像を外部サーバに送信する送信部を有する移動装置にある。
【0009】
さらに、本開示の第３の側面は、
画像処理装置とサーバを有する画像処理システムであり、
前記画像処理装置は、
撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成する画像信号処理部と、
前記画像信号処理部の生成したカラー画像の解析処理を実行する画像解析部と、
前記ＲＡＷ画像を外部サーバに送信するか否かを決定する送信要否判定部と、
前記送信要否判定部の判定結果に従って前記ＲＡＷ画像を外部サーバに送信する送信部を有し、
前記サーバは、
前記画像処理装置からＲＡＷ画像を受信してＲＡＷ画像の解析処理を実行する画像処理システムにある。
画像処理装置とサーバを有する画像処理システムであり、
前記画像処理装置は、
撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成する画像信号処理部と、
前記画像信号処理部の生成したカラー画像の解析処理を実行する画像解析部と、
前記ＲＡＷ画像を外部サーバに送信するか否かを決定する送信要否判定部と、
前記送信要否判定部の判定結果に従って前記ＲＡＷ画像を外部サーバに送信する送信部を有し、
前記サーバは、
前記画像処理装置からＲＡＷ画像を受信してＲＡＷ画像の解析処理を実行する画像処理システムにある。
【0010】
さらに、本開示の第４の側面は、
画像処理装置において実行する画像処理方法であり、
画像信号処理部が、撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成する画像信号処理ステップと、
画像解析部が、前記画像信号処理ステップにおいて生成したカラー画像の解析処理を実行する画像解析ステップと、
送信要否判定部が、前記ＲＡＷ画像を外部サーバに送信するか否かを決定する送信要否判定ステップと、
送信部が、前記送信要否判定ステップの判定結果に従って前記ＲＡＷ画像を外部サーバに送信する送信ステップを実行する画像処理方法にある。
画像処理装置において実行する画像処理方法であり、
画像信号処理部が、撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成する画像信号処理ステップと、
画像解析部が、前記画像信号処理ステップにおいて生成したカラー画像の解析処理を実行する画像解析ステップと、
送信要否判定部が、前記ＲＡＷ画像を外部サーバに送信するか否かを決定する送信要否判定ステップと、
送信部が、前記送信要否判定ステップの判定結果に従って前記ＲＡＷ画像を外部サーバに送信する送信ステップを実行する画像処理方法にある。
【0011】
さらに、本開示の第５の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像信号処理部に、撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成させる画像信号処理ステップと、
画像解析部に、前記画像信号処理ステップにおいて生成したカラー画像の解析処理を実行させる画像解析ステップと、
送信要否判定部に、前記ＲＡＷ画像を外部サーバに送信するか否かを決定させる送信要否判定ステップと、
送信部に、前記送信要否判定ステップの判定結果に従って前記ＲＡＷ画像を外部サーバに送信させる送信ステップを実行させるプログラムにある。
画像処理装置において画像処理を実行させるプログラムであり、
画像信号処理部に、撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成させる画像信号処理ステップと、
画像解析部に、前記画像信号処理ステップにおいて生成したカラー画像の解析処理を実行させる画像解析ステップと、
送信要否判定部に、前記ＲＡＷ画像を外部サーバに送信するか否かを決定させる送信要否判定ステップと、
送信部に、前記送信要否判定ステップの判定結果に従って前記ＲＡＷ画像を外部サーバに送信させる送信ステップを実行させるプログラムにある。
【0012】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【0013】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【0014】
本開示の一実施例の構成によれば、高精度な画像解析が必要な場合等、規定条件に従って選択されたＲＡＷ画像のみを選択してサーバに送信する構成が実現される。
具体的には、例えば、移動装置に装着された撮像部と、撮像部の撮像素子出力であるＲＡＷ画像の信号処理によりカラー画像を生成する画像信号処理部と、カラー画像解析処理を実行する画像解析部と、ＲＡＷ画像のサーバに対する送信要否を判定する送信要否判定部と、判定結果に従ってＲＡＷ画像を外部サーバに送信する送信部を有する。送信要否判定部は、一定周期の送信タイミング制御、または撮影、信号処理パラメータや画像解析結果、装置情報等に基づいて、ＲＡＷ画像の送信要否を決定する。
本構成により、高精度な画像解析が必要な場合等、規定条件に従って選択されたＲＡＷ画像のみを選択してサーバに送信する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
具体的には、例えば、移動装置に装着された撮像部と、撮像部の撮像素子出力であるＲＡＷ画像の信号処理によりカラー画像を生成する画像信号処理部と、カラー画像解析処理を実行する画像解析部と、ＲＡＷ画像のサーバに対する送信要否を判定する送信要否判定部と、判定結果に従ってＲＡＷ画像を外部サーバに送信する送信部を有する。送信要否判定部は、一定周期の送信タイミング制御、または撮影、信号処理パラメータや画像解析結果、装置情報等に基づいて、ＲＡＷ画像の送信要否を決定する。
本構成により、高精度な画像解析が必要な場合等、規定条件に従って選択されたＲＡＷ画像のみを選択してサーバに送信する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【0015】
【図1】本開示の構成と処理の概要について説明する図である。
【図2】本開示の画像処理装置の構成例について説明する図である。
【図3】本開示の画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。
【図4】本開示の画像処理装置の構成例について説明する図である。
【図5】撮影パラメータと信号処理パラメータについて説明する図である。
【図6】本開示の画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。
【図7】本開示の画像処理装置の構成例について説明する図である。
【図8】画像解析部の生成する解析結果情報の例について説明する図である。
【図9】本開示の画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。
【図10】本開示の画像処理装置の構成例について説明する図である。
【図11】本開示の画像処理装置の構成例について説明する図である。
【図12】装置情報の例について説明する図である。
【図13】本開示の画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。
【図14】本開示の画像処理装置の構成例について説明する図である。
【図15】本開示の画像処理装置の構成例について説明する図である。
【図16】本開示の画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。
【図17】画像処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【0016】
以下、図面を参照しながら本開示の画像処理装置、移動装置、および方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．本開示の構成と処理の概要について
２．画像処理装置の構成と処理の具体例について
２－１．（実施例１）一定周期で間欠的にＲＡＷ画像送信を行う実施例
２－２．（実施例２）パラメータに基づくＲＡＷ画像送信要否判定を実行する実施例
２－３．（実施例３）画像解析結果に基づくＲＡＷ画像送信要否判定を実行する実施例
２－４．（実施例４）装置情報に基づくＲＡＷ画像送信要否判定を実行する実施例
２－５．（実施例５）サーバにおけるカラー画像解析結果に基づくＲＡＷ画像送信要否判定を実行する実施例
３．画像処理装置のハードウェア構成例について
４．本開示の構成のまとめ
１．本開示の構成と処理の概要について
２．画像処理装置の構成と処理の具体例について
２－１．（実施例１）一定周期で間欠的にＲＡＷ画像送信を行う実施例
２－２．（実施例２）パラメータに基づくＲＡＷ画像送信要否判定を実行する実施例
２－３．（実施例３）画像解析結果に基づくＲＡＷ画像送信要否判定を実行する実施例
２－４．（実施例４）装置情報に基づくＲＡＷ画像送信要否判定を実行する実施例
２－５．（実施例５）サーバにおけるカラー画像解析結果に基づくＲＡＷ画像送信要否判定を実行する実施例
３．画像処理装置のハードウェア構成例について
４．本開示の構成のまとめ
【0017】
［１．本開示の構成と処理の概要について］
まず、図１以下を参照して、本開示の構成と処理の概要について説明する。
図１は、本開示の構成と処理の概要について説明する図である。
なお、以下の実施例では、移動装置の一例として自動車（車両）１０の例を説明するが、本開示の処理は、自動車以外の様々な移動装置において利用可能である。
例えば、物流ロボット等のロボット型移動体やドローン等にも適用可能である。
まず、図１以下を参照して、本開示の構成と処理の概要について説明する。
図１は、本開示の構成と処理の概要について説明する図である。
なお、以下の実施例では、移動装置の一例として自動車（車両）１０の例を説明するが、本開示の処理は、自動車以外の様々な移動装置において利用可能である。
例えば、物流ロボット等のロボット型移動体やドローン等にも適用可能である。
【0018】
図１に示すように、自動車１０は、カメラ１１を装着している。
なお、以下の実施例では、自動車１０の前方を撮影するカメラ１１の撮影画像を利用した実施例について説明するが、本開示の構成、処理は、前方を撮影するカメラに限らず、後方等、その他の様々な方向を撮影するカメラの撮影画像に対して適用することも可能である。また、カメラ１１としては、通常の画像撮影を行うカメラ、あるいは魚眼レンズのような広角レンズを備えたカメラも利用可能である。
なお、以下の実施例では、自動車１０の前方を撮影するカメラ１１の撮影画像を利用した実施例について説明するが、本開示の構成、処理は、前方を撮影するカメラに限らず、後方等、その他の様々な方向を撮影するカメラの撮影画像に対して適用することも可能である。また、カメラ１１としては、通常の画像撮影を行うカメラ、あるいは魚眼レンズのような広角レンズを備えたカメラも利用可能である。
【0019】
自動車１０は、ネットワーク３０を介してサーバ２０と通信可能な構成を持つ。
自動車１０のカメラ１１の撮像素子（イメージセンサ）の出力であるＲＡＷ画像４１は、図に示すように、ネットワークを介してサーバ２０に送信される。
サーバ２０は、このＲＡＷ画像に基づく画像解析を実行する。
自動車１０のカメラ１１の撮像素子（イメージセンサ）の出力であるＲＡＷ画像４１は、図に示すように、ネットワークを介してサーバ２０に送信される。
サーバ２０は、このＲＡＷ画像に基づく画像解析を実行する。
【0020】
図１の右側には、自動車１０に装着された画像処理部の構成と、サーバ２０内の画像処理部の構成を示している。図１の右下に示す自動車１０に装着された画像処理部の構成について説明する。
カメラ１１の撮像素子（イメージセンサ）の出力であるＲＡＷ画像４１は、画像信号処理部（ＩＳＰ：Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１２において画像処理が実行される。例えば各画素にＲＧＢ画素値を設定するデモザイク処理や、ホワイトバランス調整処理等、カラー画像（例えばＲＧＢ画像）を生成するための処理が実行される。
カメラ１１の撮像素子（イメージセンサ）の出力であるＲＡＷ画像４１は、画像信号処理部（ＩＳＰ：Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１２において画像処理が実行される。例えば各画素にＲＧＢ画素値を設定するデモザイク処理や、ホワイトバランス調整処理等、カラー画像（例えばＲＧＢ画像）を生成するための処理が実行される。
【0021】
画像信号処理部（ＩＳＰ）１２において生成されたＲＧＢ画像４３は、画像解析部１３に入力される。画像解析部１３は、ＲＧＢ画像４３を用いた画像解析を実行し、例えば人や障害物等の検出処理を行う。画像解析部１３において生成されたＲＧＢ画像解析結果４４は、出力部（表示部）１４に出力される。
例えば人検出がなされた場合、人領域に検出枠を表示する等の警告表示を行う。
例えば人検出がなされた場合、人領域に検出枠を表示する等の警告表示を行う。
【0022】
一方、サーバ２０は、自動車１０から受信したＲＡＷ画像４１を画像解析部２１、学習処理部２２に入力する。画像解析部２１は、ＲＡＷ画像４１を用いた画像解析を実行し、例えば人や障害物等の検出処理を行う。画像解析部２１において生成されたＲＡＷ画像解析結果４２は、ネットワーク３０を介して自動車１０に送信され、自動車１０の出力部（表示部）１４に出力される。
【0023】
なお、サーバ２０の画像解析部２１の解析結果は、学習処理部２２に入力される。学習処理部２２は、ＲＡＷ画像４１と画像解析部２１の解析結果を入力して、人やその他のオブジェクト検出に関する学習処理を実行し、画像解析によるオブジェクト顕出の精度を高めるための学習データを生成して学習データ記憶部２３に格納する。画像解析部２１による画像解析に際しては、この学習データ記憶部２３に格納された学習データを参照した解析処理が実行される。このような学習データを利用した解析により、より高精度なオブジェクト検出や特定処理が可能となる。
【0024】
本開示の構成では、図１に示すように、自動車１０に装着されたカメラ１１の撮像素子（イメージセンサ）の出力であるＲＡＷ画像４１をサーバ２０に送信して、サーバ２０においてＲＡＷ画像の解析を実行する。ＲＡＷ画像はＲＧＢ画像に比較して、情報量が多いため、高精度な解析結果を得ることができる。
【0025】
しかし、ＲＡＷ画像はデータ量が多いため、カメラ１１から出力される全てのＲＡＷ画像を継続的にサーバ２０に送信する処理を行うと、自動車１０側の処理負荷やネットワーク帯域の負荷が過大になる。結果としてデータ送信遅延や自動車１０側の画像処理部の処理遅延等が発生する可能性がある。
【0026】
このような問題を解決するため、自動車１０の画像処理装置は、カメラ１１から出力されるＲＡＷ画像の一部のみを選択的にサーバ２０に送信する。以下、この処理を実行する画像処理装置の構成と処理の具体例について説明する。
【0027】
［２．画像処理装置の構成と処理の具体例について］
図２以下を参照して、自動車内に構成される画像処理装置の構成と処理の具体例について説明する。
以下の複数の実施例について、順次、説明する。
（実施例１）一定周期で間欠的にＲＡＷ画像送信を行う実施例
（実施例２）パラメータに基づくＲＡＷ画像送信要否判定を実行する実施例
（実施例３）画像解析結果に基づくＲＡＷ画像送信要否判定を実行する実施例
（実施例４）装置情報に基づくＲＡＷ画像送信要否判定を実行する実施例
（実施例５）サーバにおけるカラー画像解析結果に基づくＲＡＷ画像送信要否判定を実行する実施例
図２以下を参照して、自動車内に構成される画像処理装置の構成と処理の具体例について説明する。
以下の複数の実施例について、順次、説明する。
（実施例１）一定周期で間欠的にＲＡＷ画像送信を行う実施例
（実施例２）パラメータに基づくＲＡＷ画像送信要否判定を実行する実施例
（実施例３）画像解析結果に基づくＲＡＷ画像送信要否判定を実行する実施例
（実施例４）装置情報に基づくＲＡＷ画像送信要否判定を実行する実施例
（実施例５）サーバにおけるカラー画像解析結果に基づくＲＡＷ画像送信要否判定を実行する実施例
【0028】
（２－１．（実施例１）一定周期で間欠的にＲＡＷ画像送信を行う実施例）
まず、図２以下を参照して、本開示の画像処理装置の実施例１として、一定周期で間欠的にＲＡＷ画像送信を行う実施例について説明する。
図２を参照して、実施例１の画像処理装置１００の構成例について説明する。
まず、図２以下を参照して、本開示の画像処理装置の実施例１として、一定周期で間欠的にＲＡＷ画像送信を行う実施例について説明する。
図２を参照して、実施例１の画像処理装置１００の構成例について説明する。
【0029】
図２に示す画像処理装置１００は自動車１０の内部に構成される画像処理装置である。画像処理装置１００は、撮像部（カメラ）１０１、画像信号処理部（ＩＳＰ：Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１０２、画像解析部１０３、パラメータ取得部１０４、送信バッファ１０５、送信部１０６、送信タイミング制御部１０７を有する。
【0030】
撮像部（カメラ）１０１の撮像素子（イメージセンサ）からの出力であるＲＡＷ画像１１１は、画像信号処理部（ＩＳＰ）１０２に入力される。画像信号処理部（ＩＳＰ）１０２は、ＲＡＷ画像１１１に対する画像信号処理を実行する。例えば各画素にＲＧＢ画素値を設定するデモザイク処理や、ホワイトバランス調整処理等、カラー画像（例えばＲＧＢ画像）を生成するための処理を実行する。
【0031】
画像信号処理部（ＩＳＰ）１０２において生成されたＲＧＢ画像１１２は、画像解析部１０３に入力される。画像解析部１０３は、ＲＧＢ画像１１２を用いた画像解析を実行し、例えば人や障害物等の検出処理を行う。画像解析部１０３において生成されたＲＧＢ画像解析結果は、図示しない出力部（表示部）等に出力される。例えば人検出がなされた場合、人領域に検出枠を表示する等の警告表示が行われる。
【0032】
パラメータ取得部１０４は、撮像部１０１における画像撮影時の撮影パラメータ１２１と、画像信号処理部（ＩＳＰ）１０２における信号処理パラメータ１２２を取得する。
例えば、撮影パラメータには、シャッタースピード、アナログゲイン等が含まれる。また、信号処理パラメータには、デジタルゲイン、ホワイトバランス（ＡＷＢ）制御値や、ハイダイナミックレンジ（ＨＤＲ）制御値等が含まれる。
例えば、撮影パラメータには、シャッタースピード、アナログゲイン等が含まれる。また、信号処理パラメータには、デジタルゲイン、ホワイトバランス（ＡＷＢ）制御値や、ハイダイナミックレンジ（ＨＤＲ）制御値等が含まれる。
【0033】
パラメータ取得部１０４の取得した撮影＆信号処理パラメータ１２３は、撮像部（カメラ）１０１の撮像素子（イメージセンサ）からの出力であるＲＡＷ画像１１１とともに送信バッファ１０５に格納される。
【0034】
送信部１０６は、送信バッファ１０５に格納されたＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３をサーバ２０に送信する。
ただし、前述したように、ＲＡＷ画像はデータ量が多いため、撮像部（カメラ）１０１の撮像素子（イメージセンサ）から出力される全てのＲＡＷ画像を継続的にサーバ２０に送信する処理を行うと自動車１０側の処理負荷、ネットワーク帯域の負荷が過大になり、自動車１０の画像処理部１００の処理遅延やデータ転送遅延等が発生する可能性がある。
ただし、前述したように、ＲＡＷ画像はデータ量が多いため、撮像部（カメラ）１０１の撮像素子（イメージセンサ）から出力される全てのＲＡＷ画像を継続的にサーバ２０に送信する処理を行うと自動車１０側の処理負荷、ネットワーク帯域の負荷が過大になり、自動車１０の画像処理部１００の処理遅延やデータ転送遅延等が発生する可能性がある。
【0035】
本実施例では、このような問題を防止するため、送信要否判定部として機能する送信タイミング制御部１０７において、ＲＡＷ画像送信を一定の周期ごと、間欠的に実行する。例えばＮフレーム毎、あるいはＭｓｅｃ毎等、一定の周期で選択されたＲＡＷ画像のみをサーバ２０に送信する。
【0036】
サーバ２０に送信するデータは、例えば、ＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３である。撮影＆信号処理パラメータ１２３は、ＲＡＷ画像１１１の撮影時の撮影パラメータと、このＲＡＷ画像１１１に対する画像信号処理に適用された画像信号処理パラメータからなるパラメータセットである。
【0037】
なお、本実施例を含め、以下に説明する実施例では、自動車側の画像処理装置１００からサーバ２０に対して、ＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３を送信する例について説明するが、いずれの実施例においても、ＲＡＷ画像のみを送信する構成や、ＲＡＷ画像と撮影パラメータ、あるいはＲＡＷ画像と信号処理パラメータを送信する構成等、様々な設定が可能である。
【0038】
本実施例１では、送信要否判定部として機能する送信タイミング制御部１０７において、ＲＡＷ画像送信を一定の周期ごと、間欠的に実行する構成としたので、自動車側の処理負荷や転送帯域の過剰な利用を発生させることなく、データ転送遅延、処理遅延を発生させることのないスムーズな処理が可能となる。
【0039】
次に、図３に示すフローチャートを参照して本実施例１の処理シーケンスについて説明する。
なお、図３に示すフローに従った処理は、例えば、画像処理装置１００の記憶部に格納されたプログラムに従って実行することが可能であり、例えばＣＰＵ等のプログラム実行機能を持つ制御部の制御の下で実行される。以下、図３に示すフローの各ステップの処理について順次、説明する。
なお、図３に示すフローに従った処理は、例えば、画像処理装置１００の記憶部に格納されたプログラムに従って実行することが可能であり、例えばＣＰＵ等のプログラム実行機能を持つ制御部の制御の下で実行される。以下、図３に示すフローの各ステップの処理について順次、説明する。
【0040】
【0041】
（ステップＳ１０２）
ステップＳ１０２と、ステップＳ１０３～Ｓ１０５のの処理は並列に実行可能な処理である。
まず、ステップＳ１０２において、撮影パラメータを取得する。この処理は、図３に示すパラメータ取得部１０４の実行する処理である。撮影パラメータは、撮像部（カメラ）１０１における画像撮影時のパラメータであり、例えば、シャッタースピード、アナログゲイン等のパラメータである。
ステップＳ１０２と、ステップＳ１０３～Ｓ１０５のの処理は並列に実行可能な処理である。
まず、ステップＳ１０２において、撮影パラメータを取得する。この処理は、図３に示すパラメータ取得部１０４の実行する処理である。撮影パラメータは、撮像部（カメラ）１０１における画像撮影時のパラメータであり、例えば、シャッタースピード、アナログゲイン等のパラメータである。
【0042】
（ステップＳ１０３）
ステップＳ１０３は、図３に示す画像信号処理部（ＩＳＰ）１０２の実行する画像信号処理である。画像信号処理部（ＩＳＰ）１０２は、撮像部（カメラ）１０１の撮像素子（イメージセンサ）からの出力であるＲＡＷ画像を入力して、ＲＡＷ画像１１１に対する画像信号処理を実行する。例えば各画素にＲＧＢ画素値を設定するデモザイク処理や、ホワイトバランス調整処理等、カラー画像（例えばＲＧＢ画像）を生成するための処理を実行する。
ステップＳ１０３は、図３に示す画像信号処理部（ＩＳＰ）１０２の実行する画像信号処理である。画像信号処理部（ＩＳＰ）１０２は、撮像部（カメラ）１０１の撮像素子（イメージセンサ）からの出力であるＲＡＷ画像を入力して、ＲＡＷ画像１１１に対する画像信号処理を実行する。例えば各画素にＲＧＢ画素値を設定するデモザイク処理や、ホワイトバランス調整処理等、カラー画像（例えばＲＧＢ画像）を生成するための処理を実行する。
【0043】
（ステップＳ１０４）
ステップＳ１０４において、信号処理パラメータを取得する。この処理は、図３に示すパラメータ取得部１０４の実行する処理である。信号処理パラメータは、画像信号処理部１０２における画像信号処理時に適用した信号処理パラメータであり、例えば、デジタルゲイン、ホワイトバランス（ＡＷＢ）制御値や、ハイダイナミックレンジ（ＨＤＲ）制御値等のパラメータである。
ステップＳ１０４において、信号処理パラメータを取得する。この処理は、図３に示すパラメータ取得部１０４の実行する処理である。信号処理パラメータは、画像信号処理部１０２における画像信号処理時に適用した信号処理パラメータであり、例えば、デジタルゲイン、ホワイトバランス（ＡＷＢ）制御値や、ハイダイナミックレンジ（ＨＤＲ）制御値等のパラメータである。
【0044】
（ステップＳ１０５）
ステップＳ１０５は、画像解析部１０３の実行する画像解析処理である。画像解析部１０３は、画像信号処理部１０２が生成したＲＧＢ画像を用いた画像解析を実行し、例えば人や障害物等の検出処理を行う。画像解析部１０３において生成されたＲＧＢ画像解析結果は、図示しない出力部（表示部）等に出力される。例えば人検出がなされた場合、人領域に検出枠を表示する等の警告表示が行われる。
ステップＳ１０５は、画像解析部１０３の実行する画像解析処理である。画像解析部１０３は、画像信号処理部１０２が生成したＲＧＢ画像を用いた画像解析を実行し、例えば人や障害物等の検出処理を行う。画像解析部１０３において生成されたＲＧＢ画像解析結果は、図示しない出力部（表示部）等に出力される。例えば人検出がなされた場合、人領域に検出枠を表示する等の警告表示が行われる。
【0045】
（ステップＳ１０６）
ステップＳ１０６は、送信タイミング判定処理であり、図３に示す送信タイミング制御部１０７の実行する処理である。送信タイミング制御部１０７は、サーバに対する送信データ、すなわち、ＲＡＷ画像と、ＲＡＷ画像の撮影パラメータと信号処理パラメータの送信タイミングを決定する。具体的には、例えばＮフレーム毎、あるいはＭｓｅｃ毎等、一定周期の送信タイミングでサーバにＲＡＷ画像とパラメータを送信する。
ステップＳ１０６では規定の送信タイミングになったか否かを判定する。規定の送信タイミングであると判定した場合はステップＳ１０７に進み、それ以外は待機する。
ステップＳ１０６は、送信タイミング判定処理であり、図３に示す送信タイミング制御部１０７の実行する処理である。送信タイミング制御部１０７は、サーバに対する送信データ、すなわち、ＲＡＷ画像と、ＲＡＷ画像の撮影パラメータと信号処理パラメータの送信タイミングを決定する。具体的には、例えばＮフレーム毎、あるいはＭｓｅｃ毎等、一定周期の送信タイミングでサーバにＲＡＷ画像とパラメータを送信する。
ステップＳ１０６では規定の送信タイミングになったか否かを判定する。規定の送信タイミングであると判定した場合はステップＳ１０７に進み、それ以外は待機する。
【0046】
（ステップＳ１０７）
ステップＳ１０６において、規定の送信タイミングになったと判定されると、ステップＳ１０７に進む。ステップＳ１０７では、送信部１０６が、サーバ２０に対して、ＲＡＷ画像と、ＲＡＷ画像の撮影時の撮影パラメータと信号処理パラメータを送信する。
ステップＳ１０６において、規定の送信タイミングになったと判定されると、ステップＳ１０７に進む。ステップＳ１０７では、送信部１０６が、サーバ２０に対して、ＲＡＷ画像と、ＲＡＷ画像の撮影時の撮影パラメータと信号処理パラメータを送信する。
【0047】
上述したように、本実施例１では、サーバに対するＲＡＷ画像送信を一定の周期ごと、間欠的に実行する構成としたので、自動車側の処理負荷や転送帯域の過剰な利用を発生させることなく、データ転送遅延、処理遅延を発生させることのないスムーズな処理が可能となる。
【0048】
（２－２．（実施例２）パラメータに基づくＲＡＷ画像送信要否判定を実行する実施例）
次に、図４以下を参照して、本開示の画像処理装置の実施例２として、パラメータに基づくＲＡＷ画像送信要否判定を実行する実施例について説明する。
図４を参照して、実施例２の画像処理装置１００の構成例について説明する。
次に、図４以下を参照して、本開示の画像処理装置の実施例２として、パラメータに基づくＲＡＷ画像送信要否判定を実行する実施例について説明する。
図４を参照して、実施例２の画像処理装置１００の構成例について説明する。
【0049】
図４に示す画像処理装置１００は、先に（実施例１）として説明した図２に示す画像処理装置１００とほぼ同様の構成である。異なる点は、図２に示す送信タイミング制御部１０７を削除し、送信要否判定部２０１を追加した点である。
その他の構成は、同様の構成であるので説明を省略し、実施例１との相違点のみについて説明する。
その他の構成は、同様の構成であるので説明を省略し、実施例１との相違点のみについて説明する。
【0050】
送信要否判定部２０１は、パラメータ取得部１０４の取得したパラメータを入力する。すなわち、パラメータ取得部１０４の取得した撮影＆信号処理パラメータ１２３を入力する。撮影＆信号処理パラメータ１２３は、撮像部１０１における画像撮影時の撮影パラメータ１２１と、画像信号処理部（ＩＳＰ）１０２における信号処理パラメータ１２２によって構成される。
例えば、撮影パラメータには、シャッタースピード、アナログゲイン等が含まれる。また、信号処理パラメータには、デジタルゲイン、ホワイトバランス（ＡＷＢ）制御値や、ハイダイナミックレンジ（ＨＤＲ）制御値等が含まれる。
例えば、撮影パラメータには、シャッタースピード、アナログゲイン等が含まれる。また、信号処理パラメータには、デジタルゲイン、ホワイトバランス（ＡＷＢ）制御値や、ハイダイナミックレンジ（ＨＤＲ）制御値等が含まれる。
【0051】
送信要否判定部２０１は、これらのパラメータに基づいて、サーバ２０に、ＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３を送信する必要があるか否かを判定する。
サーバ２０に対するデータ送信要否判定処理に利用されるパラメータの例を図５に示す。図５に示すように、サーバ２０に対するデータ送信要否判定処理に利用されるパラメータとして、以下のパラメータがある。
（１）撮影パラメータ
（１ａ）シャッタースピード、
（１ｂ）アナログゲイン
（２）信号処理パラメータ
（２ａ）デジタルゲイン
（２ｂ）ホワイトバランス（ＡＷＢ）制御値
（２ｃ）ダイナミックレンジ（ＨＤＲ）制御値
サーバ２０に対するデータ送信要否判定処理に利用されるパラメータの例を図５に示す。図５に示すように、サーバ２０に対するデータ送信要否判定処理に利用されるパラメータとして、以下のパラメータがある。
（１）撮影パラメータ
（１ａ）シャッタースピード、
（１ｂ）アナログゲイン
（２）信号処理パラメータ
（２ａ）デジタルゲイン
（２ｂ）ホワイトバランス（ＡＷＢ）制御値
（２ｃ）ダイナミックレンジ（ＨＤＲ）制御値
【0052】
送信要否判定部２０１は、これらのパラメータに基づいて、サーバ２０に、ＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３を送信する必要があるか否かを判定する。例えば、シャッタースピードが低速である場合、夜間等の暗い環境での撮影が行われた可能性が高い。このような場合、ＲＧＢ画像の解析では高精度な解析結果が得られる可能性が低下する。この場合には、サーバ２０に対するＲＡＷ画像とパラメータを送信し、サーバ２０でＲＡＷ画像に基づく画像解析を実行させるといった設定である。
【0053】
なお、送信要否判定部２０１には、予め図５に示す各パラメータに対するしきい値をメモリに格納しており、入力パラメータとしきい値を比較してサーバに対すするデータ送信要否を判定する。
送信要否判定部２０１における判定結果、すなわちサーバ２０に対するＲＡＷ画像とパラメータ送信が必要であるか不要であるかの情報は、送信部１０６に出力される。
送信要否判定部２０１における判定結果、すなわちサーバ２０に対するＲＡＷ画像とパラメータ送信が必要であるか不要であるかの情報は、送信部１０６に出力される。
【0054】
送信部１０６は、送信要否判定部２０１から送信要との判定結果が入力された場合に限り、送信バッファ１０５に格納されたＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３を取得してサーバ２０に送信する。
【0055】
本実施例２では、送信要否判定部２０１が、ＲＡＷ画像に基づく解析を実行すべきであるか否かを撮影パラメータと信号処理パラメータに基づいて判定し、ＲＡＷ画像に基づく解析を実行すべきと判定した場合にのみ、ＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３をサーバ２０に送信する。
本実施例２でも、前述した実施例１と同様、ＲＡＷ画像の送信処理が選択的に実行されることになり、自動車側の処理負荷や転送帯域の過剰な利用を発生させることなく、データ転送遅延、処理遅延を発生させることのないスムーズな処理が可能となる。
本実施例２でも、前述した実施例１と同様、ＲＡＷ画像の送信処理が選択的に実行されることになり、自動車側の処理負荷や転送帯域の過剰な利用を発生させることなく、データ転送遅延、処理遅延を発生させることのないスムーズな処理が可能となる。
【0056】
次に、図６に示すフローチャートを参照して本実施例２の処理シーケンスについて説明する。
なお、図６に示すフローに従った処理は、例えば、画像処理装置１００の記憶部に格納されたプログラムに従って実行することが可能であり、例えばＣＰＵ等のプログラム実行機能を持つ制御部の制御の下で実行される。以下、図６に示すフローの各ステップの処理について順次、説明する。
なお、図６に示すフローに従った処理は、例えば、画像処理装置１００の記憶部に格納されたプログラムに従って実行することが可能であり、例えばＣＰＵ等のプログラム実行機能を持つ制御部の制御の下で実行される。以下、図６に示すフローの各ステップの処理について順次、説明する。
【0057】
（ステップＳ２０１～Ｓ２０５）
ステップＳ２０１～Ｓ２０５の処理は、先の実施例１において説明した図３に示すフローのステップＳ１０１～Ｓ１０５の処理と同様の処理であるので簡潔に説明する。
ステップＳ２０１～Ｓ２０５の処理は、先の実施例１において説明した図３に示すフローのステップＳ１０１～Ｓ１０５の処理と同様の処理であるので簡潔に説明する。
【0058】
まず、ステップＳ２０１においてＲＡＷ画像を取得する。
図４に示す撮像部（カメラ）１０１の撮像素子（イメージセンサ）からの出力であるＲＡＷ画像を取得する。
次に、ステップＳ２０２において、パラメータ取得部１０４が撮像部（カメラ）１０１における画像撮影時のパラメータ、例えば、シャッタースピード、アナログゲイン等のパラメータを取得する。
さらにステップＳ２０３において、画像信号処理部（ＩＳＰ）１０２がＲＡＷ画像に対する画像信号処理を行う。例えばデモザイク処理や、ホワイトバランス調整処理等、カラー画像（例えばＲＧＢ画像）を生成する処理を実行する。
図４に示す撮像部（カメラ）１０１の撮像素子（イメージセンサ）からの出力であるＲＡＷ画像を取得する。
次に、ステップＳ２０２において、パラメータ取得部１０４が撮像部（カメラ）１０１における画像撮影時のパラメータ、例えば、シャッタースピード、アナログゲイン等のパラメータを取得する。
さらにステップＳ２０３において、画像信号処理部（ＩＳＰ）１０２がＲＡＷ画像に対する画像信号処理を行う。例えばデモザイク処理や、ホワイトバランス調整処理等、カラー画像（例えばＲＧＢ画像）を生成する処理を実行する。
【0059】
ステップＳ２０４において、パラメータ取得部１０４が、画像信号処理部１０２における画像信号処理に適用した信号処理パラメータ、例えば、デジタルゲイン、ホワイトバランス（ＡＷＢ）制御値や、ハイダイナミックレンジ（ＨＤＲ）制御値等のパラメータを取得する。
ステップＳ２０５は、画像解析部１０３におけるＲＧＢ画像を用いた画像解析処理である。例えば人や障害物等の検出処理を行う。画像解析部１０３において生成されたＲＧＢ画像解析結果は、図示しない出力部（表示部）等に出力される。例えば人検出がなされた場合、人領域に検出枠を表示する等の警告表示が行われる。
ステップＳ２０５は、画像解析部１０３におけるＲＧＢ画像を用いた画像解析処理である。例えば人や障害物等の検出処理を行う。画像解析部１０３において生成されたＲＧＢ画像解析結果は、図示しない出力部（表示部）等に出力される。例えば人検出がなされた場合、人領域に検出枠を表示する等の警告表示が行われる。
【0060】
（ステップＳ２０６～Ｓ２０７）
ステップＳ２０６～Ｓ２０７は、図４に示す送信要否判定部２０１の実行する撮影＆信号処理パラメータ１２３に基づくＲＡＷ画像のサーバへの送信要否を判定するステップである。
ステップＳ２０６～Ｓ２０７は、図４に示す送信要否判定部２０１の実行する撮影＆信号処理パラメータ１２３に基づくＲＡＷ画像のサーバへの送信要否を判定するステップである。
【0061】
送信要否判定部２０１は、パラメータ取得部１０４の取得した撮影＆信号処理パラメータ１２３を入力する。撮影＆信号処理パラメータ１２３は、撮像部１０１における画像撮影時の撮影パラメータ１２１と、画像信号処理部（ＩＳＰ）１０２における信号処理パラメータ１２２によって構成される。図５を参照して説明したように、
（１）撮影パラメータ
（１ａ）シャッタースピード、
（１ｂ）アナログゲイン
（２）信号処理パラメータ
（２ａ）デジタルゲイン
（２ｂ）ホワイトバランス（ＡＷＢ）制御値
（２ｃ）ダイナミックレンジ（ＨＤＲ）制御値
これらのパラメータである。
（１）撮影パラメータ
（１ａ）シャッタースピード、
（１ｂ）アナログゲイン
（２）信号処理パラメータ
（２ａ）デジタルゲイン
（２ｂ）ホワイトバランス（ＡＷＢ）制御値
（２ｃ）ダイナミックレンジ（ＨＤＲ）制御値
これらのパラメータである。
【0062】
送信要否判定部２０１は、これらのパラメータに基づいて、サーバ２０に、ＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３を送信する必要があるか否かを判定する。例えば、入力パラメータとしきい値を比較してサーバに対すするデータ送信要否を判定する。前述したように、シャッタースピードが低速である場合、夜間等暗い環境での撮影が行われた可能性が高い。このような場合、ＲＧＢ画像の解析では高精度な解析結果が得られる可能性が低下する。この場合には、サーバ２０に対するＲＡＷ画像とパラメータを送信し、サーバ２０でＲＡＷ画像に基づく画像解析を実行させるといった設定である。
【0063】
（ステップＳ２０８）
ステップＳ２０７において、送信要否判定部２０１が送信要と判定した場合、ステップＳ２０８に進む。ステップＳ２０８では、送信部１０６が、送信バッファ１０５に格納されたＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３を取得してサーバ２０に送信する。
ステップＳ２０７において、送信要否判定部２０１が送信要と判定した場合、ステップＳ２０８に進む。ステップＳ２０８では、送信部１０６が、送信バッファ１０５に格納されたＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３を取得してサーバ２０に送信する。
【0064】
本実施例２も、前述した実施例１と同様、ＲＡＷ画像の送信処理が選択的に実行されることになり、自動車側の処理負荷や転送帯域の過剰な利用を発生させることなく、データ転送遅延、処理遅延を発生させることのないスムーズな処理が可能となる。
【0065】
（２－３．（実施例３）画像解析結果に基づくＲＡＷ画像送信要否判定を実行する実施例）
次に、図７以下を参照して、本開示の画像処理装置の実施例３として、画像解析結果に基づくＲＡＷ画像送信要否判定を実行する実施例について説明する。
図７を参照して、実施例３の画像処理装置１００の構成例について説明する。
次に、図７以下を参照して、本開示の画像処理装置の実施例３として、画像解析結果に基づくＲＡＷ画像送信要否判定を実行する実施例について説明する。
図７を参照して、実施例３の画像処理装置１００の構成例について説明する。
【0066】
図７に示す画像処理装置１００は、先に（実施例１）として説明した図２に示す画像処理装置１００とほぼ同様の構成である。異なる点は、図２に示す送信タイミング制御部１０７を削除し、送信要否判定部２０２を追加した点である。
その他の構成は、同様の構成であるので説明を省略し、実施例１との相違点のみについて説明する。
その他の構成は、同様の構成であるので説明を省略し、実施例１との相違点のみについて説明する。
【0067】
送信要否判定部２０２は、画像解析部１０３の生成した画像解析結果１２４を入力する。送信要否判定部２０２は、画像解析部１０３の生成した画像解析結果１２４に基づいて、サーバ２０に、ＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３を送信する必要があるか否かを判定する。
【0068】
画像解析部１０３の生成する画像解析結果１２４の構成データの一例について図８を参照して説明する。
画像解析部１０３の生成する画像解析結果１２４には、例えば以下のデータがある。
（１）認識結果確信度
（２）認識クラス
画像解析部１０３の生成する画像解析結果１２４には、例えば以下のデータがある。
（１）認識結果確信度
（２）認識クラス
【0069】
（１）認識結果確信度とは、画像から識別されたオブジェクトの種類に関する確信度である。例えば識別オブジェクトが人であるか否かを示す確信度である。
認識結果確信度について、図８の下部に示す（具体例１）を参照して説明する。
解析対象とする画像からあるオブジェクトが検出された場合、そのオブジェクトに対して、例えばパターンマッチング等を実行して、オブジェクトの種類を推定する。
認識結果確信度について、図８の下部に示す（具体例１）を参照して説明する。
解析対象とする画像からあるオブジェクトが検出された場合、そのオブジェクトに対して、例えばパターンマッチング等を実行して、オブジェクトの種類を推定する。
【0070】
（具体例１）に示す例では、画像から２つのオブジェクトが検出された例である。左側のオブジェクトは、予めメモリに保持している人パターンとのマッチング率が高く、画像解析結果として認識スコア＝０．９９が得られている。この場合、オブジェクト種類＝人である確信度が高いと判定される。
一方、右側のオブジェクトは、人パターンとのマッチング率があまり高くなく、画像解析結果として認識スコア＝０．５９が得られている。この場合、オブジェクト種類＝人である確信度が低いと判定される。
一方、右側のオブジェクトは、人パターンとのマッチング率があまり高くなく、画像解析結果として認識スコア＝０．５９が得られている。この場合、オブジェクト種類＝人である確信度が低いと判定される。
【0071】
送信要否判定部２０２は、例えば、予め規定したしきい値と、画像解析結果として取得した認識スコアとの比較を行い、しきい値以下の認識スコアが得られた場合、ＲＡＷ画像に基づく高精度な解析をサーバ２０で実行させるため、サーバ２０に対するＲＡＷ画像の送信が必要と判定する。
【0072】
また（２）認識クラスとは、画像から識別されたオブジェクトの種類を規定するクラスであり、例えばオブジェクトが人である、あるいは犬である、あるいは自動車であるといったオブジェクト種類に対応する。
認識クラスが決定困難な場合や、珍しいクラスである場合には、ＲＡＷ画像に基づく高精度な解析をサーバ２０で実行させるため、サーバ２０に対するＲＡＷ画像の送信が必要と判定する。
認識クラスが決定困難な場合や、珍しいクラスである場合には、ＲＡＷ画像に基づく高精度な解析をサーバ２０で実行させるため、サーバ２０に対するＲＡＷ画像の送信が必要と判定する。
【0073】
図８下部の（具体例２）
には、検出オブジェクトとして、犬（Ｄｏｇ）が検出されている。各進度に相当する認識スコアは、０．８５であり高いが、道路上に検出される可能性が低い、すなわち珍しいクラス＝犬であるため、送信要否判定部２０２は、ＲＡＷ画像に基づく高精度な解析をサーバ２０で実行させるため、サーバ２０に対するＲＡＷ画像の送信が必要と判定する。
には、検出オブジェクトとして、犬（Ｄｏｇ）が検出されている。各進度に相当する認識スコアは、０．８５であり高いが、道路上に検出される可能性が低い、すなわち珍しいクラス＝犬であるため、送信要否判定部２０２は、ＲＡＷ画像に基づく高精度な解析をサーバ２０で実行させるため、サーバ２０に対するＲＡＷ画像の送信が必要と判定する。
【0074】
送信要否判定部２０２は、このように、画像解析部１０３の画像解析結果を入力して画像解析結果に基づいて、サーバ２０に対するＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３の送信要否を判定する。
【0075】
このように本実施例３では、送信要否判定部２０２は、画像解析部１０３の画像解析結果に基づく、サーバ２０に対するＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３の送信要否を判定する。この判定に用いる画像解析結果としては、図８に示すデータ以外に、例えば、セマンティック・セグメンテーションによる解析結果や、距離画像を用いた解析結果、人体認識装置を用いた認識結果等がある。
【0076】
セマンティック・セグメンテーションは、様々な実際のオブジェクトの形状やその他の特徴情報に基づくオブジェクト識別用の辞書データ（学習済みデータ）と、画像内のオブジェクトとの一致度に基づいて、画像の構成画素（ピクセル）各々が、どのようなカテゴリに属するのかを識別する技術である。
【0077】
例えば、
（Ｓ１）セマンティック・セグメンテーションと距離画像を用いて、路面を抽出、
（Ｓ２）現在位置対応の路面位置情報を地図情報から取得、
（Ｓ３）（Ｓ１）と（Ｓ２）で取得した路面位置が規定しきい値以上、乖離している場合、ＲＡＷ画像をサーバに送信してＲＡＷ画像に基づく高精度な解析を行わせる。
（Ｓ１）セマンティック・セグメンテーションと距離画像を用いて、路面を抽出、
（Ｓ２）現在位置対応の路面位置情報を地図情報から取得、
（Ｓ３）（Ｓ１）と（Ｓ２）で取得した路面位置が規定しきい値以上、乖離している場合、ＲＡＷ画像をサーバに送信してＲＡＷ画像に基づく高精度な解析を行わせる。
【0078】
また、人体認識装置を用いた認識結果から、衝突予測を行い、衝突リスクが高くなった場合にＲＡＷ画像をサーバに送信してＲＡＷ画像に基づく高精度な解析を行わせる。
【0079】
さらに、送信要否判定部２０２により利用可能な画像解析結果として、例えば、オブジェクト検出位置を示す座標データ、オブジェクトの特徴量、さらに、オブジェクト検出に適用した学習データとの差分に相当する距離データ等もある。
例えば、画像解析処理によって検出したオブジェクトと、学習データとの差異が大きい場合には、ＲＡＷ画像をサーバに送信してＲＡＷ画像に基づく高精度な解析を行わせる。
また、人オブジェクトが検出され、その検出された人物が予めデータベースに登録された人物と異なる場合にもＲＡＷ画像をサーバに送信して解析を実行させするといった設定も可能である。
例えば、画像解析処理によって検出したオブジェクトと、学習データとの差異が大きい場合には、ＲＡＷ画像をサーバに送信してＲＡＷ画像に基づく高精度な解析を行わせる。
また、人オブジェクトが検出され、その検出された人物が予めデータベースに登録された人物と異なる場合にもＲＡＷ画像をサーバに送信して解析を実行させするといった設定も可能である。
【0080】
なお、送信要否判定部２０２には、画像解析部１０３の出力する画像解析結果の各データに対応するしきい値をメモリに格納しており、入力結果データとしきい値を比較してサーバに対すするデータ送信要否を判定する。
送信要否判定部２０２における判定結果、すなわちサーバ２０に対するＲＡＷ画像とパラメータ送信が必要であるか不要であるかの情報は、送信部１０６に出力される。
送信要否判定部２０２における判定結果、すなわちサーバ２０に対するＲＡＷ画像とパラメータ送信が必要であるか不要であるかの情報は、送信部１０６に出力される。
【0081】
送信部１０６は、送信要否判定部２０２から送信要との判定結果が入力された場合に限り、送信バッファ１０５に格納されたＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３を取得してサーバ２０に送信する。
【0082】
本実施例３では、送信要否判定部２０２が、ＲＡＷ画像に基づく解析を実行すべきであるか否かを、画像解析部１０３の生成した画像解析結果に基づいて判定し、ＲＡＷ画像に基づく解析を実行すべきと判定した場合にのみ、ＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３をサーバ２０に送信する。
本実施例３でも、前述した実施例１，２と同様、ＲＡＷ画像の送信処理が選択的に実行されることになり、自動車側の処理負荷や転送帯域の過剰な利用を発生させることなく、データ転送遅延、処理遅延を発生させることのないスムーズな処理が可能となる。
本実施例３でも、前述した実施例１，２と同様、ＲＡＷ画像の送信処理が選択的に実行されることになり、自動車側の処理負荷や転送帯域の過剰な利用を発生させることなく、データ転送遅延、処理遅延を発生させることのないスムーズな処理が可能となる。
【0083】
次に、図９に示すフローチャートを参照して本実施例３の処理シーケンスについて説明する。
なお、図９に示すフローに従った処理は、例えば、画像処理装置１００の記憶部に格納されたプログラムに従って実行することが可能であり、例えばＣＰＵ等のプログラム実行機能を持つ制御部の制御の下で実行される。以下、図９に示すフローの各ステップの処理について順次、説明する。
なお、図９に示すフローに従った処理は、例えば、画像処理装置１００の記憶部に格納されたプログラムに従って実行することが可能であり、例えばＣＰＵ等のプログラム実行機能を持つ制御部の制御の下で実行される。以下、図９に示すフローの各ステップの処理について順次、説明する。
【0084】
（ステップＳ３０１～Ｓ３０５）
ステップＳ３０１～Ｓ３０５の処理は、先の実施例１において説明した図３に示すフローのステップＳ１０１～Ｓ１０５の処理と同様の処理であるので簡潔に説明する。
ステップＳ３０１～Ｓ３０５の処理は、先の実施例１において説明した図３に示すフローのステップＳ１０１～Ｓ１０５の処理と同様の処理であるので簡潔に説明する。
【0085】
まず、ステップＳ３０１においてＲＡＷ画像を取得する。
図７に示す撮像部（カメラ）１０１の撮像素子（イメージセンサ）からの出力であるＲＡＷ画像を取得する。
次に、ステップＳ３０２において、パラメータ取得部１０４が撮像部（カメラ）１０１における画像撮影時のパラメータ、例えば、シャッタースピード、アナログゲイン等のパラメータを取得する。
さらにステップＳ３０３において、画像信号処理部（ＩＳＰ）１０２がＲＡＷ画像に対する画像信号処理を行う。例えばデモザイク処理や、ホワイトバランス調整処理等、カラー画像（例えばＲＧＢ画像）を生成する処理を実行する。
図７に示す撮像部（カメラ）１０１の撮像素子（イメージセンサ）からの出力であるＲＡＷ画像を取得する。
次に、ステップＳ３０２において、パラメータ取得部１０４が撮像部（カメラ）１０１における画像撮影時のパラメータ、例えば、シャッタースピード、アナログゲイン等のパラメータを取得する。
さらにステップＳ３０３において、画像信号処理部（ＩＳＰ）１０２がＲＡＷ画像に対する画像信号処理を行う。例えばデモザイク処理や、ホワイトバランス調整処理等、カラー画像（例えばＲＧＢ画像）を生成する処理を実行する。
【0086】
ステップＳ３０４において、パラメータ取得部１０４が、画像信号処理部１０２における画像信号処理に適用した信号処理パラメータ、例えば、デジタルゲイン、ホワイトバランス（ＡＷＢ）制御値や、ハイダイナミックレンジ（ＨＤＲ）制御値等のパラメータを取得する。
ステップＳ３０５は、画像解析部１０３におけるＲＧＢ画像を用いた画像解析処理である。例えば人や障害物等の検出処理を行う。画像解析部１０３において生成されたＲＧＢ画像解析結果は、図示しない出力部（表示部）等に出力される。例えば人検出がなされた場合、人領域に検出枠を表示する等の警告表示が行われる。
ステップＳ３０５は、画像解析部１０３におけるＲＧＢ画像を用いた画像解析処理である。例えば人や障害物等の検出処理を行う。画像解析部１０３において生成されたＲＧＢ画像解析結果は、図示しない出力部（表示部）等に出力される。例えば人検出がなされた場合、人領域に検出枠を表示する等の警告表示が行われる。
【0087】
（ステップＳ３０６～Ｓ３０７）
ステップＳ３０６～Ｓ３０７は、図７に示す送信要否判定部２０２の実行する画像解析部１０３の生成した画像解析結果１２４に基づくＲＡＷ画像のサーバへの送信要否を判定するステップである。
ステップＳ３０６～Ｓ３０７は、図７に示す送信要否判定部２０２の実行する画像解析部１０３の生成した画像解析結果１２４に基づくＲＡＷ画像のサーバへの送信要否を判定するステップである。
【0088】
送信要否判定部２０２は、画像解析部１０３の生成した画像解析結果１２４を入力する。画像解析結果１２４には、例えば先に図８を参照して説明したように、
（１）認識結果確信度
（２）認識クラス
例えばこれらの解析結果データが含まれる。
（１）認識結果確信度
（２）認識クラス
例えばこれらの解析結果データが含まれる。
【0089】
送信要否判定部２０２は、画像解析部１０３の生成した画像解析結果１２４に基づいて、サーバ２０に、ＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３を送信する必要があるか否かを判定する。先に図８を参照して説明したように、例えば、認識結果確信度がしきい値より低い場合、あるいは認識クラスが決定困難な場合、あるいは珍しいクラスである場合には、サーバ２０に対するＲＡＷ画像とパラメータを送信し、サーバ２０でＲＡＷ画像に基づく画像解析を実行させる。
【0090】
（ステップＳ３０８）
ステップＳ３０７において、送信要否判定部２０２が送信要と判定した場合、ステップＳ３０８に進む。ステップＳ３０８では、送信部１０６が、送信バッファ１０５に格納されたＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３を取得してサーバ２０に送信する。
ステップＳ３０７において、送信要否判定部２０２が送信要と判定した場合、ステップＳ３０８に進む。ステップＳ３０８では、送信部１０６が、送信バッファ１０５に格納されたＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３を取得してサーバ２０に送信する。
【0091】
本実施例３も、前述した実施例１，２と同様、ＲＡＷ画像の送信処理が選択的に実行されることになり、自動車側の処理負荷や転送帯域の過剰な利用を発生させることなく、データ転送遅延、処理遅延を発生させることのないスムーズな処理が可能となる。
【0092】
なお、本実施例３の変形例として、例えば図１０に示すような構成も可能である。
図１０に示す画像処理装置１００は、パラメータ取得部１０４が、画像信号処理部１０２から、信号処理パラメータ１２２のみを取得する構成である。すなわち撮像部１０１からの撮影パラメータの取得を省略している。
図１０に示す画像処理装置１００は、パラメータ取得部１０４が、画像信号処理部１０２から、信号処理パラメータ１２２のみを取得する構成である。すなわち撮像部１０１からの撮影パラメータの取得を省略している。
【0093】
この図１０に示す構成では、パラメータ取得部１０４の取得した信号処理パラメータ１２２のみがＲＡＷ画像１１１とともにサーバ２０に送信される。
【0094】
なお、この逆の構成として、パラメータ取得部１０４が、撮像部１０１から撮影パラメータのみを取得して、撮影パラメータのみをＲＡＷ画像１１１とともにサーバ２０に送信する構成も可能である。
【0095】
（２－４．（実施例４）装置情報に基づくＲＡＷ画像送信要否判定を実行する実施例）
次に、図１１以下を参照して、本開示の画像処理装置の実施例４として、装置情報に基づくＲＡＷ画像送信要否判定を実行する実施例について説明する。
図１１を参照して、実施例４の画像処理装置１００の構成例について説明する。
次に、図１１以下を参照して、本開示の画像処理装置の実施例４として、装置情報に基づくＲＡＷ画像送信要否判定を実行する実施例について説明する。
図１１を参照して、実施例４の画像処理装置１００の構成例について説明する。
【0096】
図１１に示す画像処理装置１００は、先に（実施例１）として説明した図２に示す画像処理装置１００とほぼ同様の構成である。異なる点は、図２に示す送信タイミング制御部１０７を削除し、装置情報取得部２０３と、送信要否判定部２０４を追加した点である。
その他の構成は、同様の構成であるので説明を省略し、実施例１との相違点のみについて説明する。
その他の構成は、同様の構成であるので説明を省略し、実施例１との相違点のみについて説明する。
【0097】
装置情報取得部２０３は、ＲＡＷ画像の送信要否判定に適用するための画像処理装置１００の様々な装置情報１２５を取得して送信要否判定部２０４に出力する。送信要否判定部２０４は、装置情報取得部２０３の取得した装置情報１２５に基づいて、サーバ２０に、ＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３を送信する必要があるか否かを判定する。
【0098】
装置情報取得部２０３が取得する装置情報１２５の例について、図１２を参照して説明する。
図１２に示すように、装置情報取得部２０３が取得する装置情報１２５には、例えば以下の情報がある。
（１）バスに流れる情報
（２）撮像素子の欠陥画素数
（３）信号処理部等の異常検出情報
図１２に示すように、装置情報取得部２０３が取得する装置情報１２５には、例えば以下の情報がある。
（１）バスに流れる情報
（２）撮像素子の欠陥画素数
（３）信号処理部等の異常検出情報
【0099】
（１）バスに流れる情報とは画像処理装置１００内のバスを流れる情報である。バスは、通常のデータ処理に利用されるデータの他、例えば、バスに接続された各構成要素の出力する故障情報等のエラーメッセージ等も流れる。
エラーメッセージは例えば画像処理装置１００の制御を実行する制御部に入力され、制御部の制御下でエラー修復処理や一時的なデータ処理中止等、エラーによる影響を低減させるための対応が行われることになる。
エラーメッセージは例えば画像処理装置１００の制御を実行する制御部に入力され、制御部の制御下でエラー修復処理や一時的なデータ処理中止等、エラーによる影響を低減させるための対応が行われることになる。
【0100】
例えば、装置情報取得部２０３が取得したバスに流れる情報中に、故障情報等のエラーメッセージが含まれる場合、送信要否判定部２０４は、画像処理装置１００内部での画像解析が正しく実行されない可能性があると判断し、ＲＡＷ画像に基づく高精度な解析をサーバ２０で実行させるため、サーバ２０に対するＲＡＷ画像の送信が必要であると判定する。
【0101】
（２）撮像素子の欠陥画素数とは、画像処理装置１００の撮像部（カメラ）１０１の撮像素子（イメージセンサ）の欠陥画素数である。この欠陥画素数は、画像処理装置１００のメモリに記録され、更新される。装置情報取得部２０３は、この情報を取得して送信要否判定部２０４に出力する。送信要否判定部２０４は、予め規定されたしきい値と欠陥画素数を比較し、欠陥画素数がしきい値以上になった場合、画像処理装置１００内部での画像解析が正しく実行されない可能性があると判断し、ＲＡＷ画像に基づく高精度な解析をサーバ２０で実行させるため、サーバ２０に対するＲＡＷ画像の送信が必要であると判定する。
【0102】
（３）信号処理部等の異常検出情報とは、例えば、画像信号処理部１０２等の各データ処理部において行われるチェック処理、具体的にはテストデータに基づくチェック処理であるビルトインテスト（Ｂｕｉｌｔ ｉｎ Ｔｅｓｔ）等のチェック結果情報である。このチェック結果は、各データ処理部において実行され、その結果情報が画像処理装置１００内のメモリに記録される。装置情報取得部２０３は、この情報を取得して送信要否判定部２０４に出力する。送信要否判定部２０４は、このチェック結果情報に異常検出情報が含まれる場合、画像処理装置１００内部での画像解析が正しく実行されない可能性があると判断し、ＲＡＷ画像に基づく高精度な解析をサーバ２０で実行させるため、サーバ２０に対するＲＡＷ画像の送信が必要であると判定する。
【0103】
送信要否判定部２０４における判定結果、すなわちサーバ２０に対するＲＡＷ画像とパラメータ送信が必要であるか不要であるかの情報は、送信部１０６に出力される。
送信部１０６は、送信要否判定部２０２から送信要との判定結果が入力された場合に限り、送信バッファ１０５に格納されたＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３を取得してサーバ２０に送信する。
送信部１０６は、送信要否判定部２０２から送信要との判定結果が入力された場合に限り、送信バッファ１０５に格納されたＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３を取得してサーバ２０に送信する。
【0104】
本実施例４では、送信要否判定部２０４が、サーバ２０におけるＲＡＷ画像に基づく解析を実行すべきであるか否かを、装置情報取得部２０３の取得した装置情報１２５に基づいて判定し、ＲＡＷ画像に基づく解析を実行すべきと判定した場合にのみ、ＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３をサーバ２０に送信する。
本実施例４でも、前述した実施例１，２と同様、ＲＡＷ画像の送信処理が選択的に実行されることになり、自動車側の処理負荷や転送帯域の過剰な利用を発生させることなく、データ転送遅延、処理遅延を発生させることのないスムーズな処理が可能となる。
本実施例４でも、前述した実施例１，２と同様、ＲＡＷ画像の送信処理が選択的に実行されることになり、自動車側の処理負荷や転送帯域の過剰な利用を発生させることなく、データ転送遅延、処理遅延を発生させることのないスムーズな処理が可能となる。
【0105】
次に、図１３に示すフローチャートを参照して本実施例４の処理シーケンスについて説明する。
なお、図１３に示すフローに従った処理は、例えば、画像処理装置１００の記憶部に格納されたプログラムに従って実行することが可能であり、例えばＣＰＵ等のプログラム実行機能を持つ制御部の制御の下で実行される。以下、図１３に示すフローの各ステップの処理について順次、説明する。
なお、図１３に示すフローに従った処理は、例えば、画像処理装置１００の記憶部に格納されたプログラムに従って実行することが可能であり、例えばＣＰＵ等のプログラム実行機能を持つ制御部の制御の下で実行される。以下、図１３に示すフローの各ステップの処理について順次、説明する。
【0106】
（ステップＳ４０１～Ｓ４０５）
ステップＳ４０１～Ｓ４０５の処理は、先の実施例１において説明した図３に示すフローのステップＳ１０１～Ｓ１０５の処理と同様の処理であるので簡潔に説明する。
ステップＳ４０１～Ｓ４０５の処理は、先の実施例１において説明した図３に示すフローのステップＳ１０１～Ｓ１０５の処理と同様の処理であるので簡潔に説明する。
【0107】
まず、ステップＳ４０１においてＲＡＷ画像を取得する。
図１１に示す撮像部（カメラ）１０１の撮像素子（イメージセンサ）からの出力であるＲＡＷ画像を取得する。
次に、ステップＳ４０２において、パラメータ取得部１０４が撮像部（カメラ）１０１における画像撮影時のパラメータ、例えば、シャッタースピード、アナログゲイン等のパラメータを取得する。
さらにステップＳ４０３において、画像信号処理部（ＩＳＰ）１０２がＲＡＷ画像に対する画像信号処理を行う。例えばデモザイク処理や、ホワイトバランス調整処理等、カラー画像（例えばＲＧＢ画像）を生成する処理を実行する。
図１１に示す撮像部（カメラ）１０１の撮像素子（イメージセンサ）からの出力であるＲＡＷ画像を取得する。
次に、ステップＳ４０２において、パラメータ取得部１０４が撮像部（カメラ）１０１における画像撮影時のパラメータ、例えば、シャッタースピード、アナログゲイン等のパラメータを取得する。
さらにステップＳ４０３において、画像信号処理部（ＩＳＰ）１０２がＲＡＷ画像に対する画像信号処理を行う。例えばデモザイク処理や、ホワイトバランス調整処理等、カラー画像（例えばＲＧＢ画像）を生成する処理を実行する。
【0108】
ステップＳ４０４において、パラメータ取得部１０４が、画像信号処理部１０２における画像信号処理に適用した信号処理パラメータ、例えば、デジタルゲイン、ホワイトバランス（ＡＷＢ）制御値や、ハイダイナミックレンジ（ＨＤＲ）制御値等のパラメータを取得する。
ステップＳ４０５は、画像解析部１０３におけるＲＧＢ画像を用いた画像解析処理である。例えば人や障害物等の検出処理を行う。画像解析部１０３において生成されたＲＧＢ画像解析結果は、図示しない出力部（表示部）等に出力される。例えば人検出がなされた場合、人領域に検出枠を表示する等の警告表示が行われる。
ステップＳ４０５は、画像解析部１０３におけるＲＧＢ画像を用いた画像解析処理である。例えば人や障害物等の検出処理を行う。画像解析部１０３において生成されたＲＧＢ画像解析結果は、図示しない出力部（表示部）等に出力される。例えば人検出がなされた場合、人領域に検出枠を表示する等の警告表示が行われる。
【0109】
（ステップＳ４０６～Ｓ４０７）
ステップＳ４０６～Ｓ４０７は、図１１に示す装置情報取得部２０３と、送信要否判定部２０４の実行する処理であり、装置情報取得部２０３の取得した装置情報１２５に基づくＲＡＷ画像のサーバへの送信要否を判定するステップである。
ステップＳ４０６～Ｓ４０７は、図１１に示す装置情報取得部２０３と、送信要否判定部２０４の実行する処理であり、装置情報取得部２０３の取得した装置情報１２５に基づくＲＡＷ画像のサーバへの送信要否を判定するステップである。
【0110】
図１１に示す装置情報取得部２０３は、例えば先に図１２を参照して説明したように、
（１）バスに流れる情報
（２）撮像素子の欠陥画素数
（３）信号処理部等の異常検出情報
例えばこれらの装置情報を取得して送信要否判定部２０４に出力する。
（１）バスに流れる情報
（２）撮像素子の欠陥画素数
（３）信号処理部等の異常検出情報
例えばこれらの装置情報を取得して送信要否判定部２０４に出力する。
【0111】
送信要否判定部２０４は、これらの装置情報に基づいて、サーバ２０に、ＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３を送信する必要があるか否かを判定する。先に図１２を参照して説明したように、例えば、バスに流れる情報にエラー情報が含まれる場合、撮像素子の欠陥画素数がしきい値以上の場合、信号処理部等からの異常検出情報が検出された場合には、サーバ２０に対するＲＡＷ画像とパラメータを送信し、サーバ２０でＲＡＷ画像に基づく画像解析を実行させる。
【0112】
（ステップＳ４０８）
ステップＳ４０７において、送信要否判定部２０４が送信要と判定した場合、ステップＳ４０８に進む。ステップＳ４０８では、送信部１０６が、送信バッファ１０５に格納されたＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３を取得してサーバ２０に送信する。
ステップＳ４０７において、送信要否判定部２０４が送信要と判定した場合、ステップＳ４０８に進む。ステップＳ４０８では、送信部１０６が、送信バッファ１０５に格納されたＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３を取得してサーバ２０に送信する。
【0113】
本実施例４も、前述した実施例１～３と同様、ＲＡＷ画像の送信処理が選択的に実行されることになり、自動車側の処理負荷や転送帯域の過剰な利用を発生させることなく、データ転送遅延、処理遅延を発生させることのないスムーズな処理が可能となる。
【0114】
（２－５．（実施例５）サーバにおけるカラー画像解析結果に基づくＲＡＷ画像送信要否判定を実行する実施例）
次に、図１４以下を参照して、本開示の画像処理装置の実施例５として、サーバにおけるＲＧＢ画像等のカラー画像の解析結果に基づくＲＡＷ画像送信要否判定を実行する実施例について説明する。
図１４、図１５を参照して、実施例５の画像処理装置１００の構成例について説明する。
次に、図１４以下を参照して、本開示の画像処理装置の実施例５として、サーバにおけるＲＧＢ画像等のカラー画像の解析結果に基づくＲＡＷ画像送信要否判定を実行する実施例について説明する。
図１４、図１５を参照して、実施例５の画像処理装置１００の構成例について説明する。
【0115】
図１４と図１５は、本実施例５の画像処理装置１００の２つのフェーズの処理を説明する図である。構成自体は図１４、図１５とも同じである。
図１４は、画像処理装置１００がサーバ２０にＲＧＢ画像１１２を送信するフェーズを説明する図である。
図１５は、その後に、画像処理装置１００がサーバ２０にＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３を送信するフェーズを説明する図である。
図１４は、画像処理装置１００がサーバ２０にＲＧＢ画像１１２を送信するフェーズを説明する図である。
図１５は、その後に、画像処理装置１００がサーバ２０にＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３を送信するフェーズを説明する図である。
【0116】
図１４、図１５に示す画像処理装置１００は、先に（実施例１）として説明した図２に示す画像処理装置１００とほぼ同様の構成である。異なる点は、図２に示す送信タイミング制御部１０７を削除し、送信要否判定部として機能する送信要否判定情報受信部２０５を追加した点である。
その他の構成は、同様の構成であるので説明を省略し、実施例１との相違点のみについて説明する。
その他の構成は、同様の構成であるので説明を省略し、実施例１との相違点のみについて説明する。
【0117】
送信要否判定情報受信部２０５は、サーバ２０からＲＡＷ画像の送信要否判定情報１２６を受信する。
すなわち、本実施例５は、サーバ２０がＲＡＷ画像の送信要否判定処理を実行する。図１４に示すように、画像処理装置１００は、まず、画像信号処理部（ＩＳＰ）１０２の生成したＲＧＢ画像１１２を、送信部１０６を介してサーバ２０に送信する。
サーバ２０は、画像処理装置１００から受信したＲＧＢ画像１１２の画像解析処理を実行する。
すなわち、本実施例５は、サーバ２０がＲＡＷ画像の送信要否判定処理を実行する。図１４に示すように、画像処理装置１００は、まず、画像信号処理部（ＩＳＰ）１０２の生成したＲＧＢ画像１１２を、送信部１０６を介してサーバ２０に送信する。
サーバ２０は、画像処理装置１００から受信したＲＧＢ画像１１２の画像解析処理を実行する。
【0118】
図１４に示すサーバ２０内のＲＧＢ画像解析部２８１が、画像処理装置１００から受信したＲＧＢ画像１１２の画像解析処理を実行する。解析結果は、ＲＡＷ画像送信要否判定部２８２に入力され、ＲＧＢ画像解析結果に基づいてＲＡＷ画像の送信要否が判定される。例えばＲＧＢ画像解析結果に不明瞭な部分がなく十分な解析結果が得られた場合は、ＲＡＷ画像の解析は不要であり、ＲＡＷ画像送信は不要と判定する。一方、ＲＧＢ画像解析結果に不明瞭な部分がある場合は、ＲＡＷ画像の解析が必要であり、ＲＡＷ画像送信が必要と判定する。
【0119】
ＲＡＷ画像送信要否判定部２８２の判定結果である送信要否判定情報１２６は、送信要否判定情報通知部２８３を介して画像処理装置１００の送信要否判定情報受信部２０５に通知される。
ここまでの処理が図１４に示されている。
ここまでの処理が図１４に示されている。
【0120】
画像処理装置１００の送信要否判定情報受信部２０５がサーバ２０から受信した送信要否判定情報１２６がＲＡＷ画像の「送信不要」を示す情報である場合は、画像処理装置１００からサーバ２０に対するＲＡＷ画像送信は実行されない。
【0121】
一方、画像処理装置１００の送信要否判定情報受信部２０５がサーバ２０から受信した送信要否判定情報１２６がＲＡＷ画像の「送信必要」を示す情報である場合は、画像処理装置１００からサーバ２０に対するＲＡＷ画像送信が実行される。この画像処理装置１００からサーバ２０に対するＲＡＷ画像送信フェーズを説明する図が図１５である。
【0122】
図１５に示すように、画像処理装置１００の送信要否判定情報受信部２０５は、サーバ２０から送信要否判定情報１２６を入力する。
【0123】
送信要否判定情報受信部２０５は、送信要否判定情報１２６を受信すると、送信要否判定情報受信部２０５は、送信部１０６に対して、送信要否判定情報１２６を送信部１０６に出力する。
送信部１０６は、送信要否判定情報１２６がＲＡＷ画像送信が必要であることを示す情報である場合に限り、送信バッファ１０５に格納されたＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３を取得してサーバ２０に送信する。
送信部１０６は、送信要否判定情報１２６がＲＡＷ画像送信が必要であることを示す情報である場合に限り、送信バッファ１０５に格納されたＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３を取得してサーバ２０に送信する。
【0124】
本実施例５では、サーバ２０におけるＲＧＢ画像解析結果に基づいて、サーバ２０がＲＡＷ画像の転送、解析が必要であるか否かを判定し、画像処理装置１００はこの判定結果に応じてＲＡＷ画像の送信を実行するか否かを決定する。サーバ２０がＲＡＷ画像に基づく解析を実行すべきと判定した場合にのみ、画像処理装置１００は、ＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３をサーバ２０に送信する。
本実施例５でも、前述した実施例１～４と同様、ＲＡＷ画像の送信処理が選択的に実行されることになり、自動車側の処理負荷や転送帯域の過剰な利用を発生させることなく、データ転送遅延、処理遅延を発生させることのないスムーズな処理が可能となる。
本実施例５でも、前述した実施例１～４と同様、ＲＡＷ画像の送信処理が選択的に実行されることになり、自動車側の処理負荷や転送帯域の過剰な利用を発生させることなく、データ転送遅延、処理遅延を発生させることのないスムーズな処理が可能となる。
【0125】
次に、図１６に示すフローチャートを参照して本実施例５の処理シーケンスについて説明する。
なお、図１６に示すフローに従った処理は、例えば、画像処理装置１００の記憶部に格納されたプログラムに従って実行することが可能であり、例えばＣＰＵ等のプログラム実行機能を持つ制御部の制御の下で実行される。以下、図１６に示すフローの各ステップの処理について順次、説明する。
なお、図１６に示すフローに従った処理は、例えば、画像処理装置１００の記憶部に格納されたプログラムに従って実行することが可能であり、例えばＣＰＵ等のプログラム実行機能を持つ制御部の制御の下で実行される。以下、図１６に示すフローの各ステップの処理について順次、説明する。
【0126】
（ステップＳ５０１～Ｓ５０５）
ステップＳ５０１～Ｓ５０５の処理は、先の実施例１において説明した図３に示すフローのステップＳ１０１～Ｓ１０５の処理と同様の処理であるので簡潔に説明する。
ステップＳ５０１～Ｓ５０５の処理は、先の実施例１において説明した図３に示すフローのステップＳ１０１～Ｓ１０５の処理と同様の処理であるので簡潔に説明する。
【0127】
まず、ステップＳ５０１においてＲＡＷ画像を取得する。
図１４、図１５に示す撮像部（カメラ）１０１の撮像素子（イメージセンサ）からの出力であるＲＡＷ画像を取得する。
次に、ステップＳ５０２において、パラメータ取得部１０４が撮像部（カメラ）１０１における画像撮影時のパラメータ、例えば、シャッタースピード、アナログゲイン等のパラメータを取得する。
さらにステップＳ５０３において、画像信号処理部（ＩＳＰ）１０２がＲＡＷ画像に対する画像信号処理を行う。例えばデモザイク処理や、ホワイトバランス調整処理等、カラー画像（例えばＲＧＢ画像）を生成する処理を実行する。
図１４、図１５に示す撮像部（カメラ）１０１の撮像素子（イメージセンサ）からの出力であるＲＡＷ画像を取得する。
次に、ステップＳ５０２において、パラメータ取得部１０４が撮像部（カメラ）１０１における画像撮影時のパラメータ、例えば、シャッタースピード、アナログゲイン等のパラメータを取得する。
さらにステップＳ５０３において、画像信号処理部（ＩＳＰ）１０２がＲＡＷ画像に対する画像信号処理を行う。例えばデモザイク処理や、ホワイトバランス調整処理等、カラー画像（例えばＲＧＢ画像）を生成する処理を実行する。
【0128】
ステップＳ５０４において、パラメータ取得部１０４が、画像信号処理部１０２における画像信号処理に適用した信号処理パラメータ、例えば、デジタルゲイン、ホワイトバランス（ＡＷＢ）制御値や、ハイダイナミックレンジ（ＨＤＲ）制御値等のパラメータを取得する。
ステップＳ５０５は、画像解析部１０３におけるＲＧＢ画像を用いた画像解析処理である。例えば人や障害物等の検出処理を行う。画像解析部１０３において生成されたＲＧＢ画像解析結果は、図示しない出力部（表示部）等に出力される。例えば人検出がなされた場合、人領域に検出枠を表示する等の警告表示が行われる。
ステップＳ５０５は、画像解析部１０３におけるＲＧＢ画像を用いた画像解析処理である。例えば人や障害物等の検出処理を行う。画像解析部１０３において生成されたＲＧＢ画像解析結果は、図示しない出力部（表示部）等に出力される。例えば人検出がなされた場合、人領域に検出枠を表示する等の警告表示が行われる。
【0129】
（ステップＳ５０６）
ステップＳ５０６は、ＲＧＢ画像の送信処理ステップである。これは、図１４に示す画像信号処理部（ＩＳＰ）１０２が生成したＲＧＢ画像１１２を送信部１０６を介してサーバ２０に送信するステップである。
ステップＳ５０６は、ＲＧＢ画像の送信処理ステップである。これは、図１４に示す画像信号処理部（ＩＳＰ）１０２が生成したＲＧＢ画像１１２を送信部１０６を介してサーバ２０に送信するステップである。
【0130】
（ステップＳ５０７～Ｓ５０８）
ステップＳ５０７～Ｓ５０８は、図１４に示す画像処理装置１００の送信要否判定情報受信部２０５の実行する処理である。送信要否判定情報受信部２０５は、サーバ２０から受信した送信要否判定情報１２６に基づいて、ＲＡＷ画像の送信要否を決定する。
ステップＳ５０７～Ｓ５０８は、図１４に示す画像処理装置１００の送信要否判定情報受信部２０５の実行する処理である。送信要否判定情報受信部２０５は、サーバ２０から受信した送信要否判定情報１２６に基づいて、ＲＡＷ画像の送信要否を決定する。
【0131】
送信要否判定情報受信部２０５がサーバ２０から受信した送信要否判定情報１２６がＲＡＷ画像の「送信必要」を示す情報である場合は、画像処理装置１００からサーバ２０に対するＲＡＷ画像送信を実行する。一方、サーバ２０から受信した送信要否判定情報１２６がＲＡＷ画像の「送信不要」を示す情報である場合は、画像処理装置１００からサーバ２０に対するＲＡＷ画像送信は実行しない。
【0132】
（ステップＳ５０９）
ステップＳ５０８において、送信要否判定情報受信部２０５がサーバ２０から受信した送信要否判定情報１２６に基づいて送信必要と判定した場合、ステップＳ５０９に進む。ステップＳ５０９では、送信部１０６が、送信バッファ１０５に格納されたＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３を取得してサーバ２０に送信する。
ステップＳ５０８において、送信要否判定情報受信部２０５がサーバ２０から受信した送信要否判定情報１２６に基づいて送信必要と判定した場合、ステップＳ５０９に進む。ステップＳ５０９では、送信部１０６が、送信バッファ１０５に格納されたＲＡＷ画像１１１と撮影＆信号処理パラメータ１２３を取得してサーバ２０に送信する。
【0133】
本実施例５も、前述した実施例１～４と同様、ＲＡＷ画像の送信処理が選択的に実行されることになり、自動車側の処理負荷や転送帯域の過剰な利用を発生させることなく、データ転送遅延、処理遅延を発生させることのないスムーズな処理が可能となる。
【0134】
以上、複数の実施例について説明したが、これらの複数の実施例は、個別の実施例構成に限らず、任意の複数の実施例を組み合わせた構成としてもよい。
【0135】
［３．画像処理装置のハードウェア構成例について］
図１７は、上述した処理を実行する画像処理装置１００のハードウェア構成の一例を示す図である。
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。
図１７は、上述した処理を実行する画像処理装置１００のハードウェア構成の一例を示す図である。
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。
【0136】
ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、センサ、カメラ、ＧＰＳ等の状況データ取得部などよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。
なお、入力部３０６には、カメラ３２１や、距離センサ等のセンサ３２２からの入力情報も入力される。
なお、入力部３０６には、カメラ３２１や、距離センサ等のセンサ３２２からの入力情報も入力される。
【0137】
ＣＰＵ３０１は、入力部３０６から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部３０７に出力する。
入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
【0138】
入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。
【0139】
なお、サーバ２０のハードウェア構成としては、例えば図１７に示す構成から、カメラ３２１や、距離センサ等のセンサ３２２を省略した構成が適用可能である。
【0140】
［４．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【0141】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成する画像信号処理部と、
前記画像信号処理部の生成したカラー画像の解析処理を実行する画像解析部と、
前記ＲＡＷ画像を外部サーバに送信するか否かを決定する送信要否判定部と、
前記送信要否判定部の判定結果に従って前記ＲＡＷ画像を外部サーバに送信する送信部を有する画像処理装置。
（１） 撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成する画像信号処理部と、
前記画像信号処理部の生成したカラー画像の解析処理を実行する画像解析部と、
前記ＲＡＷ画像を外部サーバに送信するか否かを決定する送信要否判定部と、
前記送信要否判定部の判定結果に従って前記ＲＡＷ画像を外部サーバに送信する送信部を有する画像処理装置。
【0142】
（２） 前記送信要否判定部は、
前記ＲＡＷ画像の外部サーバに対する送信処理を、予め規定した時間周期、またはフレーム周期単位とする送信タイミング制御を実行する（１）に記載の画像処理装置。
前記ＲＡＷ画像の外部サーバに対する送信処理を、予め規定した時間周期、またはフレーム周期単位とする送信タイミング制御を実行する（１）に記載の画像処理装置。
【0143】
（３） 前記送信要否判定部は、
前記ＲＡＷ画像の撮影パラメータ、または前記ＲＡＷ画像に対して前記画像信号処理部が適用した信号処理パラメータの少なくともずれかのパラメータに基づいて、前記ＲＡＷ画像の外部サーバに対する送信要否を決定する（１）または（２）に記載の画像処理装置。
前記ＲＡＷ画像の撮影パラメータ、または前記ＲＡＷ画像に対して前記画像信号処理部が適用した信号処理パラメータの少なくともずれかのパラメータに基づいて、前記ＲＡＷ画像の外部サーバに対する送信要否を決定する（１）または（２）に記載の画像処理装置。
【0144】
（４） 前記撮影パラメータ、および信号処理パラメータは、シャッタースピード、アナログゲイン、デジタルゲイン、ホワイトバランス制御値、ハイダイナミックレンジ制御値の少なくともいずれかを含む（３）に記載の画像処理装置。
【0145】
（５） 前記送信要否判定部は、
前記画像解析部における解析結果情報に基づいて、前記ＲＡＷ画像の外部サーバに対する送信要否を決定する（１）～（４）いずれかに記載の画像処理装置。
前記画像解析部における解析結果情報に基づいて、前記ＲＡＷ画像の外部サーバに対する送信要否を決定する（１）～（４）いずれかに記載の画像処理装置。
【0146】
（６） 前記画像解析部における解析結果情報は、前記カラー画像からの検出オブジェクト対応の認識結果確信度、または認識クラスの少なくともいずれかの情報を含む（５）に記載の画像処理装置。
【0147】
（７） 前記送信要否判定部は、
前記画像処理装置の装置情報に基づいて、前記ＲＡＷ画像の外部サーバに対する送信要否を決定する（１）～（６）いずれかに記載の画像処理装置。
前記画像処理装置の装置情報に基づいて、前記ＲＡＷ画像の外部サーバに対する送信要否を決定する（１）～（６）いずれかに記載の画像処理装置。
【0148】
（８） 前記装置情報は、前記画像処理装置のバスを流れる情報、前記撮像素子の欠陥画素数、前記画像処理装置の異常検出情報の少なくともいずれかの情報を含む（７）に記載の画像処理装置。
【0149】
（９） 前記送信要否判定部は、
前記サーバから入力するＲＡＷ画像送信要否判定情報に基づいて、前記ＲＡＷ画像の外部サーバに対する送信要否を決定する（１）～（８）いずれかに記載の画像処理装置。
前記サーバから入力するＲＡＷ画像送信要否判定情報に基づいて、前記ＲＡＷ画像の外部サーバに対する送信要否を決定する（１）～（８）いずれかに記載の画像処理装置。
【0150】
（１０） 前記サーバから入力するＲＡＷ画像送信要否判定情報は、前記画像処理装置が前記サーバに送信したカラー画像に対する前記サーバの解析結果に基づく判定情報である（９）に記載の画像処理装置。
【0151】
（１１） 前記送信要否判定部は、
前記ＲＡＷ画像に併せて、前記ＲＡＷ画像の撮影パラメータ、または前記ＲＡＷ画像に対して前記画像信号処理部が適用した信号処理パラメータの少なくともいずれかのパラメータを外部サーバに送信するか否かを決定する（１）～（１０）いずれかに記載の画像処理装置。
前記ＲＡＷ画像に併せて、前記ＲＡＷ画像の撮影パラメータ、または前記ＲＡＷ画像に対して前記画像信号処理部が適用した信号処理パラメータの少なくともいずれかのパラメータを外部サーバに送信するか否かを決定する（１）～（１０）いずれかに記載の画像処理装置。
【0152】
（１２） 前記送信部は、
前記ＲＡＷ画像に併せて、前記ＲＡＷ画像の撮影パラメータ、または前記ＲＡＷ画像に対して前記画像信号処理部が適用した信号処理パラメータの少なくともいずれかのパラメータを外部サーバに送信する（１）～（１１）いずれかに記載の画像処理装置。
前記ＲＡＷ画像に併せて、前記ＲＡＷ画像の撮影パラメータ、または前記ＲＡＷ画像に対して前記画像信号処理部が適用した信号処理パラメータの少なくともいずれかのパラメータを外部サーバに送信する（１）～（１１）いずれかに記載の画像処理装置。
【0153】
（１３） 移動装置に装着された撮像部と、
前記撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成する画像信号処理部と、
前記画像信号処理部の生成したカラー画像の解析処理を実行する画像解析部と、
前記ＲＡＷ画像を外部サーバに送信するか否かを決定する送信要否判定部と、
前記送信要否判定部の判定結果に従って前記ＲＡＷ画像を外部サーバに送信する送信部を有する移動装置。
前記撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成する画像信号処理部と、
前記画像信号処理部の生成したカラー画像の解析処理を実行する画像解析部と、
前記ＲＡＷ画像を外部サーバに送信するか否かを決定する送信要否判定部と、
前記送信要否判定部の判定結果に従って前記ＲＡＷ画像を外部サーバに送信する送信部を有する移動装置。
【0154】
（１４） 前記送信要否判定部は、
前記ＲＡＷ画像の外部サーバに対する送信処理を、予め規定した時間周期、またはフレーム周期単位とする送信タイミング制御処理を実行する（１３）に記載の移動装置。
前記ＲＡＷ画像の外部サーバに対する送信処理を、予め規定した時間周期、またはフレーム周期単位とする送信タイミング制御処理を実行する（１３）に記載の移動装置。
【0155】
（１５） 前記送信要否判定部は、
前記ＲＡＷ画像の撮影パラメータ、または前記ＲＡＷ画像に対して前記画像信号処理部が適用した信号処理パラメータの少なくともずれかのパラメータ、または、
前記画像解析部における解析結果情報、または、
前記画像処理装置の装置情報、または、
前記サーバから入力するＲＡＷ画像送信要否判定情報の少なくともいずれかの情報に基づいて、前記ＲＡＷ画像の外部サーバに対する送信要否を決定する（１３）または（１４）に記載の移動装置。
前記ＲＡＷ画像の撮影パラメータ、または前記ＲＡＷ画像に対して前記画像信号処理部が適用した信号処理パラメータの少なくともずれかのパラメータ、または、
前記画像解析部における解析結果情報、または、
前記画像処理装置の装置情報、または、
前記サーバから入力するＲＡＷ画像送信要否判定情報の少なくともいずれかの情報に基づいて、前記ＲＡＷ画像の外部サーバに対する送信要否を決定する（１３）または（１４）に記載の移動装置。
【0156】
（１６） 画像処理装置とサーバを有する画像処理システムであり、
前記画像処理装置は、
撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成する画像信号処理部と、
前記画像信号処理部の生成したカラー画像の解析処理を実行する画像解析部と、
前記ＲＡＷ画像を外部サーバに送信するか否かを決定する送信要否判定部と、
前記送信要否判定部の判定結果に従って前記ＲＡＷ画像を外部サーバに送信する送信部を有し、
前記サーバは、
前記画像処理装置からＲＡＷ画像を受信してＲＡＷ画像の解析処理を実行する画像処理システム。
前記画像処理装置は、
撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成する画像信号処理部と、
前記画像信号処理部の生成したカラー画像の解析処理を実行する画像解析部と、
前記ＲＡＷ画像を外部サーバに送信するか否かを決定する送信要否判定部と、
前記送信要否判定部の判定結果に従って前記ＲＡＷ画像を外部サーバに送信する送信部を有し、
前記サーバは、
前記画像処理装置からＲＡＷ画像を受信してＲＡＷ画像の解析処理を実行する画像処理システム。
【0157】
（１７） 画像処理装置において実行する画像処理方法であり、
画像信号処理部が、撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成する画像信号処理ステップと、
画像解析部が、前記画像信号処理ステップにおいて生成したカラー画像の解析処理を実行する画像解析ステップと、
送信要否判定部が、前記ＲＡＷ画像を外部サーバに送信するか否かを決定する送信要否判定ステップと、
送信部が、前記送信要否判定ステップの判定結果に従って前記ＲＡＷ画像を外部サーバに送信する送信ステップを実行する画像処理方法。
画像信号処理部が、撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成する画像信号処理ステップと、
画像解析部が、前記画像信号処理ステップにおいて生成したカラー画像の解析処理を実行する画像解析ステップと、
送信要否判定部が、前記ＲＡＷ画像を外部サーバに送信するか否かを決定する送信要否判定ステップと、
送信部が、前記送信要否判定ステップの判定結果に従って前記ＲＡＷ画像を外部サーバに送信する送信ステップを実行する画像処理方法。
【0158】
（１８） 画像処理装置において画像処理を実行させるプログラムであり、
画像信号処理部に、撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成させる画像信号処理ステップと、
画像解析部に、前記画像信号処理ステップにおいて生成したカラー画像の解析処理を実行させる画像解析ステップと、
送信要否判定部に、前記ＲＡＷ画像を外部サーバに送信するか否かを決定させる送信要否判定ステップと、
送信部に、前記送信要否判定ステップの判定結果に従って前記ＲＡＷ画像を外部サーバに送信させる送信ステップを実行させるプログラム。
画像信号処理部に、撮像部の撮像素子の出力であるＲＡＷ画像に対する信号処理を実行してカラー画像を生成させる画像信号処理ステップと、
画像解析部に、前記画像信号処理ステップにおいて生成したカラー画像の解析処理を実行させる画像解析ステップと、
送信要否判定部に、前記ＲＡＷ画像を外部サーバに送信するか否かを決定させる送信要否判定ステップと、
送信部に、前記送信要否判定ステップの判定結果に従って前記ＲＡＷ画像を外部サーバに送信させる送信ステップを実行させるプログラム。
【0159】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【0160】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【0161】
以上、説明したように、本開示の一実施例の構成によれば、高精度な画像解析が必要な場合等、規定条件に従って選択されたＲＡＷ画像のみを選択してサーバに送信する構成が実現される。
具体的には、例えば、移動装置に装着された撮像部と、撮像部の撮像素子出力であるＲＡＷ画像の信号処理によりカラー画像を生成する画像信号処理部と、カラー画像解析処理を実行する画像解析部と、ＲＡＷ画像のサーバに対する送信要否を判定する送信要否判定部と、判定結果に従ってＲＡＷ画像を外部サーバに送信する送信部を有する。送信要否判定部は、一定周期の送信タイミング制御、または撮影、信号処理パラメータや画像解析結果、装置情報等に基づいて、ＲＡＷ画像の送信要否を決定する。
本構成により、高精度な画像解析が必要な場合等、規定条件に従って選択されたＲＡＷ画像のみを選択してサーバに送信する構成が実現される。
具体的には、例えば、移動装置に装着された撮像部と、撮像部の撮像素子出力であるＲＡＷ画像の信号処理によりカラー画像を生成する画像信号処理部と、カラー画像解析処理を実行する画像解析部と、ＲＡＷ画像のサーバに対する送信要否を判定する送信要否判定部と、判定結果に従ってＲＡＷ画像を外部サーバに送信する送信部を有する。送信要否判定部は、一定周期の送信タイミング制御、または撮影、信号処理パラメータや画像解析結果、装置情報等に基づいて、ＲＡＷ画像の送信要否を決定する。
本構成により、高精度な画像解析が必要な場合等、規定条件に従って選択されたＲＡＷ画像のみを選択してサーバに送信する構成が実現される。
【符号の説明】
【0162】
１０ 自動車
１１ カメラ
１２ 画像信号処理部（ＩＳＰ）
１３ 画像解析部
２０ サーバ
２１ 画像解析部
２２ 学習処理部
２３ 学習データ記憶部
３０ ネットワーク
１００ 画像処理装置
１０１ 撮像部（カメラ）
１０２ 画像信号処理部（ＩＳＰ）
１０３ 画像解析部
１０４ パラメータ取得部
１０５ 送信バッファ
１０６ 送信部
１０７ 送信タイミング制御部
２０１ 送信要否判定部
２０２ 送信要否判定部
２０３ 装置情報取得部
２０４ 送信要否判定部
２０５ 送信要否判定情報受信部
２８１ ＲＧＢ画像解析部
２８２ ＲＡＷ画像送信要否判定部
２８３ 送信要否判定情報通知部
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ バス
３０５ 入出力インタフェース
３０６ 入力部
３０７ 出力部
３０８ 記憶部
３０９ 通信部
３１０ ドライブ
３１１ リムーバブルメディア
３２１ カメラ
３２２ センサ
１１ カメラ
１２ 画像信号処理部（ＩＳＰ）
１３ 画像解析部
２０ サーバ
２１ 画像解析部
２２ 学習処理部
２３ 学習データ記憶部
３０ ネットワーク
１００ 画像処理装置
１０１ 撮像部（カメラ）
１０２ 画像信号処理部（ＩＳＰ）
１０３ 画像解析部
１０４ パラメータ取得部
１０５ 送信バッファ
１０６ 送信部
１０７ 送信タイミング制御部
２０１ 送信要否判定部
２０２ 送信要否判定部
２０３ 装置情報取得部
２０４ 送信要否判定部
２０５ 送信要否判定情報受信部
２８１ ＲＧＢ画像解析部
２８２ ＲＡＷ画像送信要否判定部
２８３ 送信要否判定情報通知部
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ バス
３０５ 入出力インタフェース
３０６ 入力部
３０７ 出力部
３０８ 記憶部
３０９ 通信部
３１０ ドライブ
３１１ リムーバブルメディア
３２１ カメラ
３２２ センサ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】