特許 6357385 画像通信装置、画像送信装置および画像受信装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6357385

(24)【登録日】2018年6月22日

(45)【発行日】2018年7月11日

(54)【発明の名称】画像通信装置、画像送信装置および画像受信装置

(51)【国際特許分類】

   H04N 19/103 20140101AFI20180702BHJP

   H04N 19/157 20140101ALI20180702BHJP

   H04N 19/164 20140101ALI20180702BHJP

   H04N 19/167 20140101ALI20180702BHJP

   H04N 19/172 20140101ALI20180702BHJP

【ＦＩ】

   H04N19/103

   H04N19/157

   H04N19/164

   H04N19/167

   H04N19/172

【請求項の数】28

【全頁数】21

(21)【出願番号】特願2014-170404(P2014-170404)

(22)【出願日】2014年8月25日

(65)【公開番号】特開2016-46707(P2016-46707A)

(43)【公開日】2016年4月4日

【審査請求日】2017年5月24日

(73)【特許権者】

【識別番号】302062931

【氏名又は名称】ルネサスエレクトロニクス株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(74)【代理人】

【識別番号】100089071

【弁理士】

【氏名又は名称】玉村 静世

(72)【発明者】

【氏名】柴山 哲也

(72)【発明者】

【氏名】望月 誠二

(72)【発明者】

【氏名】松原 勝重

(72)【発明者】

【氏名】岩田 憲一

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特開２０１３−２３９９９５（ＪＰ，Ａ）

【文献】 特開２０１１−２３４０３３（ＪＰ，Ａ）

【文献】 特開２０１１−０６１４５１（ＪＰ，Ａ）

【文献】 特開２０１０−１３６０３２（ＪＰ，Ａ）

【文献】 特表２００８−５２４８９３（ＪＰ，Ａ）

【文献】 特開２００１−３３１８９２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

入力される映像信号に対して、算出した符号化モードに基づいて符号化処理を施して符号化ストリームを送出する符号化部と、受信した符号化ストリームに復号処理を施して復号画像を出力する復号部と、前記復号画像に画像認識処理を施す画像認識部とを備え、
前記符号化部は、前記復号処理で得られたデブロッキングフィルタ演算のためのパラメータを含む復号情報と、前記画像認識部における認識結果の確からしさを示す認識精度情報と、画像認識領域情報とに基づいて、前記符号化モードを調整する、
画像通信装置。

【請求項2】

請求項１において、前記画像通信装置は、画像送信装置と画像受信装置とを含み、
前記画像受信装置は、前記復号部と、前記画像認識部と、前記画像認識部が生成する前記認識精度情報を含む制御情報を送出するパラメータ送信部とを備え、
前記画像送信装置は、前記符号化部と、前記制御情報を受信して前記制御情報に含まれる前記認識精度情報を前記符号化部に供給する受信部とを備える、
画像通信装置。

【請求項3】

請求項１において、前記画像通信装置は、画像送信装置と画像受信装置とを含み、
前記画像受信装置は、前記復号部と、前記画像認識部と、前記画像認識部が生成する前記認識精度情報に基づいて調整された前記符号化モードを含む制御情報を送出するパラメータ送信部とを備え、
前記画像送信装置は、前記符号化部と、前記制御情報を受信して前記制御情報に含まれる前記符号化モードを前記符号化部に供給する受信部とを備える、
画像通信装置。

【請求項4】

請求項３において、
前記画像送信装置は、入力される撮像信号から前記映像信号を生成する撮像信号処理部をさらに備え、
前記制御情報は、前記撮像信号処理部が前記映像信号を生成するために実行する信号処理のパラメータを含み、
前記受信部が受信した前記制御情報に含まれる前記パラメータは、前記撮像信号処理部に供給される、
画像通信装置。

【請求項5】

請求項１において、前記画像通信装置は、画像送信装置と画像受信装置とを含み、
前記画像認識部を受信側画像認識部とし、
前記画像送信装置は、入力される撮像信号から前記映像信号を生成する撮像信号処理部と、送信側画像認識部と、前記符号化部とを備え、
前記画像受信装置は、前記復号部と、前記受信側画像認識部とを備え、
前記送信側画像認識部は、前記撮像処理部で処理される前記映像信号に対して画像認識処理を行ない、前記送信側画像認識部における認識結果の確からしさを、前記受信側画像認識部における認識結果の確からしさを示す認識精度情報として、前記符号化部に供給し、
前記符号化部は、前記認識精度情報に基づいて、前記符号化モードを調整する、
画像通信装置。

【請求項6】

請求項２において、
前記画像送信装置は、前記映像信号として、予め与えられた評価用画像を含むことができるように構成され、
前記符号化部は、前記評価用画像を含む映像信号に対して符号化処理を施し、
前記画像受信装置において前記画像認識部は、前記評価用画像に対応する復号画像に対して画像認識処理を施して認識精度情報を求め、
前記画像送信装置または前記画像受信装置は、求められた前記認識精度情報を期待される認識精度情報と等しくなるように、前記符号化モードを調整する、
画像通信装置。

【請求項7】

入力される映像信号に対して、算出した符号化モードに基づいて符号化処理を施して符号化ストリームを送出する符号化部と、前記符号化ストリームを画像受信装置に送出する送信部とを備え、
前記画像受信装置は、受信した符号化ストリームに復号処理を施して生成した復号画像に画像認識処理を施す画像認識部を備え、
前記符号化部は、前記復号処理で得られたデブロッキングフィルタ演算のためのパラメータを含む復号情報と、前記画像受信装置の前記画像認識部における認識結果の確からしさを示す認識精度情報と、画像認識領域情報とに基づいて、前記符号化モードを調整する、 画像送信装置。

【請求項8】

請求項７において、前記画像受信装置は、前記画像認識部が生成する前記認識精度情報を含む制御情報を送出可能に構成され、
前記画像送信装置は、前記制御情報を受信して前記制御情報に含まれる前記認識精度情報を前記符号化部に供給する受信部をさらに備え、
前記符号化部は、前記受信部から供給される前記認識精度情報に基づいて符号化モードを調整し、調整された符号化モードに基づいて前記符号化処理を実行する、
画像送信装置。

【請求項9】

請求項７において、前記画像受信装置は、前記画像認識部が生成する前記認識精度情報に基づいて調整された前記符号化モードを含む制御情報を送出可能に構成され、
前記制御情報を受信して前記制御情報に含まれる前記符号化モードを前記符号化部に供給する受信部をさらに備え、
前記符号化部は、前記受信部から供給される符号化モードに基づいて前記符号化処理を実行する、
画像送信装置。

【請求項10】

請求項９において、
入力される撮像信号から前記映像信号を生成する撮像信号処理部をさらに備え、
前記制御情報は、前記撮像信号処理部が前記映像信号を生成するために実行する信号処理のパラメータを含み、
前記受信部が受信した前記受信部が受信した前記制御情報に含まれる前記パラメータは、前記撮像信号処理部に供給される、
画像送信装置。

【請求項11】

請求項７において、前記画像認識部を受信側画像認識部とし、前記画像受信装置は、前記復号部と、前記受信側画像認識部とを備え、
前記画像送信装置は、入力される撮像信号から前記映像信号を生成する撮像信号処理部と、送信側画像認識部と、前記符号化部とを備え、
前記送信側画像認識部は、前記撮像処理部で処理される前記映像信号に対して画像認識処理を行ない、前記送信側画像認識部における認識結果の確からしさを、前記受信側画像認識部における認識結果の確からしさを示す認識精度情報として、前記符号化部に供給し、
前記符号化部は、前記認識精度情報に基づいて、前記符号化モードを調整する、
画像送信装置。

【請求項12】

請求項８において、
前記画像送信装置は、前記映像信号として、予め与えられた評価用画像を含むことができるように構成され、
前記符号化部は、前記評価用画像を含む映像信号に対して符号化処理を施し、
前記画像受信装置において前記画像認識部は、前記評価用画像に対応する復号画像に対して画像認識処理を施して認識精度情報を求め、
前記画像送信装置または前記画像受信装置は、求められた前記認識精度情報を期待される認識精度情報と等しくなるように、前記符号化モードを調整する、
画像送信装置。

【請求項13】

請求項１２において、
前記映像信号と前記評価用画像のうちどちらを前記符号化部に供給するかを選択するセレクタをさらに備える、
画像送信装置。

【請求項14】

請求項１２において、
前記映像信号に前記評価用画像を挿入可能な認識用マーカー挿入部をさらに備える、
画像送信装置。

【請求項15】

画像送信装置から送出される符号化ストリームを受信する受信部と、前記受信部で受信した符号化ストリームに復号処理を施して復号画像を出力する復号部と、前記復号画像に画像認識処理を施す画像認識部と、パラメータ送信部とを備え、
前記符号化ストリームは、前記画像送信装置において映像信号に対して符号化モードを使用した符号化処理によって生成され、
前記パラメータ送信部は、前記復号処理で得られたデブロッキングフィルタ演算のためのパラメータを含む復号情報と、前記画像認識部における認識結果の確からしさを示す認識精度情報と、画像認識領域情報とに基づいて、前記画像送信装置における前記符号化モードを調整するための制御情報を送出する、
画像受信装置。

【請求項16】

請求項１５において、
前記パラメータ送信部は、前記認識精度情報を、前記画像送信装置における前記符号化モードを調整するための前記制御情報として送出し、
前記画像送信装置は、受信した前記認識精度情報に基づいて前記符号化モードを調整する、
画像受信装置。

【請求項17】

請求項１５において、
前記パラメータ送信部は、前記画像認識部が生成する前記認識精度情報に基づいて調整された前記符号化モードを、前記制御情報として送出し、
前記画像送信装置は、前記制御情報として受信した前記符号化モードを使用して前記符号化処理を実行する、
画像受信装置。

【請求項18】

請求項１５において、
前記パラメータ送信部が送出する前記制御情報は、前記復号部における前記復号処理によって得られる復号情報または前記復号情報に基づいて生成された情報を含む、
画像受信装置。

【請求項19】

請求項１において、
前記符号化モードは、予測モードとデブロッキングフィルタに関するパラメータを含む、
画像通信装置。

【請求項20】

請求項７において、
前記符号化モードは、予測モードとデブロッキングフィルタに関するパラメータを含む、
画像送信装置。

【請求項21】

請求項１５において、
前記符号化モードは、予測モードとデブロッキングフィルタに関するパラメータを含む、
画像受信装置。

【請求項22】

請求項１９において、
前記画像認識部は、抽出した特徴量を予め決められた閾値により特徴点判定し、
前記符号化部は、前記特徴量が前記閾値付近にある位置に対してより多くの符号量を割り当てる符号化方法に切り替える、
画像通信装置。

【請求項23】

請求項２２において、
前記符号化部は、前記制御情報に基づいて、フィルタ強度と、ブロック分割と、量子化値と、ＩＰＣＭ（Intra Pulse Code Modulation）符号化とを含む符号化パラメータを切り替える、
画像通信装置。

【請求項24】

請求項２３において、
前記制御情報は、さらに前記画像認識部のアプリケーション情報と車両の走行状態に関する情報を含む、
画像通信装置。

【請求項25】

入力される映像信号に対して、算出した符号化モードに基づいて符号化処理を施して前記符号化ストリームを送出する符号化部と、前記符号化ストリームを画像受信装置に送出する送信部と、第１の受信部とを備える画像送信装置と、
第２の受信部と、前記第２の受信部で受信した符号化ストリームに復号処理を施して復号画像を出力する復号部と、前記復号画像に画像認識処理を施す画像認識部と、前記画像送信装置の第１の受信部に対して制御情報を送出するパラメータ送信部とを備える前記画像受信装置とを備え、
前記制御情報は、前記復号処理で得られたデブロッキングフィルタ演算のためのパラメータを含む復号情報と、前記画像受信装置の前記画像認識部における認識結果の確からしさを示す第１の認識精度情報と、画像認識領域情報と、車両の走行状態に関する情報とを含み、
前記第１の受信部は、前記制御情報を受信して前記制御情報を前記符号化部に供給し、
前記符号化部は、前記制御情報に基づいて、前記符号化モードを調整し、
前記画像通信装置は、前記映像信号として、予め与えられた評価用画像をさらに含むことができるように構成され、
前記画像受信装置において前記画像認識部は、前記評価用画像に対応する復号画像に対して画像認識処理を施して第２の認識精度情報を求めることができるものとされ、
前記画像送信装置または前記画像受信装置は、求められた前記第２の認識精度情報を期待される認識精度情報と等しくなるように前記符号化モードを調整する、
画像通信装置。

【請求項26】

請求項２５において、
前記画像受信装置の前記パラメータ送信部は、前記制御情報として、さらに画像認識のアプリケーション情報を送出し、
前記画像通信装置は、前記評価用画像を用いて前記画像認識部のアルゴリズムの最適化を行う、
画像通信装置。

【請求項27】

請求項２６において、
前記画像送信装置は、前記映像信号に前記評価用画像を挿入可能な認識用マーカー挿入部をさらに備える、
画像通信装置。

【請求項28】

請求項４において、
前記撮像信号処理部は、前記パラメータに基づいてゲイン調整と、逆光補正と、画像レベル調整と、ガンマ補正と、色補正と、フィルタ処理とを行う、
画像通信装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像通信装置、画像送信装置および画像受信装置に関し、特に画像認識を伴う画像符号化送受信装置に好適に利用できるものである。

【背景技術】

【0002】

カメラで撮影されるなどされた原画像の画像情報を、表示するために伝送するシステムでは、原画像を一旦符号化・圧縮して伝送した後に、復号して得られた画像（復号画像）を表示する。画像情報は一般に膨大であるので、ネットワークなどである伝送路における伝送帯域幅を抑えるためである。このような画像伝送システムにおいて、表示に代えて或いは表示に加えて、画像認識を行う事が求められる場合がある。例えば、監視カメラにおいて不審者を発見し、また、車載カメラにおいて、車間距離を求め、道路標識を認識し、或いは、歩行者や他の車両、その他障害物との衝突を回避するために、画像認識を行うことが求められる。

【0003】

特許文献１には、画像符号化の前段に特徴量抽出部を備え、特徴量算出部で画像の平坦度（アクティビティ）を算出し、画像符号化処理に含まれるデブロッキングフィルタに関するパラメータを決定することによって画質を改善する、画像符号化装置が開示されている。

【0004】

特許文献２には、車両の運転支援のために、映像送信装置が映像を符号化して送信し、映像受信装置が復号後の映像を用いて画像認識を行う車載カメラシステムにおいて、高い認識率を実現する方法が開示されている。映像受信装置は、車両の走行状態と運転支援アプリケーション（車線逸脱警報、衝突防止、後方動画像表示など）に応じて、動画像フォーマットの画像サイズ、色フォーマット、フレームレート、ビット深度などの符号化制御情報を映像送信装置のエンコーダ制御部に送信し、送信側が符号化制御情報に基づいて符号化モードを変更し、動画像ストリームを生成する。例えば、映像信号を外部表示装置に出力するときはデブロッキングフィルタ機能をオンとし、画像認識処理に使用するときはデブロッキングフィルタをオフにすることにより、画像認識処理においてエッジ情報が鈍って認識率が低下するのを防止する（同文献の第００４８段落）とされる。また、画像認識処理の前処理として粗探索を行って注目領域を決定し、その情報を符号化器側に伝送して符号化器側の符号化処理において当該注目領域の量子化ステップ幅を小さく制御することにより、認識率をさらに高めることができる（同文献の第００４４段落）とされる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００８−２２４０４号公報

【特許文献2】特開２０１３−２３９９９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１及び２について本発明者が検討した結果、以下のような新たな課題があることがわかった。

【0007】

一般的な画像符号化方式は、人間の見た目にノイズが少ないと感じるよう画像を生成する符号化方法や、発生するビット量が最小になるように符号化モードを決定する符号化方法となっており、その復号画像を対象として画像認識をしようとした場合に、必ずしも画像認識処理に適するとは限らない。そのため、一般的な画像符号化方式によって圧縮伸長された復号画像では、認識率を十分に向上することができないことが分かった。

【0008】

特許文献１に記載される画像符号化方式は、復号された画像の人間が見たときの画質を改善するのに適するように、デブロッキングフィルタのパラメータを決定する符号化方式であって、画像認識の認識率を向上するためには、必ずしも同じパラメータ値が適するとは言えない。

【0009】

特許文献２に記載される車載カメラシステムでは、画像認識を行う映像受信装置が、車両の走行状態と運転支援アプリケーション（車線逸脱警報、衝突防止、後方動画像表示など）に応じて、符号化制御情報を映像送信装置のエンコーダ制御部に送信するので、車両の走行状態と運転支援アプリケーション毎に、それに適する符号化制御情報が明確に規定されている必要がある。例えば、画像認識の注目領域が車両の走行状態と運転支援アプリケーション毎に規定されている必要があるが、これを予め規定することができない場合には、上述のように、粗探索が画像認識処理の前処理として追加される必要がある（同文献の第００４４段落）。

【0010】

しかしながら、画像認識の認識率を向上するための符号化モードの最適値は、車両の走行状態と運転支援アプリケーションによって一義的に規定することができるとは限らず、一般には、上記注目領域のように、画像認識処理が実行されるその時々の状況に応じてリアルタイムで変化する。

【0011】

そのため、特許文献２に記載される車載カメラシステムでは、車両の走行状態と運転支援アプリケーションに応じて規定される符号化制御情報が、画像認識処理にとって常に最適な符号化制御情報になっているとは限らず、認識率が低下する場合があるという問題があることがわかった。

【0012】

映像信号に符号化処理を施して伝送し、それを復号した画像に対して画像認識処理を施す画像通信においては、伝送される映像信号がリアルタイムに変化する場合にも、画像認識率を低下させることなく、その変化に応じて画像認識処理に適する符号化モードの値を、当該符号化処理に供給する必要があることがわった。

【0013】

このような課題を解決するための手段を以下に説明するが、その他の課題と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。

【課題を解決するための手段】

【0014】

一実施の形態によれば、下記の通りである。

【0015】

すなわち、入力される映像信号に対して、算出した符号化モードに基づいて符号化処理を施して符号化ストリームを送出する符号化部と、受信した符号化ストリームに復号処理を施して復号画像を出力する復号部と、復号画像に画像認識処理を施す画像認識部とを備え、符号化部は、画像認識部における認識結果の確からしさを示す認識精度情報に基づいて、符号化モードを調整する。

【発明の効果】

【0016】

前記一実施の形態によって得られる効果を簡単に説明すれば下記のとおりである。

【0017】

すなわち、映像信号の変化にリアルタイムに適応して、適切な符号化モードを使用した符号化処理が可能となり、高い画像認識率を保つことができる。

【図面の簡単な説明】

【0018】

【図1】図１は、実施形態１に係る画像通信装置の構成例を示すブロック図である。

【図2】図２は、符号化部の構成例を示すブロック図である。

【図3】図３は、実施形態２に係る画像通信装置の構成例を示すブロック図である。

【図4】図４は、実施形態３に係る画像通信装置の構成例を示すブロック図である。

【図5】図５は、実施形態４に係る画像通信装置の構成例を示すブロック図である。

【図6】図６は、実施形態５に係る符号化部の構成例を示すブロック図である。

【発明を実施するための形態】

【0019】

１．実施の形態の概要
先ず、本願において開示される代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。

【0020】

〔１〕＜画像認識精度情報に基づく符号化モードの最適化＞
本願において開示される代表的な実施の形態に係る画像通信装置（１００）は、入力される映像信号に対して、算出した符号化モードに基づいて符号化処理を施して符号化ストリームを生成する符号化部（１２）と、受信した符号化ストリームに復号処理を施して復号画像を出力する復号部（２２）と、前記復号画像に画像認識処理を施す画像認識部（２５）とを備える。前記符号化部は、前記画像認識部における認識結果の確からしさを示す認識精度情報に基づいて、前記符号化モードを調整する。

【0021】

これにより、映像信号の変化にリアルタイムに適応して、適切な符号化モードを使用した符号化処理が可能となり、高い画像認識率を保つことができる。

【0022】

〔２〕＜受信ユニットのパラメータ送信部から認識精度情報を送出＞
項１において、前記画像通信装置は、画像送信装置（送信ユニット）（１０）と画像受信装置（受信ユニット）（２０）とを含む。

【0023】

前記画像受信装置は、前記復号部と、前記画像認識部と、前記画像認識部が生成する前記認識精度情報を含む制御情報を送出するパラメータ送信部（２６）とを備える。

【0024】

前記画像送信装置は、前記符号化部と、前記制御情報を受信して前記制御情報に含まれる前記認識精度情報を前記符号化部に供給する受信部（１４）とを備える。

【0025】

これにより、画像受信装置（受信ユニット）側は、画像認識部における認識結果の確からしさを示す認識精度情報をそのまま送出するので、処理負担は軽い。画像送信装置（送信ユニット）側は、受信した認識精度情報に加えて自身の持つパラメータも参照して、適切な符号化モードを算出或いは選択して、符号化処理を実行することができる。

【0026】

〔３〕＜受信ユニットのパラメータ送信部から符号化モードを送出＞
項１において、前記画像通信装置は、画像送信装置（１０）と画像受信装置（２０）とを含む。

【0027】

前記画像受信装置は、前記復号部と、前記画像認識部と、前記画像認識部が生成する前記認識精度情報に基づいて調整された前記符号化モードを含む制御情報を送出するパラメータ送信部（２６）とを備える。

【0028】

前記画像送信装置は、前記符号化部と、前記制御情報を受信して前記制御情報に含まれる前記符号化モードを前記符号化部に供給する受信部（１４）とを備える。

【0029】

これにより、画像受信装置（受信ユニット）側で、最適な符号化モードを算出或いは選択して、画像送信装置（送信ユニット）側に送るため、画像送信装置（送信ユニット）を簡略化することができる。

【0030】

〔４〕＜受信した制御情報を撮像信号処理部で使用＞
項３において、前記画像送信装置は、入力される撮像信号から前記映像信号を生成する撮像信号処理部（１１）をさらに備える。

【0031】

前記符号化モードは、前記撮像信号処理部が前記映像信号を生成するために実行する信号処理のパラメータを含み、前記受信部が受信した前記制御情報に含まれる前記パラメータは、前記撮像信号処理部に供給される。

【0032】

これにより、符号化部に入力される映像信号が、符号化処理の前に適正化され、画像受信装置（受信ユニット）側での画像認識処理の認識率を、より高く保つことができる。

【0033】

〔５〕＜送信ユニットに内蔵される画像認識部で認識精度情報を抽出＞
項１において、前記画像通信装置は、画像送信装置（１０）と画像受信装置（２０）とを含む。また、前記画像認識部を受信側画像認識部（２５）とし、前記画像受信装置は、前記復号部と、前記受信側画像認識部とを備える。

【0034】

前記画像送信装置は、入力される撮像信号から前記映像信号を生成する撮像信号処理部（１１）と、送信側画像認識部（１５）と、前記符号化部とを備える。

【0035】

前記送信側画像認識部は、前記撮像処理部で処理される前記映像信号に対して画像認識処理を行ない、前記送信側画像認識部における認識結果の確からしさを、前記受信側画像認識部における認識結果の確からしさを示す認識精度情報として、前記符号化部に供給する。前記符号化部は、前記認識精度情報に基づいて、前記符号化モードを調整する。

【0036】

これにより、画像受信装置（受信ユニット）側の受信側画像認識部における認識結果の確からしさを示す認識精度情報を、画像送信装置（送信ユニット）で推定して利用することができるため、より早く適切な符号化モードを算出或いは選択して、符号化処理を実行することができる。

【0037】

〔６〕＜認識用画像／認識用マーカー＞
項２又は項３において、前記画像送信装置は、前記映像信号として、予め与えられた評価用画像を含むことができるように構成される（３４、３５）。

【0038】

前記符号化部は、前記評価用画像を含む映像信号に対して符号化処理を施す。前記画像受信装置において前記画像認識部は、前記評価用画像に対応する復号画像に対して画像認識処理を施して認識精度情報を求め、前記画像送信装置または前記画像受信装置は、求められた前記認識精度情報を期待される認識精度情報と等しくなるように、前記符号化モードを調整する。

【0039】

これにより、符号化モードの最適値を正確に求めることができる。

【0040】

〔７〕＜画像送信装置＞
本願において開示される代表的な実施の形態に係る画像送信装置（１０）は、入力される映像信号に対して、算出した符号化モードに基づいて符号化処理を施して符号化ストリームを送出する符号化部（１２）と、前記符号化ストリームを画像受信装置に送出する送信部（１３）とを備える。

【0041】

前記画像受信装置は、受信した符号化ストリームに復号処理を施して生成した復号画像に画像認識処理を施す画像認識部（２５）を備える。

【0042】

前記符号化部は、前記画像受信装置の前記画像認識部における認識結果の確からしさを示す認識精度情報に基づいて、前記符号化モードを調整する。

【0043】

これにより、映像信号の変化にリアルタイムに適応して、適切な符号化モードを使用した符号化処理が可能となり、高い画像認識率を保つことができる、画像送信装置を提供することができる。

【0044】

〔８〕＜受信ユニットのパラメータ送信部から認識精度情報を受信＞
項７において、前記画像受信装置は、前記画像認識部が生成する前記認識精度情報を含む制御情報を送出可能に構成される（２６）。

【0045】

前記画像送信装置は、前記制御情報を受信して前記制御情報に含まれる前記認識精度情報を前記符号化部に供給する受信部（１４）をさらに備え、前記符号化部は、前記受信部から供給される前記認識精度情報に基づいて符号化モードを調整し、調整された符号化モードに基づいて前記符号化処理を実行する。

【0046】

これにより、画像受信装置（受信ユニット）側の処理負担は軽く、画像送信装置（送信ユニット）側は、受信した認識精度情報に加えて自身の持つパラメータも参照して、適切な符号化モードを算出或いは選択して、符号化処理を実行することができる。

【0047】

〔９〕＜受信ユニットのパラメータ送信部から符号化モードを受信＞
項７において、前記画像受信装置は、前記画像認識部が生成する前記認識精度情報に基づいて調整された前記符号化モードを含む制御情報を送出可能に構成される（２６）。

【0048】

前記画像送信装置は、前記制御情報を受信して前記制御情報に含まれる前記符号化モードを前記符号化部に供給する受信部（１４）をさらに備え、前記符号化部は、前記受信部から供給される符号化モードに基づいて前記符号化処理を実行する。

【0049】

これにより、画像受信装置（受信ユニット）側で、最適な符号化モードを算出或いは選択して、画像送信装置（送信ユニット）側に送るため、画像送信装置（送信ユニット）を簡略化することができる。

【0050】

〔１０〕＜受信した制御情報を撮像信号処理部で使用＞
項９において、前記画像送信装置は、入力される撮像信号から前記映像信号を生成する撮像信号処理部（１１）をさらに備える。

【0051】

前記制御情報は、前記撮像信号処理部が前記映像信号を生成するために実行する信号処理のパラメータを含み、前記受信部が受信した前記制御情報に含まれる前記パラメータは、前記撮像信号処理部に供給される。

【0052】

これにより、符号化部に入力される映像信号が、符号化処理の前に適正化され、画像受信装置（受信ユニット）側での画像認識処理の認識率を、より高く保つことができる。

【0053】

〔１１〕＜送信ユニットに内蔵される画像認識部で認識精度情報を抽出＞
項７において、前記画像認識部を受信側画像認識部とし、前記画像受信装置は、前記復号部と、前記受信側画像認識部とを備える。

【0054】

前記画像送信装置は、入力される撮像信号から前記映像信号を生成する撮像信号処理部（１１）と、送信側画像認識部（１５）と、前記符号化部とを備える。

【0055】

前記送信側画像認識部は、前記撮像処理部で処理される前記映像信号に対して画像認識処理を行ない、前記送信側画像認識部における認識結果の確からしさを、前記受信側画像認識部における認識結果の確からしさを示す認識精度情報として、前記符号化部に供給する。前記符号化部は、前記認識精度情報に基づいて、前記符号化モードを調整する。

【0056】

これにより、画像受信装置（受信ユニット）側の受信側画像認識部における認識結果の確からしさを示す認識精度情報を、画像送信装置（送信ユニット）で推定して利用することができるため、より早く適切な符号化モードを算出或いは選択して、符号化処理を実行することができる。

【0057】

〔１２〕＜認識用画像／認識用マーカー＞
項８又は項９において、前記画像送信装置は、前記映像信号として、予め与えられた評価用画像を含むことができるように構成される（３４、３５）。

【0058】

前記符号化部は、前記評価用画像を含む映像信号に対して符号化処理を施し、前記画像受信装置において前記画像認識部は、前記評価用画像に対応する復号画像に対して画像認識処理を施して認識精度情報を求め、前記画像送信装置または前記画像受信装置は、求められた前記認識精度情報を期待される認識精度情報と等しくなるように、前記符号化モードを調整する。

【0059】

これにより、符号化モードの最適値を正確に求めることができる。

【0060】

〔１３〕＜認識用画像への切換＞
項１２において、前記画像送信装置は、前記映像信号と前記評価用画像のうちどちらを前記符号化部に供給するかを選択するセレクタ（３４）をさらに備える。

【0061】

これにより、入力される映像信号に代えて評価用画像を用いて、符号化モードの最適値を正確に求めることができる。

【0062】

〔１４〕＜認識用マーカーの挿入＞
項１２において、前記画像送信装置は、前記映像信号に前記評価用画像を挿入可能な認識用マーカー挿入部（３５）をさらに備える。

【0063】

これにより、入力される映像信号に挿入された評価用マーカー画像を用いて、符号化モードの最適値を正確に求めることができる。

【0064】

〔１５〕＜画像受信装置＞
本願において開示される代表的な実施の形態に係る画像受信装置（２０）は、画像送信装置（１０）から送出される符号化ストリームを受信する受信部（２１）と、前記受信部で受信した符号化ストリームに復号処理を施して復号画像を出力する復号部（２２）と、前記復号画像に画像認識処理を施す画像認識部（２５）と、パラメータ送信部（２６）とを備える。

【0065】

前記符号化ストリームは、前記画像送信装置において映像信号に対して符号化モードを使用した符号化処理によって生成される。

【0066】

前記パラメータ送信部は、前記画像認識部における認識結果の確からしさを示す認識精度情報に基づいて、前記画像送信装置における前記符号化モードを調整するための制御情報を送出する。

【0067】

これにより、映像信号の変化にリアルタイムに適応して、適切な符号化モードを使用した符号化処理が可能となり、高い画像認識率を保つことができる、画像受信装置を提供することができる。

【0068】

〔１６〕＜受信ユニットのパラメータ送信部から認識精度情報を送出＞
項１５において、前記パラメータ送信部は、前記認識精度情報を、前記画像送信装置における前記符号化モードを調整するための前記制御情報として送出し、前記画像送信装置は、受信した前記認識精度情報に基づいて前記符号化モードを調整する。

【0069】

これにより、画像受信装置（受信ユニット）側からは、画像認識部における認識結果の確からしさを示す認識精度情報をそのまま送出るので処理負担は軽い。一方、画像送信装置（送信ユニット）側は、受信した認識精度情報に加えて自身の持つパラメータも参照して、適切な符号化モードを算出或いは選択して、符号化処理を実行することができる。

【0070】

〔１７〕＜受信ユニットのパラメータ送信部から符号化モードを送出＞
項１５において、前記パラメータ送信部は、前記画像認識部が生成する前記認識精度情報に基づいて調整された前記符号化モードを、前記制御情報として送出し、前記画像送信装置は、前記制御情報として受信した前記符号化モードを使用して前記符号化処理を実行する。

【0071】

これにより、画像受信装置（受信ユニット）側で、最適な符号化モードを算出或いは選択して、画像送信装置（送信ユニット）側に送るため、画像送信装置（送信ユニット）を簡略化することができる。

【0072】

〔１８〕＜パラメータ送信部から復号情報を送出＞
項１５から項１７のうちのいずれか１項に記載される画像受信装置において、前記パラメータ送信部が送出する前記制御情報は、前記復号部における前記復号処理によって得られる復号情報または前記復号情報に基づいて生成された情報を含む。

【0073】

これにより、符号化モードがより適切に適正化される。

【0074】

２．実施の形態の詳細
実施の形態について更に詳述する。

【0075】

〔実施形態１〕＜基本構成（認識精度情報に基づく符号化モードの最適化）＞
図１は、実施形態１に係る画像通信装置１００の構成例を示すブロック図である。

【0076】

画像通信装置１００は、ネットワークなどの通信路２９を介して相互に接続される、送信ユニット１０と受信ユニット２０とを含んで構成される。送信ユニット１０は、算出した符号化モードに基づいて映像信号を符号化して符号化ストリームを生成する符号化部１２と生成された符号化ストリームを所定のプロトコルに乗せて通信路２９に送出する送信部１３とを備える。受信ユニット２０は、通信路２９から受信した信号（パケットなど）から符号化ストリームを再生する受信部２１と、受信された符号化ストリームを復号して復号画像を生成する復号部２２と、復号された復号画像に対して画像認識処理を実行する画像認識部２５とを備える。ここで、符号化モードについて「算出された」とは、符号化部１２が符号化効率などに基づいて適切な符号化モードを選択する処理を指し、外部から指定されても良い。

【0077】

送信ユニット１０における符号化部１２は、受信ユニット２０の画像認識部２５における認識結果の確からしさを示す認識精度情報に基づいて、上記映像信号の符号化に使用する符号化モードを調整する。即ち、画像認識率など、認識結果の確からしさを向上させる方向に、符号化モードを変更する。

【0078】

これにより、映像信号の変化にリアルタイムに適応して、適切な符号化モードを使用した符号化処理が可能となり、高い画像認識率を保つことができる。

【0079】

図２は、送信ユニット１０における符号化部１２の構成例を示すブロック図である。符号化部１２は、映像信号が入力され符号化ストリームを出力する符号化処理部１６と、符号化処理部１６に符号化モードを与える符号化モード決定部１７とを備える。符号化モードには予測モードとデブロッキングフィルタに関するパラメータなどが含まれる。符号化モード決定部１７は、入力される制御情報に含まれる、受信ユニット２０の画像認識部２５における認識結果の確からしさを示す認識精度情報に基づいて、認識結果の確からしさを向上させる方向に、符号化モードを変更して符号化処理部１６に供給する。このとき、制御情報には認識精度情報の他、復号情報や認識領域情報が含まれる。符号化モード決定部１７は、これに加えて、符号化部１２の内部パラメータを参照して、最適な符号化モードを求めて、符号化処理部１６に供給する。符号化部１２の内部パラメータには例えば、予測時のＳＡＤ（Sum of Absolute Difference: 入力信号と予測信号の誤差の絶対値の総和）や量子化値が含まれる。

【0080】

ここで、最適な符号化モードとは、必ずしも画像認識率を最大にすることができるパラメータ値を意味するものではない。例えば、受信ユニット２０において、復号された画像が画像認識のみならず、表示にも使用される場合には、視認性（人の見た目）も考慮して適正なパラメータ値が最適とされる。

【0081】

認識結果の確からしさを示す認識精度情報は、例えば、画像認識部２５における画像検出、認識、追跡処理の結果の確からしさを示す認識精度情報や認識領域を示す情報、認識領域情報などである。認識、検出の結果の確からしさは、各処理おける類似度を示す閾値や、識別器通過段数などから知ることができる。認識、検出の結果の確からしさを知る方法は、認識・検出アルゴリズム、アプリケーションによって様々な方法が考えられるが、以下のような例がある。

【0082】

顔、標識などの物体検出においては、局所特徴量と統計的学習手法を組み合わせる手法が主流となっている。例えば、顔検出では、Haar-like特徴量を多数組み合わせて顔の検出器を構築する。検出器には、弱識別器を縦続接続し、AdaBoostを用いることで、多数の局所特徴量の中から、識別に最適な特徴量を選択する。ここで、検出の確からしさを示すこととして、縦続接続された弱識別器を何段通過したかが指標になりうる。

【0083】

標識認識などの特定物体認識処理では、事前学習も可能であり、あらかじめ参照画像から求めた特徴量と、入力画像からの対応点探索を行うことで、標識認識が可能になる。類似度を示す値を閾値処理するので、閾値とのユークリッド距離が類似度を示す指標になる。

【0084】

物体追跡においては、例えば、KLT（Kaneda Lucas Tomasi）法は局所領域における各点の動きは同一であると仮定し、微小時間における領域は並行移動のみという状態を仮定して特徴点の移動先を求める。移動前後のおけるSIFT（Scale Invariant Feature Transform）などの特徴量の類似度（ユークリッド距離）を用いて特徴点判定を行うので、特徴量のユークリッド距離が指標となりうる。

【0085】

なお、受信ユニット２０の画像認識部２５における認識結果の確からしさを示す認識精度情報は、受信ユニット２０の画像認識部２５で得られる情報には限定されない。受信ユニット２０の画像認識部２５における認識結果の確からしさを知るまたは推定することができる手段を、送信ユニット１０側に備えていてもよい。例えば、送信ユニット１０側の符号化器１２が生成するローカル復号画像に対して、簡易な画像認識処理を実行し、或いは、認識率を推定する目的に特化した認識率評価部を設けることにより、送信ユニット１０において受信ユニット２０の画像認識部２５における認識結果の確からしさを知るまたは推定することができる。具体例については後述する。

【0086】

〔実施形態２〕＜パラメータ送信部から認識精度情報または符号化モードを送出＞
図３は、実施形態２に係る画像通信装置１００の構成例を示すブロック図である。

【0087】

画像通信装置１００は、ネットワークなどの通信路２９を介して相互に接続される、送信ユニット１０と受信ユニット２０とを含んで構成される。

【0088】

送信ユニット１０は、接続される撮像素子１９から入力される撮像信号を処理する撮像信号処理部１１と、算出した符号化モードに基づいて映像信号を符号化して符号化ストリームを生成する符号化部１２と、生成された符号化ストリームを所定のプロトコル通信路２９に送出する送信部１３と、受信部１４とを備える。受信ユニット２０は、通信路２９から受信した信号から符号化ストリームを再生する受信部２１と、受信された符号化ストリームを復号して復号画像を生成する復号部２２と、復号された復号画像に対して画像認識処理を実行する画像認識部２５と、パラメータ送信部２６とを備える。

【0089】

受信ユニット２０のパラメータ送信部２６は、画像認識部２５における認識結果の確からしさを示す認識精度情報に基づいて、上記映像信号の符号化に使用する符号化モードを調整するための制御情報を、送信ユニット１０に送出する。送信ユニット１０の受信部１４は、制御情報を受信して符号化部１２に供給する。符号化部１２は受信した制御情報に基づいて、受信ユニット２０において画像認識率などの認識結果の確からしさを向上させる方向に、符号化モードを変更する。

【0090】

受信ユニット２０のパラメータ送信部２６から送信ユニット１０の受信部１４へ送られる、上記制御情報は、画像認識部２５における認識結果の確からしさを示す認識精度情報そのものであっても良いし、その認識精度情報に基づいて適切な値に変更された符号化モードであってもよい。前者の場合は、受信ユニット２０側は、画像認識部における認識結果の確からしさを示す認識精度情報をそのまま送出するので、処理負担は軽く、送信ユニット１０側は、受信した認識精度情報に加えて自身の持つパラメータも参照して、適切な符号化モードを算出或いは選択して、符号化処理を実行することができる。一方、後者の場合は、受信ユニット２０側で、最適な符号化モードを算出或いは選択して、送信ユニット１０側に送るため、送信ユニット１０を簡略化することができる。

【0091】

図３に示される実施形態２に係る画像通信装置１００について、さらに詳しく説明する。

【0092】

撮像素子１９は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementally Metal Oxide Semiconductor）センサ等である。撮像素子１９からの撮像信号は、送信ユニット１０内の撮像信号処理部１１で画像処理を施され、映像信号として符号化部１２に送られる。符号化部１２では入力された映像信号の画像データを、例えばH.264等の符号化規格に従って画像符号化を行う。符号化部１２は図２に示すとおり、符号化モード決定部１７と符号化処理部１６に分けられる。符号化処理部１６は符号化モード決定部１７によって決定された符号化モードに従って、規格準拠の符号化を行う。符号化モード決定部１７では、従来通りの符号化部１２内で得られる予測時のＳＡＤや量子化パラメータ以外に、受信ユニット２０から送られてきた制御情報に含まれる各種のパラメータを評価値として、符号化モードを決定する。符号化された符号化ストリームは送信ユニット１０内の送信部１３によって受信ユニット２０に送信される。受信ユニット２０内の受信部２１が受信した符号化ストリームは、復号部２２で復号される。受信ユニット２０内の画像認識部２５では、復号部２２によって復号された復号画像を用いて画像認識を行い、画像認識結果、画像認識率や認識領域情報をパラメータ送信部２６から通信路２９を介して送信ユニット１０に送信する。

【0093】

受信ユニット２０から送信ユニット１０に送る制御情報には、復号処理で得られた復号情報、画像認識部で得られた画像認識率等の認識精度情報、画像認識領域情報などが含まれると好適であるが、これらに限定されるものではなく、受信ユニット２０内で得られるデータで他の情報が含まれてもよい。例えば、画像認識のアプリケーション情報、車両等の走行状態に関する情報、時刻や天候、外光の明るさなどに関する情報などである。また、復号情報に関しては受信ユニット２０で得られるデータには限定されず、送信ユニット１０内の符号化部１２にて得られる場合はこれを使用することもできる。例えば、送信ユニット１０内の符号化部１２が、イントラエンコーダのようにデブロッキングフィルタ処理を行う必要がない場合には、受信ユニット２０内の復号部２２で復号画像を復号する時に使用した、デブロッキングフィルタ演算時のパラメータ等の復号情報を、前記制御情報に含めてパラメータ送信部２６から送信ユニット１０に送信する。一方、送信ユニット１０内の符号化部１２が、デブロッキングフィルタ処理を行う場合には、デブロッキングフィルタ演算時のパラメータは、受信ユニット２０から送る必要はなく、送信ユニット１０内で得られるのでこれを使用することができる。

【0094】

以上、説明したように、H.264等の画像符号化を行う際に、双方向に通信可能な通信経路（２９）上にある復号器（２２）と画像認識器（２５）からの情報を利用し、システムとして効率的な符号化を行うことが可能になる。即ち、符号化する際に推測する予測モードやデブロッキングフィルタに関するパラメータ値の決定を、より的確なものにすることができる。特に復号画像に対して画像認識処理を施すシステムにおいては、認識率の低下を抑制することが可能になる。

【0095】

さらに具体的な例について説明する。

【0096】

画像認識部２５は、実施形態１でも説明したように、様々な方式で特徴量を抽出し、抽出した特徴量をある閾値をもって特徴点判定を実施する。つまり非圧縮画像を対象とした場合と比較して認識率が低下するのは、閾値付近の画像データが符号化による劣化により誤判定される為であると考えられる。従って、認識率向上の為には、特徴量が閾値付近にある位置に対してより多くの符号量を割り当て、または発生する符号量を増加させてでも特徴を保持するような符号化方法に切り替える等の処理が必要である。例えばエッジ検出を行うときに、エッジを含むマクロブロックに多くの符号量を割り当て、または非圧縮のまま送信するなどの処理を行なう。

【0097】

本実施形態の符号化部１２は標準規格に準拠する符号化を実施するが、受信ユニット２０から供給される制御情報によって符号化方法をリアルタイムに変更できることが特徴である。例えば、切り替える符号化パラメータは次の（１）〜（４）があり、受信ユニット２０から供給される認識精度情報に基づく重要度に従って（１）〜（４）を適用することができる。結果として、画像認識部２６が指定した領域は原画像に近い形で符号化することが可能となり、符号化に伴う劣化による誤判定が減少することになる。
（１）フィルタ強度の調整（フィルタ強度を弱くし、または、フィルタをオフにする）
（２）ブロック分割（ブロック分割を細かくする（予測モード））
（３）ビット割り当て（量子化値を小さくする）
（４）ＩＰＣＭ（Intra Pulse Code Modulation）符号化（１６×１６単位で非圧縮）
本実施形態２では受信ユニット２０が送信ユニット１０に認識精度情報等を送信し、送信ユニット１０内で符号化モードを決定するが、受信ユニット１０内で適切な符号化モードを決定して直接指定することも可能である。

【0098】

〔実施形態３〕＜送信ユニットに内蔵される画像認識部で認識精度情報を抽出＞
図４は、実施形態３に係る画像通信装置の構成例を示すブロック図である。図３に示される実施形態２に係る画像通信装置と同様に、本実施形態３に係る画像通信装置１００は、ネットワークなどの通信路２９を介して相互に接続される、送信ユニット１０と受信ユニット２０とを含んで構成される。送信ユニット１０は、実施形態２の送信ユニットと同様に、撮像素子１９から入力される撮像信号を処理する撮像信号処理部１１と、符号化モードに基づいて映像信号を符号化して符号化ストリームを生成する符号化部１２と、生成された符号化ストリームを所定のプロトコルに乗せて通信路２９に送出する送信部１３とを備えるが、さらに画像認識部１５を備え、受信部１４は省略される。受信ユニット２０は、実施形態２の受信ユニットと同様に、通信路２９から受信した信号から符号化ストリームを再生する受信部２１と、受信された符号化ストリームを復号して復号画像を生成する復号部２２と、復号された復号画像に対して画像認識処理を実行する画像認識部２５とを備えるが、パラメータ送信部２６は省略される。

【0099】

実施形態２では、受信ユニット２０の画像認識部２５で実際に実行された画像認識処理の結果に基づいて、受信ユニット２０における画像認識率などの認識結果の確からしさを向上させる方向に、符号化に使用する符号化モードを調整（最適化）した。本実施形態３では、受信ユニット２０から制御情報を送る代わりに、送信ユニット１０内に別の画像認識部１５を設けて画像認識処理を実行することにより、受信ユニット２０の画像認識部２５における認識結果の確からしさを示す認識精度情報等を推定する。推定された認識精度情報等に基づいて、送信ユニット１０での符号化に使用する符号化モードを調整（最適化）する。これにより、より早く適切な符号化モードを算出或いは選択して、符号化処理を実行することができる。例えば、実施形態２では、受信ユニット２０で復号され画像認識処理が実行された後に初めて制御情報が送信ユニット１０にフィードバックされるため数フレームの遅延が生じるが、本実施形態３では最短では符号化の対象とされるフレームの映像信号に対する画像認識の結果に基づいて、そのフレームの符号化モードを調整することができるので、遅延を最小限に抑えることができる。

【0100】

図４に示される構成例では、送信側画像認識部１５は撮像信号処理部１１に接続される例を示したが、これに代えて、符号化部１２に接続してローカル復号画像を対象とする画像認識処理を実行することができるように構成してもよい。

【0101】

また、実施形態２と同様に受信ユニット２０がパラメータ送信部２６を送信ユニット１０が受信部１４をそれぞれ備えるように構成し、送信側画像認識部１５による認識結果の確からしさを示す認識精度情報等と、受信ユニット２０から伝送される受信側の画像認識部２５による認識精度情報等とを合わせて評価して、符号化に使用する符号化モードを調整（最適化）してもよい。

【0102】

〔実施形態４〕＜受信した符号化モードを撮像信号処理部で使用＞
図５は、実施形態４に係る画像通信装置の構成例を示すブロック図である。図３に示される実施形態２に係る画像通信装置と同様に、本実施形態５に係る画像通信装置１００は、ネットワークなどの通信路２９を介して相互に接続される、送信ユニット１０と受信ユニット２０とを含んで構成される。受信ユニット２０は、実施形態２の受信ユニットと同様に、通信路２９から受信した信号から符号化ストリームを再生する受信部２１と、受信された符号化ストリームを復号して復号画像を生成する復号部２２と、復号された復号画像に対して画像認識処理を実行する画像認識部２５と、パラメータ送信部２６とを備える。送信ユニット１０は、実施形態２の送信ユニットと同様に、撮像素子１９から入力される撮像信号を処理する撮像信号処理部１１と、映像信号を符号化して符号化ストリームを生成する符号化部１２と、生成された符号化ストリームを所定のプロトコルで通信路２９に送出する送信部１３と、受信部１４とを備えるが、受信部１４で受信された制御情報は、撮像信号処理部１１に供給される。

【0103】

撮像信号処理部１１では、入力された撮像信号に対してさまざまな処理が行われる。例えば、ゲイン調整、逆光補正、画像レベル調整、ガンマ補正、色補正、フィルタ処理などである。これらの補正や処理に対して、一般的にはアプリケーションによって最適だと思われるパラメータが設定される。本実施形態では、受信ユニット２０からの制御情報を送信ユニット１０で取得することが可能となる為、画像認識率や認識結果を撮像信号処理１１内の信号処理にフィードバックすることが可能となり、画像認識に適した映像信号の生成が可能となる。

【0104】

例えば、道路標識を認識する場合などに、受信ユニット２０内の画像認識部２５のアプリケーション、アルゴリズムとして色情報を使用することがある。この様な場合には受信ユニット２０からの制御情報を使用して撮像信号処理部１１内の色補正を調整しながら認識率を向上させることが可能となる。また、撮像信号処理部内にてローパスフィルタ等のフィルタ処理を行っている場合は、フィルタの強弱、ON/OFFの切り替え、さらには認識領域周辺に特化したフィルタ強弱、ON/OFFの切替を実施する。

【0105】

以上のように、本来送信ユニット１０では知りえない情報である画像認識率、認識領域や復号情報を撮像信号処理部１１内の信号処理の最適化処理に使用することが可能となる。従って、撮像信号処理部１１での画像生成において、画像認識に適した画像の生成が可能となり、受信ユニット２０での画像認識率向上が可能となる。

【0106】

図５に示される構成例では、受信部１４から符号化部１２へは制御情報が供給されないが、実施形態２と同様に、受信部１４から符号化部１２へも制御情報を供給するように構成しても良い。これにより、符号化部１２に入力される映像信号と、その符号化モードが共に、画像認識処理に適するように調整（最適化）される。

【0107】

〔実施形態５〕＜認識用画像／認識用マーカー＞
以上の実施形態では、入力される映像信号をそのまま使って、符号化、復号、画像認識処理を行なったときの認識精度情報等を使って、符号化モードを調整（最適化）するが、本実施形態５では、入力される映像信号に代えて既知の画像を用いて、符号化モードを調整（最適化）する実施形態について説明する。既知の画像を用いるため、画像認識処理の結果などについて、期待値を準備することができる。そのため、より正確に最適な符号化モードを決定することができる。本実施形態５で説明する技術は、上で説明した実施形態１〜４を始め、種々の実施形態にも組合せることが可能である。

【0108】

図６は、実施形態５に係る符号化部１２の構成例を示すブロック図である。符号化部１２は、入力される映像信号である原画像に代えて評価用画像を対象として、或いは、原画像に評価用マーカーを挿入された画像を対象として、符号化処理を施して符号化ストリームを生成する。符号化部１２は、セレクタ３３と３４、認識用マーカー挿入部３５、減算器３６、イントラ予測３１、インター予測３２、変換３７、逆変換４１、量子化３８、逆量子化４０、符号化３９、デブロッキングフィルタ４２及び参照画像メモリ４３を備える。セレクタ３４は、入力される映像信号である原画像と評価用画像のいずれかを選択して符号化部１２に入力する。認識用マーカー挿入部３５は、入力された画像信号に、認識用マーカーを挿入することができる。セレクタ３３は、イントラ予測３１またはインター予測３２の結果を減算器３６に入力し、セレクタ３４から入力される符号化処理の対象である画像信号から減算して、減算器３６から差分信号を出力させる。差分信号は、例えば離散コサイン変換などの直交変換３７、量子化３８され、さらに例えばエントロピーコーディングなどにより符号化３９されて、符号化ストリームとして出力される。量子化３８の出力は、逆量子化４０、変換３７の逆変換４１を経てローカル復号画像として出力され、イントラ予測３１に供給され、また、デブロッキングフィルタ４２を経て参照画像メモリ４３に格納される。参照画像メモリ４３に格納されたローカル復号画像は、インター予測３２で参照される。また、デブロッキングフィルタ４２のパラメータは、符号化３９によって符号化ストリームに含めて復号部へ送出される。図６には、符号化部１２のみが示されるが、他の構成と動作は、図１、３、４、５をそれぞれ示した各実施形態の画像通信装置１００と同様である。

【0109】

各実施形態の画像通信装置１００に、実施形態５に係る符号化部１２を搭載することにより、システム上での効率的なキャリブレーションが可能となる。例えば、受信ユニット２０内画像認識部２３のアルゴリズムの最適化を行う際に、予め期待値が分かっている画像を符号化したものを認識画像として使用することができる。また、符号化部１２の符号化モードの選択に使用する認識率の計測を補助する機能となるため、より正確なフィードバックが可能となる。

【0110】

通常、伝送路２９は帯域が制限されており、符号化部１２は限られた帯域内でより適切な符号化処理をする必要がある。ここで、「より適切な符号化」を、受信ユニット２０内でより高い画像認識率を実現する符号化とした場合に、本構成を使用することによりシステムとして決定するシーケンスレベルのパラメータ調整を効率的に実施することが可能となる。

【0111】

シーケンスレベルのパラメータには４：２：０／４：２：２等のカラーフォーマットや8/10/12/14bit等のビット深度などがある。例えば、画像のビット深度として8bitで符号化するか10bitで符号化するかを考えた場合、ビットレートが同一（帯域が同一）な場合は10bitで符号化すると8bitで符号化した場合に比べ情報量が増加し、量子化値を大きくする必要があり、条件によっては画質劣化する場合がある。また、画像認識率に関しては画像認識アルゴリズムなどの影響でどちらが有利かを判断することが難しい場合もある。本構成を使用することにより、画像認識アルゴリズムを含めたシステムとしての最適な符号化を決定することが可能となる。

【0112】

以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。

【0113】

例えば、撮像信号処理部１１、符号化部１２、復号部２２、画像認識部１５及び２５などの信号処理は、専用の論理回路を使って実装されてもよいし、プロセッサなどで実行されるソフトウェアによって実装されても良い。また、伝送路２９は、有線のネットワークでも無線のネットワーク或いはピアトゥピア（Pear to Pear）の通信回線であってもよい。

【符号の説明】

【0114】

１０ 画像送信装置（送信ユニット）
１１ 撮像信号処理部
１２ 符号化部
１３ 送信部
１４ 受信部
１５ 画像認識部
１６ 符号化処理部
１７ 符号化モード決定部
１９ 撮像素子
２０ 画像受信装置（受信ユニット）
２１ 受信部
２２ 復号部
２５ 画像認識部
２６ パラメータ送信部
２９ 通信路（ネットワーク）
３１ イントラ予測
３２ インター予測
３３、３４ セレクタ
３５ 認識用マーカー挿入部
３６ 減算器
３７ 変換
３８ 量子化
３９ 符号化
４０ 逆量子化
４１ 逆変換
４２ ブロッキングフィルタ
４３ 参照画像メモリ
１００ 画像通信装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】