特開 2023-128983 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023128983

(43)【公開日】2023-09-14

(54)【発明の名称】画像処理装置、画像処理方法、画像処理プログラム及び記録媒体

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230907BHJP

【ＦＩ】

H04N5/232 290

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022033698

(22)【出願日】2022-03-04

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】110001025

【氏名又は名称】弁理士法人レクスト国際特許事務所

(72)【発明者】

【氏名】加藤 信彦

(72)【発明者】

【氏名】中根 昌夫

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122DA14

5C122EA07

5C122FH09

5C122FH10

5C122FH14

5C122FH22

5C122GC06

5C122GC14

5C122GC20

5C122GC52

5C122HA65

5C122HA86

5C122HB01

5C122HB05

5C122HB09

(57)【要約】

【課題】
撮影された画像中の被写体に対して、適切な画像処理を行うことが可能な画像処理装置を提供することを目的の１つとしている。
【解決手段】
撮像装置によって撮影された撮影画像を取得する画像取得部と、前記撮影画像中の文字を検出する文字検出部と、当該検出された文字の実際の鉛直方向の高さが所定の高さよりも低い場合又は前記文字の実際のサイズが所定のサイズよりも小さい場合に、前記文字を不鮮明にする処理を行う画像処理部と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮像装置によって撮影された撮影画像を取得する画像取得部と、
前記撮影画像中の文字を検出する文字検出部と、
当該検出された文字の実際の鉛直方向の高さが所定の高さよりも低い場合又は前記文字の実際のサイズが所定のサイズよりも小さい場合に、前記文字を不鮮明にする処理を行う画像処理部と、を有する画像処理装置。

【請求項2】

前記画像処理部は、前記撮影画像が撮影された撮影位置から前記文字までの距離に基づいて、前記鉛直方向の高さ又は前記文字のサイズを取得する請求項１に記載の画像処理装置。

【請求項3】

前記画像処理部は、前記文字検出部によって検出された前記文字が所定の語と一致する場合に、前記文字を不鮮明にする処理を実行する請求項１又は２に記載の画像処理装置。

【請求項4】

前記所定の語は、人名または地名に関する語である請求項３に記載の画像処理装置。

【請求項5】

前記撮影画像の撮影位置及び撮影方向を含む撮影情報を取得する撮影情報取得部と、
地物の位置と当該地物の属性を示す情報を含む地図情報と、前記撮影情報とに基づいて、前記撮影画像中の地物の属性を特定する属性特定部と、
前記撮影画像中において、前記属性特定部によって特定された属性が所定の属性である地物が写っている領域を、画像処理を行う対象領域として特定する対象領域特定部と、をさらに有し、
前記文字検出部は、前記対象領域特定部によって特定された前記対象領域内の文字を検出する請求項１乃至４のいずれか１つに記載の画像処理装置。

【請求項6】

画像処理装置によって実行される画像処理方法であって、
撮像装置によって撮影された撮影画像を取得する画像取得ステップと、
前記撮影画像中の文字を検出する文字検出ステップと、
当該検出された文字の実際の鉛直方向の高さが所定の高さよりも低い場合又は前記文字の実際のサイズが所定のサイズよりも小さい場合に、前記文字を不鮮明にする処理を行う画像処理ステップと、
を含む画像処理方法。

【請求項7】

コンピュータを備える画像処理装置によって実行される画像処理プログラムであって、前記コンピュータに、
撮像装置によって撮影された撮影画像を取得する画像取得ステップと、
前記撮影画像中の文字を検出する文字検出ステップと、
当該検出された文字の実際の鉛直方向の高さが所定の高さよりも低い場合又は前記文字の実際のサイズが所定のサイズよりも小さい場合に、前記文字を不鮮明にする処理を行う画像処理ステップと、
を実行させるための画像処理プログラム。

【請求項8】

コンピュータを備える画像処理装置に、
撮像装置によって撮影された撮影画像を取得する画像取得ステップと、
前記撮影画像中の文字を検出する文字検出ステップと、
当該検出された文字の実際の鉛直方向の高さが所定の高さよりも低い場合又は前記文字の実際のサイズが所定のサイズよりも小さい場合に、前記文字を不鮮明にする処理を行う画像処理ステップと、
を実行させる画像処理プログラムを記憶するコンピュータが読取可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、画像処理プログラム及び記録媒体に関し、特に、地図情報に基づいて画像処理を行う画像処理装置、画像処理方法、画像処理プログラム及び記録媒体に関する。

【背景技術】

【0002】

撮像装置で撮影した画像中に写っているものに関して、個人情報を保護するための処理を行う装置が提案されている。

【0003】

例えば、特許文献１には、カメラが撮影した画像に含まれる個人情報として人物の顔や予め決められた対象物等を画像認識によって検出し、当該個人情報を判別不能にする画像処理を施す撮像装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１７７５９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

例えば、個人の住宅の表札が写り込んだ画像をＳＮＳ（Social Networking Service）等を通じてインターネット上に公開すると、当該住宅の持ち主や住人のプライバシーを侵害する場合があることが課題の一つとして挙げられる。

【0006】

上記のようなプライバシーの侵害を防止するために、画像を不鮮明にするなどの画像処理を施すことが考えられるが、画像中の画像処理が不要な領域にまで画像処理を施すことになり元の風景の情報が失われてしまう等、元の画像中の情報が過剰に失われ得ることが課題の一つとして挙げられる。

【0007】

本発明は上記した点に鑑みてなされたものであり、撮影された画像中の被写体に対して、適切な画像処理を行うことが可能な画像処理装置を提供することを目的の１つとしている。

【課題を解決するための手段】

【0008】

請求項１に記載の発明は、撮像装置によって撮影された撮影画像を取得する画像取得部と、前記撮影画像中の文字を検出する文字検出部と、当該検出された文字の実際の鉛直方向の高さが所定の高さよりも低い場合又は前記文字の実際のサイズが所定のサイズよりも小さい場合に、前記文字を不鮮明にする処理を行う画像処理部と、を有する画像処理装置である。

【0009】

請求項６に記載の発明は、画像処理装置によって実行される画像処理方法であって、撮像装置によって撮影された撮影画像を取得する画像取得ステップと、前記撮影画像中の文字を検出する文字検出ステップと、当該検出された文字の実際の鉛直方向の高さが所定の高さよりも低い場合又は前記文字の実際のサイズが所定のサイズよりも小さい場合に、前記文字を不鮮明にする処理を行う画像処理ステップと、を含む画像処理方法である。

【0010】

請求項７に記載の発明は、コンピュータを備える画像処理装置によって実行される画像処理プログラムであって、前記コンピュータに、撮像装置によって撮影された撮影画像を取得する画像取得ステップと、前記撮影画像中の文字を検出する文字検出ステップと、当該検出された文字の実際の鉛直方向の高さが所定の高さよりも低い場合又は前記文字の実際のサイズが所定のサイズよりも小さい場合に、前記文字を不鮮明にする処理を行う画像処理ステップと、を実行させるための画像処理プログラムである。

【0011】

請求項８コンピュータを備える画像処理装置に、撮像装置によって撮影された撮影画像を取得する画像取得ステップと、前記撮影画像中の文字を検出する文字検出ステップと、当該検出された文字の実際の鉛直方向の高さが所定の高さよりも低い場合又は前記文字の実際のサイズが所定のサイズよりも小さい場合に、前記文字を不鮮明にする処理を行う画像処理ステップと、を実行させる画像処理プログラムを記憶するコンピュータが読取可能な記憶媒体である。

【図面の簡単な説明】

【0012】

【図1】実施例に係る画像処理システム１００を示す図である。

【図2】実施例に係る端末装置が搭載されている車両の前席部分を示す図である。

【図3】実施例に係る端末装置の構成を示すブロック図である。

【図4】実施例に係る撮影情報に含まれる情報の一例を示す図である。

【図5】実施例に係る画像処理装置の構成を示すブロック図である。

【図6】実施例に係る地図情報の一例を示す図である。

【図7】実施例に係る撮影位置と車両の周辺の地物との位置関係を示す上面図である。

【図8】実施例に係る再現画像の一例を示す図である。

【図9】実施例に係る対象領域の特定に使用する属性の設定例を示す図である。

【図10】実施例に係る撮影画像の一例を示す図である。

【図11】実施例に係る画像処理後の撮影画像の一例を示す図である。

【図12】実施例に係る画像処理装置が画像処理の属性を特定する際に実行するルーチンの一例を示すフローチャートである。

【図13】実施例に係る画像処理装置が画像処理の対象領域を特定する際に実行するルーチンの一例を示すフローチャートである。

【図14】実施例に係る画像処理装置が画像処理を行う際に実行するルーチンの一例を示すフローチャートである。

【図15】実施例に係る画像処理装置が画像処理を行う際に実行するルーチンの一例を示すフローチャートである。

【図16】実施例に係る撮影画像の一例を示す図である。

【図17】実施例に係る画像処理後の撮影画像の一例を示す図である。

【図18】実施例に係る画像処理装置が画像処理を行う際に実行するルーチンの一例を示すフローチャートである。

【図19】実施例に係る画像処理後の撮影画像の一例を示す図である。

【発明を実施するための形態】

【0013】

以下に本発明の実施例について詳細に説明する。なお、以下の説明及び添付図面においては、実質的に同一又は等価な部分には同一の参照符号を付している。

【実施例0014】

添付図面を参照しつつ、実施例に係る画像処理装置１０を含む画像処理システム１００の構成について説明する。

【0015】

図１は、画像処理システム１００の概略を示す図である。図１に示すように、画像処理システム１００は、画像処理装置１０及び車両Ｍに搭載されている端末装置２０を含んで構成されている。

【0016】

画像処理装置１０は、端末装置２０との間でネットワークＮＷを介して通信を行うサーバ装置である。画像処理装置１０と端末装置２０とは、例えば、ＴＣＰ／ＩＰ等の通信プロトコルを用いて相互にデータの送受信が可能になっている。端末装置２０とネットワークＮＷとの接続は、例えば４Ｇ（4th Generation）又は５Ｇ（5th Generation）等の移動体通信、Ｗｉ－Ｆｉ（登録商標）等の無線通信によりなされ得る。

【0017】

画像処理装置１０は、車両Ｍに取り付けられたカメラによって撮影された画像を端末装置２０から受信して、当該画像中のプライバシー保護等のための不鮮明にする処理や目印を強調する処理等の画像処理を施す対象である対象領域を特定し、当該画像中の対象領域に所定の画像処理を実行し、当該画像処理後の画像を記憶する。

【0018】

端末装置２０は、車両Ｍに取り付けられたカメラによって撮影された画像を画像処理装置１０に送信する。

【0019】

画像処理システム１００は、例えば、画像処理システム１００のユーザが、画像をＳＮＳ（Social Networking Service）又は電子地図等を通じてインターネット上に公開する際に、プライバシー保護のための処理が施された画像を提供するシステムである。

【0020】

画像処理システム１００のユーザは、例えば、個人の住宅の表札が写り込んだ画像に対して、表札が写っている部分を不鮮明にする処理が施された画像を公開することができ、その表札を掲げている住宅の持ち主や住人等のプライバシーを侵害せずに済む。

【0021】

また、例えば、画像処理システム１００のユーザは、撮影場所を特定されたくない場合に、商業施設が写り込んだ画像に対して、当該商業施設が写っている部分を不鮮明にする処理が施された画像を公開することができ、ユーザ自身のプライバシーを保護することができる。

【0022】

図２は、車両Ｍの前席部分を示す図である。図２に示すように、端末装置２０は、車両Ｍのセンターコンソールに配置されている。本実施例において、端末装置２０は、経路生成機能及びナビゲーション機能（いわゆるカーナビゲーション機能）を有する。なお、端末装置２０自体はカーナビゲーション機能を有さなくてもよい。その場合は、端末装置２０は、車両Ｍに搭載されているカーナビゲーション装置に車両Ｍの位置情報を取得可能に接続されていてもよい。

【0023】

前方カメラ１１は、ダッシュボードＤＢ上に設けられている。前方カメラ１１は、車両Ｍの進行方向を撮影方向としている。車両Ｍの進行方向を前方としたとき、前方カメラ１１は、車両Ｍの前方、右前方及び左前方を含む範囲の画像を撮影可能に配置されている。

【0024】

前方カメラ１１は、車両Ｍの前方の映像を撮影可能であれば車両Ｍのいずれの箇所に設けられてもよい。例えば、前方カメラ１１は、ルームミラーＲＭの裏、すなわちフロントガラスＦＧに対向する面に配されていてもよく、車両Ｍの外側面（外装面）、例えばボンネット上またはフロントバンパー等に設けられていてもよい。

【0025】

前方カメラ１１は、端末装置２０と通信可能に接続されており、撮影した映像の信号を端末装置２０に送信することが可能である。

【0026】

ＧＮＳＳ受信機１３は、ＧＮＳＳ（Global Navigation Satellite System）衛星からの信号（ＧＮＳＳ信号）を受信する装置である。ＧＮＳＳ受信機１３は、例えば、前方カメラ１１に内蔵されている。

【0027】

なお、ＧＮＳＳ受信機１３は、ＧＮＳＳ信号が受信できれば車両Ｍ内のいずれの箇所に配されていてもよい。例えば、ＧＮＳＳ受信機１３は前方カメラ１１の近傍に配置されていてもよい。例えば、ＧＮＳＳ受信機１３は、ダッシュボードＤＢ上に配されていてもよい。

【0028】

ＧＮＳＳ受信機１３は、端末装置２０と通信可能に接続されており、受信したＧＮＳＳ信号を端末装置２０に送信することが可能である。端末装置２０は、ＧＮＳＳ信号を用いて車両Ｍの現在位置情報を取得する。

【0029】

なお、ＧＮＳＳ受信機１３は、Real Time Kinematic（ＲＴＫ）測位に対応した受信機であってもよく、ＧＮＳＳによる位置情報を修正した高精度の位置情報を受信可能になっていてもよい。

【0030】

タッチパネルディスプレイ１５は、タッチパネル及びディスプレイからなる。タッチパネルディスプレイ１５は、端末装置２０と通信可能に接続されている。タッチパネルディスプレイ１５のディスプレイは、端末装置２０から供給される画像を表示する。タッチパネルディスプレイ１５のタッチパネルは、タッチパネルへの接触による入力操作を示す信号を端末装置２０に送信する。

【0031】

例えば、タッチパネルディスプレイ１５は、車両Ｍの経路案内に関する表示及び入力操作を示す信号を端末装置２０に送信する。

【0032】

例えば、タッチパネルディスプレイ１５は、画像処理システム１００における画像処理に関してユーザが設定を行うための入力操作を示す信号を端末装置２０に送信する。例えば、当該設定は、プライバシーを保護するために不鮮明にする処理や目立たせたい部分を強調する処理等の画像処理の態様の設定である。また、当該設定は、例えば、個人宅等地物の持ち主のプライバシーを保護するモード又は画像処理システム１００のユーザのプライバシーの保護等のプライバシーの保護対象によって異なるプライバシー保護モードの設定である。

【0033】

なお、例えば、端末装置２０は、画像処理に関する設定を行うための入力操作を、車両Ｍに備えられたマイク（図示せず）を介して音声によって受け付けてもよい。

【0034】

図３及び図４を参照しつつ、車両Ｍに搭載されている端末装置２０の構成及び機能について説明する。

【0035】

図３は、端末装置２０の構成を示すブロック図である。図３に示すように、端末装置２０は、システムバス２１を介して各部が接続されて構成されている。

【0036】

入力部２３は、端末装置２０と車両Ｍに備えられた機器とを通信可能に接続するインターフェースである。

【0037】

入力部２３は、端末装置２０と、前方カメラ１１とを通信可能に接続するインターフェースである。

【0038】

入力部２３は、端末装置２０をＧＮＳＳ受信機１３に接続するインターフェースである。端末装置２０は、ＧＮＳＳ受信機１３からＧＮＳＳ信号を受信して、車両Ｍの現在位置を示す情報を取得する。

【0039】

入力部２３は、端末装置２０とタッチパネルディスプレイ１５のタッチパネルとを通信可能に接続するインターフェースである。

【0040】

入力部２３は、端末装置２０とジャイロセンサＧＹ及び加速度センサＡＣとを通信可能に接続するインターフェースである。ジャイロセンサＧＹは、例えば、車両Ｍの横方向の角度（姿勢）や角速度あるいは角加速度を検出することが可能なセンサである。加速度センサＡＣは、車両Ｍの上方から見て車両Ｍの進行方向、すなわち前後方向の加速度を検出可能なセンサである。また、加速度センサＡＣは、例えば、車両Ｍの進行方向と垂直な横方向（幅方向）の加速度を検出可能である。

【0041】

端末装置２０は、例えば、ＧＮＳＳ受信機１３により取得された車両Ｍの現在位置情報の遷移、並びにジャイロセンサＧＹ及び加速度センサＡＣのセンサ信号が示す加速度の向きに基づいて、車両Ｍの進行方向を示す情報を取得する。

【0042】

また、端末装置２０は、例えば、車両Ｍの進行方向を示す情報を用いて、前方カメラ１１によって撮影された画像の撮影方向を示す情報を取得する。

【0043】

記憶部２５は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成されており、端末装置２０において実行される各種プログラムを記憶する。なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部２５に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータに読み取り可能な記録媒体に記録して譲渡することが可能である。

【0044】

記憶部２５には、地図情報データベース（図示せず）が構築されている。地図情報データベースには、端末装置２０による車両Ｍの経路生成等に用いられる地図情報が格納されている。

【0045】

制御部２７は、ＣＰＵ（Central Processing Unit）２７Ａ、ＲＯＭ（Read Only Memory）２７Ｂ、ＲＡＭ（Random Access Memory）２７Ｃ等により構成され、コンピュータとして機能する。そして、ＣＰＵ２７Ａが、ＲＯＭ２７Ｂや記憶部２５に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。

【0046】

制御部２７は、入力部２３を介して、車両Ｍの前方の風景を撮影した動画又は静止画である画像を前方カメラ１１から取得する。

【0047】

制御部２７は、入力部２３を介して、車両Ｍの現在位置情報をＧＮＳＳ受信機１３から取得する。当該現在位置情報は、例えば、時刻を示す情報と、その時刻における車両Ｍの位置を示す情報が対応付けられた情報である。当該車両Ｍの位置を示す情報は、地図上の位置を示す情報であってもよい。

【0048】

また、制御部２７は、前方カメラ１１から取得した画像と、当該画像が撮影された際の撮影位置及び撮影方向を含む撮影条件を示す情報とを対応づけて、撮影情報を生成する。

【0049】

制御部２７は、当該画像が撮影された際のカメラ１１の位置である撮影位置を示す情報を取得する。例えば、制御部２７は、ＧＮＳＳ受信機からＧＮＳＳ信号を取得し、受信したＧＮＳＳ信号に基づいて、画像の撮影位置を示す情報を取得する。

【0050】

例えば、制御部２７は、画像が撮影された時刻における車両Ｍの位置情報をＧＮＳＳ受信機１３から取得し、当該位置情報が示す位置を撮影位置とする。例えば、制御部２７は、前方カメラ１１の取り付け位置とＧＮＳＳ受信機１３の取り付け位置とが離れている場合には、当該取り付け位置の差分について補正を行って撮影位置を算出してもよい。

【0051】

また、当該撮影位置は、水平方向の位置に加えて、高さ方向の位置を含んでいてもよい。例えば、当該高さ方向の位置は、車両Ｍの車高及び前方カメラ１１の取り付け位置によって決まり、当該高さ方向の位置を示す情報は、前方カメラ１１に対応付けて、記憶部２５に記憶されていてもよい。

【0052】

例えば、制御部２７は、ＧＮＳＳ受信機から、ＱＺＳＳ信号（Quasi-Zenith Satellite System）（準天頂衛星システム、みちびき）信号を取得して、受信したＱＺＳＳ信号に基づいて、画像の撮影位置を示す高精度の位置情報を取得してもよい。

【0053】

また、例えば、制御部２７は、ＲＴＫ測位を利用してＧＮＳＳによる位置情報を修正した情報を取得し、より高精度の撮影位置を取得してもよい。

【0054】

制御部２７は、例えば、画像が撮影された際の前方カメラ１１の向き及び車両Ｍの加速度に基づいて取得される車両Ｍの進行方向に基づいて、撮影方向を取得する。例えば、制御部２７は、前方カメラ１１が車両Ｍの前方に向くように固定されている場合には、車両Ｍの進行方向を撮影方向として取得してもよい。

【0055】

例えば、制御部２７は、前方カメラ１１が車両Ｍの進行方向に対する角度が可変に取り付けられている場合には、撮影時の前方カメラの１１の向きを示す情報を前方カメラ１１から取得し、車両Ｍの進行方向及び前方カメラ１１の向きに基づいて撮影方向を取得してもよい。

【0056】

さらに、制御部２７は、撮影位置及び撮影方向に加えて、前方カメラ１１の画像とともに、前方カメラ１１の画角を示す情報を取得してもよい。すなわち、撮影情報には、画像が撮影された際の画角を示す情報が含まれてもよい。例えば、画角を示す情報は前方カメラ１１に保持されており、画像とともに端末装置２０に送信される。

【0057】

図４は、端末装置２０の制御部２７によって生成される撮影情報の一例を示す図である。図４に示す例においては、前方カメラ１１によって取得された複数の画像のうちの１つの画像について、当該画像のフレーム番号に、当該画像が取得された際の撮影位置、撮影方向及び画角が対応付けられている。

【0058】

図４に示す例において、撮影位置は高さ方向の位置も含む３次元の座標として表されている。なお、撮影位置は３次元の座標に限られず、２次元の座標であってもよい。

【0059】

撮影方向は、例えば北を０°とした方位角で表される。

【0060】

画角は、例えば水平方向、垂直方向、及び対角方向の角度で表される。撮影情報に含まれる画角はこれに限られず、例えば水平方向の角度のみであってもよい。

【0061】

制御部２７は、生成した撮影情報を画像処理装置１０に送信する。制御部２７は、図４に例示したような、フレームごとの撮影情報を逐次送信してもよく、所定のフレーム数毎に、又は所定の時間毎に撮影情報を送信してもよい。

【0062】

再び図３を参照すると、通信部２９は、無線装置（図示せず）に接続されているＮＩＣ（Network Interface Card）等のネットワークアダプタである。通信部２９は、制御部２７からの命令に従って、画像処理装置１０との通信を行う。例えば、通信部２９は、端末装置２０が撮影情報を画像処理装置１０に送信する際の通信を行う。

【0063】

出力部３１は、車両Ｍに備えられたタッチパネルディスプレイ１５のディスプレイに接続されている。出力部３１は、制御部２７からの命令に従って、ディスプレイに各種情報を供給するためのインターフェースである。

【0064】

例えば、出力部３１は、ナビゲーション画面を表示するための情報をディスプレイに供給する。また、例えば、出力部３１は、画像処理装置１０によるプライバシー保護モードの設定等の画像処理に関する設定の入力を受け付ける画面を表示するための情報をディスプレイに供給する。例えば、出力部３１は、前方カメラ１１によって撮影された画像をディスプレイに供給してもよい。

【0065】

続いて、図５～９を参照しつつ、画像処理装置１０の構成及び機能について説明する。

【0066】

図５は、画像処理装置１０の構成を示すブロック図である。図５に示すように、画像処理装置１０は、システムバス４１を介して各部が接続されて構成されているサーバ装置である。

【0067】

大容量記憶装置４３は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成された記憶装置である。大容量記憶装置４３は、画像処理装置１０において実行される各種プログラムを記憶する。なお、各種プログラムは、例えば他のサーバ装置等からネットワークを介して取得されてもよく、記録媒体に記録されて各種ドライブ装置を介して読み込まれてもよい。

【0068】

例えば、大容量記憶装置４３は、画像処理装置１０が、画像中の画像処理を行う対象となる対象領域を特定する際に実行する画像処理プログラムを記憶する。

【0069】

例えば、大容量記憶装置４３は、画像処理装置１０が、画像中の対象領域に画像処理を行う際に実行する画像処理プログラムを記憶する。

【0070】

例えば、大容量記憶装置４３は、画像処理装置１０が、プライバシーを侵害する蓋然性が高い所定の条件に合致する文字が写っている画像中の領域を不鮮明にする処理を行う際に実行する画像処理プログラムを記憶する。当該プライバシーを侵害する蓋然性が高い文字は、例えば、地面からの高さが所定の高さ以下又は当該文字の大きさが所定の大きさ以下の文字、又は人名や地名等に関する語に一致する文字である。

【0071】

大容量記憶装置４３は、各種プログラムを実行するために必要なデータが格納されたデータベースを記憶している。

【0072】

大容量記憶装置４３は、地図情報データベース（以下、地図情報ＤＢと称する）４３Ａを含む。地図情報ＤＢ４３Ａには、地物の位置と当該地物の属性を示す情報を含む地図情報が記憶されている。地図情報ＤＢ４３Ａに記憶されている地図情報において、地物の位置情報及び地物の各々の属性を示す情報が対応付けられている。

【0073】

例えば、地図情報ＤＢ４３Ａに記憶されている地図情報は、例えば、地物の位置情報が３次元で表された地図情報である。なお、当該地図情報において、地物の位置情報が２次元で表されていてもよい。

【0074】

当該地図情報は、本実施例において、撮影画像中の地物の属性に基づいて画像処理の対象領域を特定する際に利用される。

【0075】

図６は、地図情報ＤＢに記憶されている属性を示す情報の一例を示す図である。図６に示すように、地図情報ＤＢにおいて、地物の各々を特定する識別子である地物ＩＤと、当該地物の属性が対応付けられて記憶されている。

【0076】

図６に示すように、地物の属性としては、個人宅や個人商店等の私的な性質の属性や、商業施設や公共施設等の公共性の高い属性が挙げられる。

【0077】

図６に示す例の他に、地図情報には、電柱やマンホールが地物として記憶されていてもよい。例えば、電柱には街区表示板等の住所を特定可能な表示が掲示されている場合が多く、撮影画像中に電柱が写っている場合に、本実施例の画像処理の対象とするか否かの判定が必要になる場合がある。また、マンホールについても、当該マンホールが設置されている自治体等を特定可能な文字または図形が描かれている場合も多く、例えば撮影場所を特定されないようにする際に、本実施例の画像処理の対象とするか否かの判定が必要になる場合がある。

【0078】

大容量記憶装置４３は、辞書データベース（以下、辞書ＤＢと称する）４３Ｂを含む。辞書ＤＢ４３Ｂには、画像処理装置１０によって、画像中に写っている文字に関する処理が行われる際に参照される所定の語が記憶されている。

【0079】

例えば、辞書ＤＢ４３Ｂには、多数の人名を収録した人名辞書が記憶されている。例えば、当該人名辞書は、画像処理装置１０によって、画像中に写り込んだ個人の住宅の表札の文字部分を不鮮明にする処理が行われる際に、例えば人名辞書に含まれる人名が画像中の文字に含まれるか否かの判定に使用される。

【0080】

例えば、辞書ＤＢ４３Ｂには、多数の地名を収録した地名辞書が記憶されている。例えば、当該地名辞書は、画像処理装置１０によって、画像中に写り込んだ街区標示板等の地名を示す文字部分を不鮮明にする処理が行われる際に、例えば地名辞書に含まれる地名が画像中の文字に含まれるか否かの判定に使用される。

【0081】

制御部４５は、ＣＰＵ（Central Processing Unit）４５Ａ、ＲＯＭ（Read Only Memory）４５Ｂ、ＲＡＭ（Random Access Memory）４５Ｃ等により構成され、コンピュータとして機能する。そして、ＣＰＵ４５Ａが、ＲＯＭ４５Ｂや大容量記憶装置４３に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。

【0082】

制御部４５は、大容量記憶装置４３に記憶された画像処理プログラムを読み出して実行することで、画像中の画像処理を行う対象となる対象領域を特定する。

【0083】

制御部４５は、大容量記憶装置４３に記憶された画像処理プログラムを読み出して実行することで、画像中の対象領域に画像処理を行う。

【0084】

制御部４５は、大容量記憶装置４３に記憶された画像処理プログラムを読み出して実行することで、プライバシーを侵害する蓋然性が高い所定の条件に合致する文字が写っている画像中の領域を不鮮明にする処理を行う。プライバシーを侵害する蓋然性が高い文字は、例えば、地面からの高さが所定の高さ以下又は当該文字の大きさが所定の大きさ以下の文字、又は人名や地名等に関する語に一致する文字である。

【0085】

通信部４７は、無線装置（図示せず）に接続されているＮＩＣ（Network Interface Card）等のネットワークアダプタである。通信部４７は、制御部４５からの命令に従って、画像処理装置１０と外部との通信を行う。

【0086】

例えば、通信部４７は、画像処理装置１０が、車両Ｍに取り付けられた前方カメラ１１によって撮影された画像、当該画像の撮影位置及び撮影方向を含む撮影情報を端末装置２０から取得する際の通信を行う。

【0087】

以下、図７～１１を参照しつつ、画像処理装置１０の制御部４５の機能について詳細に説明する。

【0088】

制御部４５は、撮像装置としての前方カメラ１１によって撮影された撮影画像、当該撮影画像の撮影位置及び撮影方向を含む撮影情報を端末装置２０から取得し、撮影情報取得部として機能する。

【0089】

［属性の特定］
制御部４５は、地物の位置及び当該地物の属性を示す地図情報と、取得した撮影情報とに基づいて、撮影画像中の地物の属性を特定する属性特定部として機能する。

【0090】

属性特定部としての制御部４５は、例えば、地図情報ＤＢ４３Ａに記憶されている地図情報に基づいて、撮影情報が示す撮影位置及び撮影方向を含む条件で撮影した場合の画像を再現した再現画像を生成し、撮影画像内の被写体となった地物と、再現画像内の地物とを照合することで、撮影画像内の被写体となった地物の属性を特定する。

【0091】

図７は、車両Ｍと、車両Ｍの現在位置の周辺に存在する地物との位置関係の一例を模式的に示す上面図である。図７中、地物が矩形の図形によって示され、各々の地物に地物ＩＤが付されている。また、図７に示す例において、地物Ｆ１と地物Ｆ２の間に、電柱ＰＰが存在している。

【0092】

図８は、制御部４５が属性を特定する際に生成する再現画像の一例を模式的に示す図である。図８に示す例においては、車両Ｍが図７に示した現在位置にある際に、前方カメラ１１によって撮影された画像を含む撮影情報を画像処理装置１０が受信し、当該撮影情報に基づいて生成された再現画像ＩＭを示している。

【0093】

例えば、制御部４５は、端末装置２０から撮影情報を受信すると、大容量記憶装置４３の地図情報ＤＢ４３Ａを参照し、例えば図４に示したような、撮影情報が示す撮影位置、撮影方向、及び画角の条件で撮影した場合に被写体となる地物の、画像中の大きさや写る角度を再現して再現画像を生成する。上記したように、地図情報ＤＢ４３Ａにおいて各々の地物に属性が対応付けられているため、再現画像が生成される際に、再現画像中の地物に当該地物の属性が対応付けられる。

【0094】

制御部４５は、例えば、地図情報ＤＢ４３Ａに記憶されている３次元の地図情報に基づいて３Ｄレンダリング等の画像生成技術を利用して再現画像を生成する。なお、制御部４５は、例えば、２次元の地図に基づいて再現画像を生成してもよい。

【0095】

図８に示す例においては、地物ＩＤがＦ２であり属性が個人宅である地物及び地物ＩＤがＦ５であり属性が商業施設である地物が手前に大きく写り、その奥に地物ＩＤがＦ１及びＦ４の属性が個人宅である地物が小さく写っていることを示す再現画像が生成されている。

【0096】

制御部４５は、撮影情報に含まれる撮影画像内の被写体となった地物と、図８に示したような再現画像内の地物とを照合することで、撮影画像内の被写体となった地物の属性を特定することができる。

【0097】

［対象領域の特定］
また、制御部４５は、撮影画像中において、属性特定部によって特定された属性が所定の属性である地物が写っている領域を、画像処理を行う対象領域として特定する対象領域特定部として機能する。

【0098】

当該対象領域の特定において、例えば、プライバシーの保護が目的の場合は、不鮮明とする画像処理の対象領域が特定される。例えば、画像が添付された電子地図を参照する際の目印となるような文字や建物等を目立たせることが目的の場合は、強調する画像処理の対象領域が特定される。

【0099】

以下、プライバシーの保護が目的の場合を中心に説明する。

【0100】

プライバシーの保護対象としては、例えば、撮影画像内の被写体となった地物の持ち主のプライバシー又は撮影画像を利用する利用者のプライバシーが考えられる。

【0101】

例えば、地物の持ち主のプライバシーを保護対象とする場合には、個人宅の外観や個人宅の表札に表示された苗字又は氏名を含む人名等の個人情報が写っている画像が公開されることを防止する必要があると考える。この場合、地物の属性に基づいて対象領域を特定するための属性の設定として、個人宅や個人経営の商店等の私的な属性が設定される。

【0102】

言い換えれば、予め設定された私的な属性の地物が写っている領域を対象領域として、当該対象領域に画像処理を施すことで、地物の持ち主のプライバシーを保護することができる。

【0103】

また、例えば、撮影画像を利用する利用者のプライバシーを保護対象とする場合には、公共施設や街区標示板等が写っている画像が公開されることで撮影場所が特定されることを防止する必要があると考える。この場合、地物の属性に基づいて対象領域を特定するための属性の設定として、商業施設や公共施設等の公共性の高い属性が設定される。

【0104】

言い換えれば、予め設定された公共性の高い属性の地物が写っている領域を対象領域として、当該対象領域に画像処理を施すことで、撮影画像を利用する利用者のプライバシーを保護することができる。

【0105】

なお、対象領域の特定に使用する属性は、画像処理装置１０において予め設定されていてもよく、例えば、タッチパネルディスプレイ１５を介して、ユーザによって設定又は変更可能であってもよい。例えば、当該所定の属性は、プライバシー保護対象を示す情報及び画像処理の内容を示す情報とともに、大容量記憶装置４３に記憶されていてもよい。

【0106】

図９は、対象領域の特定に使用される属性の設定の例を示す図である。図９に示す例において、「プライバシー保護モード」は、プライバシーの保護対象によって異なる属性の設定態様を示している。図９に示す例においては、地物の持ち主のプライバシーを保護対象とする場合を「モード１」、撮影画像を利用する利用者のプライバシーを保護対象とする場合を「モード２」としている。

【0107】

また、図９に示す「保護範囲レベル」は、プライバシーの保護範囲の広さ、言い換えれば保護の度合いを示している。図９に示す例においては、保護範囲レベルが高い程、対象領域の特定に使用する属性として、より多くの属性が設定される。

【0108】

なお、より多くの属性が設定されるほど、プライバシーの保護は厚くなる一方で、対象領域として特定される画像中の領域は大きくたるため、不鮮明処理が施されると、画像中の情報が損なわれる範囲が広くなる。

【0109】

なお、例えば、図９の設定例において、モード１又はモード２のいずれか一方のみを使用してもよく、モード１の設定とモード２の設定とを組み合わせてもよい。例えば、モード１についてはレベル３に設定し、モード２についてはレベル１に設定してもよい。

【0110】

また、図９に例示したモード１及びモード２の他に、画像中の目印となる部分を目立たせることを目的とするモードが設定できるようにしてもよい。例えば、当該モードによって目印となる部分として特定された対象領域には、強調する画像処理が行われる。

【0111】

図１０は、撮影画像の一例として、撮影画像ＦＬ１０００中の対象領域が特定されている様子を示す図である。図１０は、地物の持ち主のプライバシーを保護対象とする場合に、対象領域が特定されている例を示している。

【0112】

撮影画像ＦＬ１０００中に写っている地物の各々に、当該地物の属性が対応付けられている。これらの属性に基づいて、撮影画像ＦＬ１０００において対象領域が特定されている。

【0113】

図１０中、破線に囲まれた領域は、画像処理の対象領域ＡＲ１を示している。図１０に示す例においては、属性が「個人宅」である地物が写っている領域が、対象領域ＡＲ１として特定されている。

【0114】

また、図１０において、一点鎖線に囲まれた領域は、地物が写っている領域であっても画像処理の対象外の領域である領域ＡＲ２を示している。図１０に示す例においては、属性が「商業施設」である地物が写っている領域が、対象外の領域ＡＲ２となっている。

【0115】

また、制御部４５は、対象領域を特定する際に、所定の属性の地物が写っている領域内において、当該所定の属性の地物とは異なる物体が写っている領域を対象領域から除外してもよい。

【0116】

当該異なる物体として、例えば電柱は、街区標示板等の住所を示す表示が取り付けられている場合が多く、例えば実写画像を用いた経路案内のために使用する画像としては有用である。この場合、例えば、電柱が写っている領域を不鮮明にする画像処理を行うと、有用な情報が損なわれる。そこで、電柱が写っている領域を対象領域から除外することで、撮影画像から有用な情報が失われることを防止することができる。図１０に示す例において、対象領域ＡＲ１のうち電柱が写っている領域は対象領域から除外してもよい。

【0117】

例えば、地図情報ＤＢ４３Ａに記憶されている地図情報に、電柱の位置情報が含まれていてもよく、制御部４５は、当該電柱の位置情報を用いて撮影画像中の所定の属性の地物が写っている領域内の電柱を特定し、当該電柱が写っている領域を対象領域から除外してもよい。例えば、地図情報に電柱の位置情報が含まれない場合には、画像認識によって、所定の属性の地物が写っている領域内において電柱を検出した場合に、当該電柱が写っている領域を対象領域から除外してもよい。

【0118】

［画像処理の態様］
また、制御部４５は、撮影画像中の対象領域の少なくとも一部を不鮮明にするか又は当該対象領域を強調する処理を行う画像処理部として機能する。

【0119】

対象領域の少なくとも一部を不鮮明にする処理の態様としては、例えば、モザイク処理、ぼかし処理、マスク処理等の画像処理が挙げられる。

【0120】

制御部４５は、例えば、対象領域内の表札等の文字が写っている部分を不鮮明にする処理を行う。例えば、個人宅が写り込んだ場合に、当該個人宅の持ち主の個人情報である名前がインターネット上に公開されることを防止することができ、当該持ち主のプライバシーを保護することができる。

【0121】

また、制御部４５は、例えば、対象領域全体を不鮮明にする処理を行ってもよい。この場合、例えば、撮影画像中の所定の地物である建物全体を不鮮明にすることができ、例えば個人宅等の外観がインターネット上に公開されることを防止することができる。

【0122】

図１１は、対象領域全体を不鮮明にする画像処理後の撮影画像の一例を示す図である。図１１に示す例においては、属性が個人宅である建物が写っている対象領域ＡＲ１が不鮮明となっている。

【0123】

一方、対象領域を強調する処理の態様としては、撮影画像中の対象領域のコントラストを高くする処理、明度又は彩度を高くする処理等の画像処理が挙げられる。

【0124】

［文字検出］
また、制御部４５は、例えば、撮影画像中の文字を検出する文字検出部として機能する。制御部４５は、例えば、ＯＣＲ（Optical Character Recognition）やＡＩによる文字認識（AI-OCR）等の公知の文字認識技術を用いて、撮影画像中の文字を検出する。例えば、文字検出部としての制御部４５は、対象領域内の文字を検出してもよい。

【0125】

［文字に関する画像処理］
画像処理部としての制御部４５は、例えば、所定の条件に合致する文字が写っている画像中の領域を不鮮明にする処理を実行してもよい。

【0126】

例えば、画像処理部としての制御部４５は、文字検出部によって検出された文字の実際の鉛直方向の高さが所定の高さよりも低い場合又は当該文字の実際のサイズが所定のサイズよりも小さい場合に、当該文字を不鮮明にする処理を行う。

【0127】

制御部４５は、撮影画像が撮影された撮影位置から、文字検出部によって検出された文字までの距離に基づいて、当該文字の鉛直方向の高さを算出する。

【0128】

例えば、制御部４５は、撮影画像とともに、当該撮影画像の撮影位置を示す情報を取得し、当該撮影位置及び地図情報に基づいて、当該撮影位置から検出された文字までの実際の距離を算出する。制御部４５は、算出した実際の距離に基づいて、画像中の当該文字の地面からの鉛直方向の高さを当該文字の実際の高さに換算する。

【0129】

本実施例において、撮影画像中に検出された文字の鉛直方向の実際の高さが所定の高さよりも高い場合には、当該文字は店舗の看板等の、不特定の人に見せるための文字である可能性が高く、当該実際の高さが所定の高さ以下である場合には、当該文字は表札に書かれた文字である可能性が高いと考える。

【0130】

例えば、表札の地上からの高さは２ｍ以下の場合が多い。一方で、文字の地上からの高さが２ｍを超える場合は看板の文字であることが多い。そこで、制御部４５は、算出した文字の高さが２ｍ以下である場合には当該文字を不鮮明にする処理を行い、２ｍを越える場合には、当該文字を不鮮明にしないこととする制御を行ってもよい。

【0131】

このようにすることで、表札に書かれた個人の名前がインターネット上に公開されることを防止するとともに、看板等に書かれた文字は不鮮明にしないことで、撮影画像から情報が過剰に失われないようにすることができる。

【0132】

また、制御部４５は、撮影画像が撮影された撮影位置から、文字検出部によって検出された文字までの距離に基づいて、当該文字のサイズを算出する。

【0133】

例えば、制御部４５は、撮影画像とともに当該撮影画像の撮影位置を示す情報を取得し、当該撮影位置及び地図情報に基づいて、当該撮影位置から検出された文字までの実際の距離を算出する。制御部４５は、算出した実際の距離に基づいて、画像中の当該文字のサイズを当該文字の実際のサイズに換算する。

【0134】

本実施例において、撮影画像中に検出された文字の実際の大きさが所定の大きさよりも大きい場合には、店舗の看板等の、不特定の人に見せるための文字である可能性が高く、当該文字の実際の大きさが所定の大きさ以下である場合には、表札に書かれた文字である可能性が高いと考える。

【0135】

例えば、表札の文字は高さ方向の幅１５ｃｍ以下であることが多く、看板の文字はこれより大きいことが多い。そこで、制御部４５は、算出した文字のサイズについて、高さ方向の幅１５ｃｍ以下である場合には当該文字を不鮮明にする処理を行い、高さ方向の幅が１５ｃｍよりも大きい場合には、当該文字を不鮮明にしないこととする制御を行ってもよい。

【0136】

このようにすることで、例えば表札に書かれた個人の名前がインターネット上に公開されることを防止するとともに、看板等に書かれた文字は不鮮明にしないことで、撮影画像から情報が過剰に失われないようにすることができる。

【0137】

例えば、検出された文字の鉛直方向の高さが所定の高さよりも低い場合（高さによる判定）又は当該文字の実際のサイズが所定のサイズよりも小さい場合（サイズによる判定）のいずれか一方に該当する場合に当該文字を不鮮明にしてもよく、高さによる判定とサイズによる判定とを組み合わせて、両方に該当する場合に文字を不鮮明にしてもよい。

【0138】

画像処理部としての制御部４５は、撮影画像中に検出された文字が所定の語に一致する場合に、当該文字を不鮮明にする処理を実行してもよい。当該所定の語は、例えば、人名または地名に関する語である。

【0139】

制御部４５は、例えば、撮影画像中に検出された１又は複数の文字からなる文字列が、大容量記憶装置４３の辞書ＤＢ４３Ｂに記憶されている人名又は地名のいずれかに一致する場合に、当該文字を不鮮明にする処理を実行してもよい。これによって、例えば、「飛び出し注意」等の人名や地名ではない文字については画像中に残すことができる。

【0140】

例えば、所定の語に一致する文字は、一連の文字列の一部であってもよい。例えば、「高橋クリニック」のうちの「高橋」の部分のみが人名に該当し、不鮮明にする処理の対象となってもよい。

【0141】

また、所定の語に一致するか否かの判定と、上記の文字の高さによる判定又は文字のサイズによる判定を組み合わせて適用してもよい。

【0142】

例えば、「高橋クリニック」の看板が表札よりも高い位置又は大きい文字で書かれている場合、上記の文字の高さによる判定又は文字のサイズによる判定を適用すると、看板に書かれた「高橋クリニック」の文字は画像処理の対象外となり、不鮮明とせずに撮影画像中に残すことができる。

【0143】

このように、所定の条件に合致する文字を不鮮明にする画像処理の対象とし、それ以外の文字は対象外とすることで、撮影画像中の情報が過剰に失われることを防止できる。

【0144】

例えば、制御部４５は、上記のような画像処理の対象領域を特定し、当該対象領域内の文字が所定の語に一致する場合に、当該文字を不鮮明にする処理を実行してもよい。

【0145】

また、例えば、制御部４５は、対象領域内で検出された文字の鉛直方向の高さが所定の高さよりも低い場合又は当該文字の実際のサイズが所定のサイズよりも小さい場合に、当該文字が所定の語に一致する場合、当該文字を不鮮明にする処理を実行してもよい。

【0146】

図１２～図１８を参照しつつ、本実施例における画像処理装置１０の制御部４５によって実行される制御ルーチンについて説明する。

【0147】

図１２は、制御部４５が撮影画像中の地物の属性を特定する際に実行するルーチンの一例である属性特定ルーチンＲＴ１を示すフローチャートである。例えば、制御部４５は、端末装置２０からの撮影情報の送信が開始されると、属性特定ルーチンＲＴ１を開始する。

【0148】

制御部４５は、属性特定ルーチンＲＴ１を開始すると、前方カメラ１１によって撮影された撮影画像、当該撮影画像の撮影位置及び撮影方向を含む撮影情報を新たに端末装置２０から受信して取得する（ステップＳ１０１）。ステップＳ１０１において、例えば、１つのフレーム画像、当該フレーム画像が取得された際の撮影位置、及び撮影方向を含む撮影情報が取得される。例えば、図４に示したように、撮影情報には撮影画像が撮影された画角を示す情報が含まれてもよい。

【0149】

ステップＳ１０１の実行後、制御部４５は、地図情報ＤＢ４３Ａに記憶されている地図情報を参照する（ステップＳ１０２）。ステップＳ１０２において、制御部４５は、ステップＳ１０１において取得した撮影情報が示す撮影位置を含むエリアの地図情報を読み出す。

【0150】

ステップＳ１０２の実行後、制御部４５は、ステップＳ１０２において読み出した地図情報に基づいて、ステップＳ１０１において取得した撮影情報が示す撮影位置及び撮影方向を含む条件で撮影した場合の画像を再現した再現画像を生成する（ステップＳ１０３）。ステップＳ１０３において、例えば、図８に示したような再現画像が生成される。また、ステップ１０３において、地図情報に含まれる地物に対応付けられている属性によって、再現画像内の地物の属性が特定される。

【0151】

ステップＳ１０３の実行後、制御部４５は、撮影画像と再現画像との照合を行う（ステップＳ１０４）。

【0152】

ステップＳ１０４の実行後、制御部４５は、撮影画像中の地物の属性を特定する（ステップＳ１０５）。ステップＳ１０５において、例えば、撮影画像中の被写体となった地物と、再現画像内の地物と、を照合することで、撮影画像中の地物の属性が特定される。

【0153】

ステップＳ１０５の実行後、制御部４５は、ステップＳ１０４において特定した属性を示す情報を付した画像を記憶する（ステップＳ１０６）。

【0154】

ステップＳ１０６の実行後、制御部４５は、属性特定ルーチンＲＴ１を終了し、新たに属性特定ルーチンＲＴ１を開始する。

【0155】

図１３は、制御部４５が、画像処理を行う対象領域を特定する際に実行するルーチンの一例である対象領域特定ルーチンＲＴ２を示すフローチャートである。例えば、制御部４５は、属性特定ルーチンＲＴ１が開始されると、対象領域特定ルーチンＲＴ２を開始する。

【0156】

制御部４５は、対象領域特定ルーチンＲＴ２を開始すると、地物の属性が付された撮影画像を新たに取得する（ステップＳ２０１）。ステップＳ２０１において、制御部４５は、例えば、属性特定ルーチンＲＴ１のステップＳ１０６において、撮影画像中の地物に当該地物の属性が付されて記憶された画像を読み出す。

【0157】

ステップＳ２０１の実行後、制御部４５は、対象領域を特定するための属性の設定を参照する（ステップＳ２０２）。ステップＳ２０２において、制御部４５は、例えば、図９に例示したような、プライバシーの保護対象又は保護範囲レベルに応じて予め設定されている属性を参照する。

【0158】

例えば、プライバシーの保護対象が地物の持ち主のプライバシーである場合には、個人宅等の私的な属性が対象領域を特定するための属性として設定されている。

【0159】

例えば、プライバシーの保護対象が撮影画像を利用する利用者のプライバシーである場合には、商業施設等の公共性の高い属性が対象領域を特定するための属性として設定されている。

【0160】

ステップＳ２０２の実行後、制御部４５は、取得した撮影画像中の、ステップＳ２０２において参照した設定に対応する属性の地物が写っている領域を対象領域として特定する（ステップＳ２０３）。

【0161】

ステップＳ２０３の実行後、制御部４５は、対象領域の情報が付された画像を記憶する（ステップＳ２０４）。ステップＳ２０４において、例えば図１０に例示したような、対象領域を示す情報が付された画像が大容量記憶装置４３に記憶される。

【0162】

ステップＳ２０４の実行後、制御部４５は、対象領域特定ルーチンＲＴ２を終了し、新たに対象領域特定ルーチンＲＴ２を開始する。

【0163】

図１４は、制御部４５が画像処理を行う際に実行するルーチンの一例である画像処理ルーチンＲＴ３を示すフローチャートである。例えば、制御部４５は、対象領域特定ルーチンＲＴ２が開始されると、画像処理ルーチンＲＴ３を開始する。

【0164】

制御部４５は、画像処理ルーチンＲＴ３を開始すると、対象領域の情報が付された撮影画像を取得する（ステップＳ３０１）。ステップＳ３０１において、例えば、制御部４５は、対象領域特定ルーチンＲＴ２のステップＳ２０４において記憶された画像を読み出す。

【0165】

ステップＳ３０１の実行後、制御部４５は、画像処理の設定を参照する（ステップＳ３０２）。ステップＳ３０２において、例えば、大容量記憶装置４３を参照し、実行すべき画像処理の内容が対象領域の少なくとも一部を不鮮明にする画像処理であるか又は対象領域を強調する処理であるかを示す情報を読み出す。

【0166】

ステップＳ３０２の実行後、制御部４５は、対象領域に画像処理を実行する（ステップＳ３０３）。ステップＳ３０３において、例えば、ステップＳ３０２において参照した画像処理の内容に対応する画像処理を実行する。ステップＳ３０３において、例えば、対象領域全体を不鮮明にする処理又は対象領域を強調する処理が実行される。

【0167】

ステップＳ３０３の実行後、制御部４５は、画像処理が施された撮影画像を記憶する（ステップＳ３０４）。

【0168】

ステップＳ３０４の実行後、制御部４５は、画像処理ルーチンＲＴ３を終了し、新たに画像処理ルーチンＲＴ３を開始する。

【0169】

画像処理ルーチンＲＴ３のステップＳ３０４において記憶された画像はユーザが利用可能である。例えば、画像処理システム１００のユーザは、対象領域に画像処理が施された画像をＳＮＳや電子地図を通じてインターネット上に公開しても、保護対象とするプライバシーを侵害せずに済む。

【0170】

図１５は、制御部４５が文字を不鮮明にする画像処理を行う際に実行するルーチンの一例である画像処理ルーチンＲＴ４を示すフローチャートである。例えば、制御部４５は、端末装置２０からの撮影画像又は撮影情報の送信が開始されると、画像処理ルーチンＲＴ４を開始する。

【0171】

制御部４５は、画像処理ルーチンＲＴ４を開始すると、前方カメラ１１によって撮影された撮影画像を取得する（ステップＳ４０１）。ステップＳ４０１において、例えば、制御部４５は、撮影画像と共に当該撮影画像の撮影位置を端末装置２０から受信する。

【0172】

ステップＳ４０１の実行後、制御部４５は、文字認識技術を用いて撮影画像中の文字を検出し、撮影画像内に文字が存在するか否かを判定する（ステップＳ４０２）。ステップＳ４０２において、例えば、文字が写っている領域が文字領域ＬＴとして特定される。

【0173】

図１６は、撮影画像ＦＬ１０００内の文字が写っている領域が文字領域ＬＴとして特定されている例を示す図である。図１６に示すように、個人宅の表札に書かれた文字が写っている領域、看板に「〇〇医院」と書かれた文字が写っている領域及び看板に「〇〇〇店」と書かれた文字が写っている領域が、文字領域ＬＴとして特定されている。

【0174】

ステップＳ４０２において、制御部４５は、撮影画像内に文字が存在しないと判定する（ステップＳ４０２：ＮＯ）と、画像処理ルーチンＲＴ４を終了し、画像処理ルーチンＲＴ４を新たに開始する。

【0175】

ステップＳ４０２において、制御部４５は、撮影画像内に文字が存在すると判定する（ステップＳ４０２：ＹＥＳ）と、検出した文字の地上からの鉛直方向の高さ（以下、高さ位置とも称する）及び当該文字の大きさを算出する（ステップＳ４０３）。ステップＳ４０３において、制御部４５は、例えば、上述したように、当該画像が撮影された撮影位置から当該検出された文字までの距離に基づいて、当該文字の高さ及び大きさを算出する。

【0176】

ステップＳ４０３の実行後、制御部４５は、ステップＳ４０３において算出した文字の高さが所定の高さよりも低いか否かを判定する（ステップＳ４０４）。ステップＳ４０４において、例えば、表札の地上からの高さが２ｍ以下の場合が多いことに鑑みて、基準となる地上からの所定の高さを例えば２ｍとして判定される。

【0177】

ステップＳ４０４において、算出された文字の高さが所定の高さよりも低いと判定する（ステップＳ４０４：ＹＥＳ）と、制御部４５は、算出された文字の大きさが所定の大きさよりも小さいか否かを判定する（ステップＳ４０５）。ステップＳ４０５において、例えば、表札に書かれた文字のサイズは高さ方向の幅１５ｃｍ以下である場合が多いことに鑑みて、基準となる所定のサイズを例えば高さ方向の幅１５ｃｍとして判定される。

【0178】

ステップＳ４０５において、算出された文字の大きさが所定の大きさよりも小さいと判定する（ステップＳ４０５：ＹＥＳ）と、制御部４５は、ステップＳ４０２において検出された文字を不鮮明にする処理を実行する（ステップＳ４０６）。ステップＳ４０６において、例えば、モザイク処理、ぼかし処理又はマスク処理等の画像処理が検出された文字部分に施される。

【0179】

図１７は、撮影画像ＦＬ１０００内の文字領域ＬＴについて、文字を不鮮明にする処理が実行された例を示している。図１７に示す例においては、文字領域ＬＴのうち、個人宅の表札に書かれた文字が写っている領域が不鮮明となっている。

【0180】

図１７に示す例において、例えば、個人宅の表札に書かれた文字は、実際の鉛直方向の高さが所定の高さ以下であり、かつ実際の大きさが所定の大きさ以下であるため、不鮮明とする画像処理の対象となっている。また、例えば、「〇〇医院」と書かれた文字は、実際の鉛直方向の高さが所定の高さ以下であるが、大きさが所定の大きさよりも大きいため、不鮮明とする画像処理の対象外となっている。

【0181】

図１７に示す例においては、看板に「〇〇〇店」と書かれた文字は、実際の鉛直方向の高さが所定の高さよりも高く、かつ実際の大きさが所定の大きさよりも大きいため、不鮮明とする画像処理の対象外となっている。

【0182】

ステップＳ４０６の実行後、制御部４５は、文字を不鮮明にする画像処理が施された画像を大容量記憶装置４３に記憶する（ステップＳ４０７）。ステップＳ４０７において、例えば、画像処理が施された画像は、ユーザがアップロード可能な専用フォルダに保存されてもよい。

【0183】

制御部４５は、ステップＳ４０４において、文字の高さ位置が所定の高さよりも低くないと判定した場合（ステップＳ４０４：ＮＯ）又はステップＳ４０５において文字の大きさが所定の大きさよりも小さくないと判定した場合（ステップＳ４０５：ＮＯ）、ステップＳ４０７において、本ルーチンによっては画像処理が施されていない画像を記憶する。

【0184】

ステップＳ４０７において、例えば、当該画像処理が施されていない画像についても、画像処理が施された画像と同様に、ユーザがアップロード可能な専用フォルダに保存されてもよい。ステップＳ４０７における画像処理が施されていない画像は、ステップＳ４０４又はステップＳ４０５を経ることで本ルーチンの判定基準によりユーザがアップロード可能な画像であることを確認済みの画像であるといえる。

【0185】

ステップＳ４０７の実行後、制御部４５は、画像処理ルーチンＲＴ４を終了し、画像処理ルーチンＲＴ４を新たに開始する。

【0186】

なお、画像処理ルーチンＲＴ４は、例えば対象領域特定ルーチンＲＴ２を経て対象領域の情報が付されている撮影画像について実行されてもよい。例えば、ステップＳ４０１において対象領域の情報が付されている撮影画像を取得し、ステップＳ４０２において、撮影画像中に文字が存在するか否かの判定に代えて、対象領域内に文字が存在するか否かの判定がなされてもよい。

【0187】

そのようにすることで、効率良くかつ正確に画像処理の対象となる文字領域を特定することができる。例えば、図１７に示す例においては、対象領域ＡＲ１のみについて上記のような文字の鉛直方向の高さ及び文字の大きさの判定を行うことで、対象領域外にある「〇〇医院」の文字について文字領域の特定をすることなく画像処理の対象から除外することができる。

【0188】

本ルーチンによれば、撮影画像中の、表札が写っている領域等のプライバシーを侵害する蓋然性の高い領域については確実に、不鮮明にする画像処理（不鮮明処理）の対象とすることができる。さらに、表札よりも高い位置にある看板や表札に書かれた文字よりも大きい文字で書かれた看板等が写っている、プライバシーを侵害する蓋然性が高くない領域を、不鮮明処理の対象から除外することができる。従って、撮影画像中の風景や情報を必要以上に損なうことなくプライバシーを保護することができる。

【0189】

図１８は、制御部４５が文字を不鮮明にする画像処理を行う際に実行するルーチンの一例である画像処理ルーチンＲＴ５を示すフローチャートである。例えば、制御部４５は、対象領域特定ルーチンＲＴ２が開始されると、画像処理ルーチンＲＴ５を開始する。

【0190】

制御部４５は、画像処理ルーチンＲＴ５を開始すると、画像処理ルーチンＲＴ３の場合と同様に、対象領域の情報が付された画像を取得する（ステップＳ５０１）。

【0191】

ステップＳ５０１の実行後、制御部４５は、文字認識技術を用いて対象領域内の文字を検出し、対象領域内に文字が存在するか否かを判定する（ステップＳ５０２）。

【0192】

ステップＳ５０２において、対象領域内に文字が存在しないと判定する（ステップＳ５０２：ＮＯ）と、制御部４５は、画像処理ルーチンＲＴ５を終了し、新たに画像処理ルーチンＲＴ５を開始する。

【0193】

ステップＳ５０２において、対象領域内に文字が存在すると判定する（ステップＳ５０２：ＹＥＳ）と、制御部４５は、大容量記憶装置４３の辞書ＤＢ４３Ｂを参照し（ステップＳ５０３）、ステップＳ５０２において検出された文字が、辞書ＤＢ４３Ｂ内の辞書に含まれる語と一致するか否かを判定する（ステップＳ５０４）。

【0194】

ステップＳ５０４において、辞書ＤＢ４３Ｂ内の辞書に含まれる語と一致すると判定する（ステップＳ５０４：ＹＥＳ）と、制御部４５は、ステップＳ５０２において検出された文字を不鮮明にする処理を実行する（ステップＳ５０５）。

【0195】

ステップＳ５０５において、例えば、図１７に例示したように、個人宅の表札に書かれた文字が写っている領域や看板に「〇〇医院」と書かれた文字が写っている領域のうち、人名が書かれている「〇〇」の部分のみが不鮮明となるように、モザイク処理等の画像処理が施される。

【0196】

ステップＳ５０５の実行後、制御部４５は、文字を不鮮明にする画像処理が施された画像を大容量記憶装置４３に記憶する（ステップＳ５０６）。ステップＳ５０６において、例えば、画像処理が施された画像は、ユーザがアップロード可能な専用フォルダに保存されてもよい。

【0197】

制御部４５は、ステップＳ５０４において、辞書ＤＢ４３Ｂ内の辞書に含まれる語と一致しないと判定した場合（ステップＳ５０４：ＮＯ）と、ステップＳ５０６において、本ルーチンによっては画像処理が施されていない画像を記憶する。

【0198】

ステップＳ５０６において、例えば、当該画像処理が施されていない画像についても、画像処理が施された画像と同様に、ユーザがアップロード可能な専用フォルダに保存されてもよい。

【0199】

ステップＳ５０６の実行後、制御部４５は、画像処理ルーチンＲＴ５を終了し、画像処理ルーチンＲＴ５を新たに開始する。

【0200】

なお、画像処理ルーチンＲＴ５は、例えば、対象領域の情報が付されていない撮影画像について実行されてもよい。

【0201】

また、画像処理ルーチンＲＴ５は、画像処理ルーチンＲＴ４と組み合わせて実行されてもよい。例えば、画像処理ルーチンＲＴ５における辞書に含まれる語と一致するか否かの判定についてのステップＳ５０３及びステップＳ５０４が、画像処理ルーチンＲＴ４における文字の高さ又は大きさに関する判定の前又は後、すなわちステップＳ４０３の前又はステップＳ４０５の後に実行されてもよい。このようにすることで、より精度良くプライバシーを侵害する蓋然性の高い文字のみを不鮮明処理の対象とし、それ以外の文字については不鮮明処理の対象外とすることができ、元の画像の情報が損なわれることを防止することができる。

【0202】

なお、図１２－図１８を用いて説明したルーチンによる画像処理は、ユーザが画像をＳＮＳ等を介して公開しようとする際に実行されてもよく、撮影画像が取得された際に遂次に又は定期的に実行されてアップロード用のフォルダに保存されていてもよい。

【0203】

なお、本実施例において、目印となるような地物や文字等を目立たせることを目的として、対象領域又は撮影画像の少なくとも一部を強調する画像処理が実行されてもよい。

【0204】

また、当該強調する画像処理は、上記したような不鮮明処理と組み合わせて実行されてもよい。例えば、写り込んだ地物の持ち主のプライバシーを保護するために、個人宅又は人名が書かれた文字が写っている領域を不鮮明とする画像処理を実行し、かつ、目印となる地物が写っている領域又は街区標示板や看板等の文字が書かれた領域については強調する画像処理を実行するようにしてもよい。

【0205】

図１９は、撮影画像ＦＬ１０００について、表札の領域については不鮮明とする画像処理が施され、かつ、例えば実写画像を用いた経路案内のために有効な目印となる商業施設の建物については強調する画像処理が行われた例を示している。

【0206】

以上、詳細に説明したように、本実施例の画像処理装置１０は、撮像装置によって撮影された撮影画像、撮影画像の撮影位置及び撮影方向を含む撮影情報を取得する撮影情報取得部と、地物の位置と当該地物の属性を示す情報を含む地図情報と、撮影情報とに基づいて、撮影画像中の地物の属性を特定する属性特定部と、撮影画像中において、属性特定部によって特定された属性が所定の属性である地物が写っている領域を、画像処理を行う対象領域として特定する対象領域特定部と、を有する。

【0207】

このような構成により、例えばプライバシーを保護するために画像処理が必要な領域を、地物の属性に基づいて特定することができる。例えば、対象領域以外の領域については、画像処理後においても、元の画像の風情や情報を維持することができる。

【0208】

また、本実施例の画像処理装置１０は、撮像装置によって撮影された撮影画像を取得する画像取得部と、撮影画像中の文字を検出する文字検出部と、当該検出された文字の実際の鉛直方向の高さが所定の高さよりも低い場合又は当該文字の実際のサイズが所定のサイズよりも小さい場合に、当該文字を不鮮明にする処理を行う画像処理部と、を有する。

【0209】

このような構成により、例えば、表札等の個人名が書かれた文字部分を不鮮明とする処理を実行し、看板に書かれた文字等の不鮮明とする処理が不要な部分は当該処理の対象から除外することができる。従って、当該除外された部分については、画像処理後においても、元の画像の風情や情報を維持することができる。

【0210】

従って、本実施例の画像処理装置１０によれば、撮影された画像中の被写体に対して、適切な画像処理を行うことが可能な画像処理装置を提供することができる。例えば、本実施例の画像処理装置１０によれば、撮影された画像の被写体に関連するプライバシーを保護するための画像処理に起因して、当該画像中の情報が過剰に失われないようにすることを可能とする画像処理装置を提供することができる。

【0211】

上述した実施例における構成及びルーチンは例示に過ぎず、用途等に応じて適宜選択及び変更可能である。

【0212】

例えば、上記の実施例における画像処理装置１０が有する機能及び記憶部に記憶されている情報を端末装置２０が有していてもよく、端末装置２０において、属性及び対象領域の特定、文字部分を不鮮明にする画像処理等の画像処理が行われてもよい。

【0213】

例えば、端末装置２０は、端末装置２０と同様の構成を有する端末装置と前方カメラ１１とタッチパネルディスプレイ１５が一体化された構成であってもよい。具体的には、例えば、端末装置２０は、上記、端末装置２０と同様の機能を発揮するアプリケーションを搭載したカメラ付きのスマートフォン、タブレットまたはＰＣ等の端末装置であってもよい。この場合、端末装置２０は、内蔵カメラが車両Ｍのフロントガラスを通して車両Ｍの前方を撮影可能なように、例えばクレードル等でダッシュボードＤＢ上に取り付けられ得る。

【0214】

また、端末装置２０は、車両Ｍの運転者に提示する画面を表示しない構成であってもよい。例えば、端末装置２０は、ドライブレコーダのような構成を有していてもよく、例えば、前方カメラ１１と一体となった装置であってもよい。具体的には、端末装置２０は、例えば、前方カメラ１１の筐体内に上記した端末装置２０の撮影画像又は撮影情報を画像処理装置１０に送信する機能を果たすハードウェアを内蔵したような装置であってもよい。この場合、端末装置２０は、上記において説明したようなプライバシー保護モードの選択入力画面等の表示出力を行わないこととしてもよい。

【0215】

撮像装置としての前方カメラ１１及び端末装置２０が車両に搭載されている例について説明したが、本発明の撮像装置及び端末装置は、自転車、バイク、船舶等他の移動体とともに移動するものであってもよい。また、当該移動体は人であってもよい。例えば、端末装置２０はスマートフォンのようなカメラを内蔵したものであり、これを人が保持しており、例えば歩きながら撮影された撮影画像について、画像処理装置による画像処理が行われてもよい。

【0216】

また、本発明の撮像装置は移動体とともに移動するものに限られず、例えば道路沿いの所定の位置に固定された定点カメラであってもよい。

【符号の説明】

【0217】

１０ 画像処理装置
２０ 端末装置
２３ 入力部
２５ 記憶部
２７ 制御部
２９ 通信部
３１ 出力部
４３ 大容量記憶装置
４３Ａ 地図情報ＤＢ
４３Ｂ 辞書ＤＢ
４５ 制御部
４７ 通信部
１００ 画像処理システム
Ｍ 車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】