特開 2024-101079 画像処理装置、画像処理方法、プログラム及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024101079

(43)【公開日】2024-07-29

(54)【発明の名称】画像処理装置、画像処理方法、プログラム及び記録媒体

(51)【国際特許分類】

   G06T 7/11 20170101AFI20240722BHJP

   G06T 7/00 20170101ALI20240722BHJP

   G06T 1/00 20060101ALI20240722BHJP

【ＦＩ】

G06T7/11

G06T7/00 350B

G06T1/00 340Z

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023004768

(22)【出願日】2023-01-17

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】110001025

【氏名又は名称】弁理士法人レクスト国際特許事務所

(72)【発明者】

【氏名】西田 貴洋

(72)【発明者】

【氏名】加藤 信彦

(72)【発明者】

【氏名】荒井 和明

(72)【発明者】

【氏名】小栗 徹也

【テーマコード（参考）】

5B057

5L096

【Ｆターム（参考）】

5B057AA16

5B057CC03

5B057CE01

5L096BA04

5L096FA02

5L096GA51

5L096JA22

5L096KA04

(57)【要約】

【課題】処理負荷を抑えつつ画像内の領域属性を判定し、プライバシー保護のための処理を精度よく行うことが可能な画像処理装置を提供する。
【解決手段】画像を取得する画像取得部と、画像内の複数の画素を、特定種の物体が写っている領域であることを示す第１クラス及び所定の空間の外側の光景が写っている領域であることを示す第２クラスを含む複数のクラスのいずれかに分類する分類部と、第１クラスに分類された画素からなる第１クラス領域について、当該第１クラス領域に隣接する画素である複数の隣接画素のうちの第２クラスに分類された隣接画素の割合が所定以上である場合に、第１クラス領域に含まれる画素の分類を第２クラスに置換する置換処理部と、置換処理部による置換後において第２クラスに分類されている画素からなる領域である第２クラス領域に対して、プライバシー保護処理を行う保護処理部と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像を取得する画像取得部と、
前記画像内の複数の画素を、特定種の物体が写っている領域であることを示す第１クラス及び所定の空間の外側の光景が写っている領域であることを示す第２クラスを含む複数のクラスのいずれかに分類する分類部と、
前記分類部により前記第１クラスに分類された画素からなる第１クラス領域について、当該第１クラス領域に隣接する画素である複数の隣接画素のうちの前記第２クラスに分類された前記隣接画素の割合が所定以上である場合に、前記第１クラス領域に含まれる画素の分類を前記第１クラスから前記第２クラスに置換する置換処理部と、
前記置換処理部による置換後において前記第２クラスに分類されている画素からなる第２クラス領域に対して、プライバシー保護処理を行う保護処理部と、
を有することを特徴とする画像処理装置。

【請求項2】

前記第２クラスは、前記所定の空間と外空間との間に設けられた窓が写っている領域であることを示すことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記第１クラスは、人が写っている領域であることを示すことを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記所定の空間は、車両の車室内の空間であり、
前記第２クラスは、前記車両の窓が写っている領域であることを示すことを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記分類部は、前記所定の空間を撮影した画像を入力として、前記画素の各々が前記複数のクラスのうちのいずれであるかを出力するように機械学習がなされた学習済みモデルから構成されていることを特徴とする請求項１に記載の画像処理装置。

【請求項6】

前記保護処理部は、前記第２クラスに分類されている画素からなる前記第２クラス領域に対して、不鮮明化する処理を行うことを特徴とする請求項１乃至５のいずれか１に記載の画像処理装置。

【請求項7】

前記保護処理部は、前記第１クラスに分類されている画素以外の画素からなる領域に対して、不鮮明化する処理を行うことを特徴とする請求項１乃至５のいずれか１に記載の画像処理装置。

【請求項8】

画像処理装置が実行する画像処理方法であって、
画像を取得する画像取得ステップと、
前記画像内の複数の画素を、特定種の物体が写っている領域であることを示す第１クラス及び所定の空間の外側の光景が写っている領域であることを示す第２クラスを含む複数のクラスのいずれかに分類する分類ステップと、
前記分類ステップにより前記第１クラスに分類された画素からなる第１クラス領域について、当該第１クラス領域に隣接する画素である複数の隣接画素のうちの前記第２クラスに分類された前記隣接画素の割合が所定以上である場合に、前記第１クラス領域に含まれる画素の分類を前記第１クラスから前記第２クラスに置換する置換処理ステップと、
前記置換処理ステップによる置換後において前記第２クラスに分類されている画素からなる領域である第２クラス領域に対して、プライバシー保護処理を行う保護処理ステップと、
を含むことを特徴とする画像処理方法。

【請求項9】

画像処理装置に、
画像を取得する画像取得ステップと、
前記画像内の複数の画素を、特定種の物体が写っている領域であることを示す第１クラス及び所定の空間の外側の光景が写っている領域であることを示す第２クラスを含む複数のクラスのいずれかに分類する分類ステップと、
前記分類ステップにより前記第１クラスに分類された画素からなる第１クラス領域について、当該第１クラス領域に隣接する画素である複数の隣接画素のうちの前記第２クラスに分類された前記隣接画素の割合が所定以上である場合に、前記第１クラス領域に含まれる画素の分類を前記第１クラスから前記第２クラスに置換する置換処理ステップと、
前記置換処理ステップによる置換後において前記第２クラスに分類されている画素からなる領域である第２クラス領域に対して、プライバシー保護処理を行う保護処理ステップと、
を実行させることを特徴とするプログラム。

【請求項10】

画像処理装置に、
画像を取得する画像取得ステップと、
前記画像内の複数の画素を、特定種の物体が写っている領域であることを示す第１クラス及び所定の空間の外側の光景が写っている領域であることを示す第２クラスを含む複数のクラスのいずれかに分類する分類ステップと、
前記分類ステップにより前記第１クラスに分類された画素からなる第１クラス領域について、当該第１クラス領域に隣接する画素である複数の隣接画素のうちの前記第２クラスに分類された前記隣接画素の割合が所定以上である場合に、前記第１クラス領域に含まれる画素の分類を前記第１クラスから前記第２クラスに置換する置換処理ステップと、
前記置換処理ステップによる置換後において前記第２クラスに分類されている画素からなる領域である第２クラス領域に対して、プライバシー保護処理を行う保護処理ステップと、
を実行させるためのプログラムを記録する記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、プログラム及び記録媒体に関し、例えば、画像に対してプライバシー保護処理を行う画像処理装置、画像処理方法、プログラム及び記憶媒体に関する。

【背景技術】

【0002】

自動車の車室内等の所定の空間を撮影した画像において、窓の外側等の光景に不特定の第三者が映り込むことがある。このような第三者に対しては画像に映り込むことについての同意をとることができないため、プライバシー保護のための処理が必要となる。

【0003】

車外を撮影した車外画像では、物体検出の技術により「人」を検出して全員を消去することによりプライバシー保護を図ることができる。しかし、車室内画像にこれを適用すると、運転者や同意の得られる同乗者等、プライバシー保護処理の必要がない人物も消去してしまうため、同じ手法を単純に適用することができない。

【0004】

車室内画像について処理を行うためには、画像内の被写体について、車室内なのか窓の外等の車室外なのかを領域毎に判定する必要がある。画像内の領域の属性を判定する手法として、ＡＩ（Artificial Intelligence）を用いて、空間に分布するデータ群を複数のクラスに分類し、空間をラベル領域に分割する領域分割装置が提案されている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２１－６８１４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記従来技術の領域分割装置は、ＡＩによる分類器を用いて、注目クラス群の設定と分類器によるラベル領域の領域分割とを繰り返すことにより空間を領域分割する。このため、処理負荷が重く、ＡＩモデルが大きくなるため、実装可能なコンピュータが制限されるという問題があった。

【0007】

本発明は、上記した点に鑑みてなされたものであり、処理負荷を抑えつつ画像内の領域属性を判定し、プライバシー保護のための処理を精度よく行うことが可能な画像処理装置を提供することを目的の一つとする。

【課題を解決するための手段】

【0008】

請求項１に記載の発明は、画像を取得する画像取得部と、前記画像内の複数の画素を、特定種の物体が写っている領域であることを示す第１クラス及び所定の空間の外側の光景が写っている領域であることを示す第２クラスを含む複数のクラスのいずれかに分類する分類部と、前記分類部により前記第１クラスに分類された画素からなる第１クラス領域について、当該第１クラス領域に隣接する画素である複数の隣接画素のうちの前記第２クラスに分類された前記隣接画素の割合が所定以上である場合に、前記第１クラス領域に含まれる画素の分類を前記第１クラスから前記第２クラスに置換する置換処理部と、前記置換処理部による置換後において前記第２クラスに分類されている画素からなる領域である第２クラス領域に対して、プライバシー保護処理を行う保護処理部と、を有することを特徴とする。

【0009】

請求項８に記載の発明は、画像処理装置が実行する画像処理方法であって、画像を取得する画像取得ステップと、前記画像内の複数の画素を、特定種の物体が写っている領域であることを示す第１クラス及び所定の空間の外側の光景が写っている領域であることを示す第２クラスを含む複数のクラスのいずれかに分類する分類ステップと、前記分類ステップにより前記第１クラスに分類された画素からなる第１クラス領域について、当該第１クラス領域に隣接する画素である複数の隣接画素のうちの前記第２クラスに分類された前記隣接画素の割合が所定以上である場合に、前記第１クラス領域に含まれる画素の分類を前記第１クラスから前記第２クラスに置換する置換処理ステップと、前記置換処理ステップによる置換後において前記第２クラスに分類されている画素からなる領域である第２クラス領域に対して、プライバシー保護処理を行う保護処理ステップと、を含むことを特徴とする。

【0010】

請求項９に記載の発明は、プログラムであって、画像処理装置に、画像を取得する画像取得ステップと、前記画像内の複数の画素を、特定種の物体が写っている領域であることを示す第１クラス及び所定の空間の外側の光景が写っている領域であることを示す第２クラスを含む複数のクラスのいずれかに分類する分類ステップと、前記分類ステップにより前記第１クラスに分類された画素からなる第１クラス領域について、当該第１クラス領域に隣接する画素である複数の隣接画素のうちの前記第２クラスに分類された前記隣接画素の割合が所定以上である場合に、前記第１クラス領域に含まれる画素の分類を前記第１クラスから前記第２クラスに置換する置換処理ステップと、前記置換処理ステップによる置換後において前記第２クラスに分類されている画素からなる領域である第２クラス領域に対して、プライバシー保護処理を行う保護処理ステップと、を実行させることを特徴とする。

【0011】

請求項１０に記載の発明は、記録媒体であって、画像処理装置に、画像を取得する画像取得ステップと、前記画像内の複数の画素を、特定種の物体が写っている領域であることを示す第１クラス及び所定の空間の外側の光景が写っている領域であることを示す第２クラスを含む複数のクラスのいずれかに分類する分類ステップと、前記分類ステップにより前記第１クラスに分類された画素からなる第１クラス領域について、当該第１クラス領域に隣接する画素である複数の隣接画素のうちの前記第２クラスに分類された前記隣接画素の割合が所定以上である場合に、前記第１クラス領域に含まれる画素の分類を前記第１クラスから前記第２クラスに置換する置換処理ステップと、前記置換処理ステップによる置換後において前記第２クラスに分類されている画素からなる領域である第２クラス領域に対して、プライバシー保護処理を行う保護処理ステップと、を実行させるためのプログラムを記録することを特徴とする。

【図面の簡単な説明】

【0012】

【図1】実施例１に係る車両の前席部分の構成を示す図である。

【図2】実施例１に係る画像処理装置の構成を示すブロック図である。

【図3】分類部によるクラス分類の例を示す図である。

【図4】実施例１のプライバシー保護処理の一例を示す図である。

【図5】実施例１の画像処理装置が実行する画像処理の処理ルーチンを示すフローチャートである。

【図6】実施例１のプライバシー保護処理の他の一例を示す図である。

【図7】実施例２に係る画像処理装置の構成を示すブロック図である。

【図8】実施例２における窓領域の特定の例を示す図である。

【図9】実施例２のプライバシー保護処理の一例を示す図である。

【図10】実施例２の画像処理装置が実行する画像処理の処理ルーチンを示すフローチャートである。

【0013】

以下に本発明の好適な実施例を詳細に説明する。なお、以下の実施例における説明及び添付図面においては、実質的に同一または等価な部分には同一の参照符号を付している。

【発明を実施するための形態】

【0014】

以下に本発明の好適な実施例を詳細に説明する。なお、以下の各実施例における説明及び添付図面においては、実質的に同一または等価な部分には同一の参照符号を付している。

【実施例0015】

本実施例に係る画像処理装置は、移動体としての車両の車室内を撮影した動画（以下、車室内動画と称する）に対して画像処理を行う装置である。なお、本実施例では、車室内動画を構成するフレーム毎の画像の各々を車室内画像と称する。本実施例の画像処理装置は、例えば車両に搭載された車載装置の一部として構成されている。

【0016】

図１は、本実施例の画像処理装置を含む車載装置１００が搭載されている車両Ｍの前席部分を示す図である。車載装置１００は、車両Ｍ内に設置された車外撮影カメラ１１１、車内撮影カメラ１１２及びタッチパネルディスプレイ１１３の各々に接続されており、これらを制御する制御部を含む。車載装置１００は、例えば、車両Ｍの前席のダッシュボードＤＢ内の中央部に配置されている。

【0017】

車外撮影カメラ１１１は、車両Ｍの外部を撮影する撮像装置であり、例えばフロントガラスＦＧを介して車両Ｍの前方の広い領域を撮影する広角カメラから構成されている。車外撮影カメラ１１１は、ダッシュボードＤＢ上に配されている。

【0018】

車内撮影カメラ１１２は、車両Ｍの車室内を撮影して車室内動画を生成する撮像装置である。本実施例では、車内撮影カメラ１１２は、フロントガラスＦＧの上端または当該上端付近の天井部に設けられており、車両Ｍの運転者とその側方及び後方の空間とを含む車室内の空間を撮影する。

【0019】

タッチパネルディスプレイ１１３は、車載装置１００の制御に基づいてナビゲーション画像等の画面表示を行うディスプレイと、車両Ｍの搭乗者からの入力操作を受け付けるタッチパネルとが組み合わされている表示装置である。タッチパネルディスプレイ１１３は、ダッシュボードＤＢの中央部に配されている。

【0020】

図２は、実施例１の画像処理装置１０の構成を示すブロック図である。上記の通り、本実施例の画像処理装置１０は、車両Ｍに搭載された車載装置１００に設けられている。

【0021】

画像処理装置１０は、画像取得部１１、分類部１２、置換処理部１３及び保護処理部１４を含む。

【0022】

画像取得部１１は、車内撮影カメラ１１２によって撮影された車両Ｍの車室内画像ＩＶを取得する。上記の通り、車室内画像ＩＶは車室内動画を構成するフレーム毎の画像である。

【0023】

分類部１２は、車室内画像ＩＶ内の各々の画素について、何が映っている領域の画素なのかを示す複数のクラスに分類するクラス分類を行う。本実施例では、分類部１２は、車室内画像ＩＶを構成する画素の各々を、車内が映っている映像部分の画素であることを示す「車内クラス」、車外が映っている映像部分又は車外と車内とを隔てる窓が映っている映像部分であることを示す「車外クラス」、及び人が映っている映像部分であることを示す「人クラス」に分類する。

【0024】

分類部１２は、例えば学習済みのＡＩ（Artificial Intelligence）からなるＡＩ分類器を含む。ＡＩ分類器は、例えば実際に車両Ｍを運転して走行を行った際に撮影された複数の車室内画像を入力として、各画素が車内クラス、車外クラス及び人クラスのいずれであるかを出力する、所謂、セマンティックセグメンテーション(Semantic Segmentation)を行うように機械学習がなされた学習済みモデルから構成されている。

【0025】

分類部１２は、車室内画像ＩＶの各画素についてクラス分類を行い、「車内クラス」であることを示す画素値Ｃ１、「車外クラス」であることを示す画素値Ｃ２、「人クラス」であることを示す画素値Ｃ３を画素毎に付与することにより、クラス分類を行う。なお、以下の説明では、ある画素に画素値Ｃ１を付与することを「車内クラスに分類する」とも称する。同様に、画素値Ｃ２を付与することを「車外クラスに分類する」、画素値Ｃ３を付与することを「人クラスに分類する」とも称する。

【0026】

図３は、分類部１２によるクラス分類の例を示す図である。例えば、ドアや天井の内張、運転席、助手席及び後部座席のシート、センターコンソール等に対応する画像部分の画素に、「車内クラス」を示す画素値Ｃ１が付与されている。また、車両Ｍの外側の空間（すなわち、車外の光景）が映り込んでいる窓に対応する画像部分の画素に、「車外クラス」を示す画素値Ｃ２が付与されている。そして、窓に映り込んだ車外の人（図中、Ｃ３（Ａ）として示す）及び車両Ｍの運転者（図中、Ｃ３（Ｂ）として示す）に対応する画像部分の画素に、「人クラス」を示す画素値Ｃ３が付与されている。

【0027】

再び図２を参照すると、置換処理部１３は、分類部１２によるクラス分類がなされた車室内画像ＩＶの画素の一部が所定の条件を満たす場合に、その画素に付与されている画素値（すなわち、クラス分類を示す画素値）を別の画素値に置換する置換処理を行う。

【0028】

具体的には、置換処理部１３は、車外クラスを示す画素値Ｃ２が付与されている画素領域に内包されるように人クラスを示す画素値Ｃ３の画素領域が存在している場合には、このような人クラスの画素領域を特定して車外クラスを示す画素値Ｃ２へと置換する処理を行う。

【0029】

本実施例では、置換処理部１３は、まず分類部１２によって「人クラス」の画素値Ｃ３が付与された画素からなる領域を「人クラス領域」として特定する。例えば、車室内画像ＩＶに複数の人物が写っていた場合、複数の人クラス領域が特定される。置換処理部１３は、特定した人クラス領域の各々について、その人クラス領域に隣接する画素である隣接画素のうち分類部１２によって「車外クラス」の画素値Ｃ２が付与されている隣接画素の割合が所定以上（例えば、６０％以上）であるか否かを判定する。

【0030】

そして、ある人クラス領域の画素群に隣接する隣接画素のうち「車外クラス」の画素値Ｃ２が付与されている隣接画素の割合が所定以上であると判定すると、置換処理部１３は、その人クラス領域の画素に付与されている画素値を「人クラス」を示す画素値Ｃ３から「車外クラス」を示す画素値Ｃ２へと置換する。

【0031】

例えば、図３に示すクラス分類の例では、人クラスを示す画素値Ｃ３が付与された人クラス領域のうち、窓に映り込んだ車外の人に対応する人クラス領域（図中、Ｃ３（Ａ）として示す領域）は、窓に対応する画像部分に位置しており、周囲を車外クラスの画素値Ｃ２が付与された画素に囲まれている。したがって、人クラス領域Ｃ３（Ａ）に隣接する隣接画素のうち車外クラスの画素値Ｃ２が付与されている隣接画素の割合が所定以上の割合であるため、置換処理部１３は、人クラス領域Ｃ３（Ａ）を構成する画素の画素値を、人クラスを示す画素値Ｃ３から車外クラスを示す画素値Ｃ２へと置換する。

【0032】

一方、分類部１２によって画素値Ｃ３が付与された人クラス領域のうち、運転者に対応する画像部分の人クラス領域（図中、Ｃ３（Ｂ）として示す）は、車外クラスの画素領域である後方の窓に重なっている部分が若干存在するものの、大部分が車内に位置しており、車内クラスの画素値Ｃ１が付与された画素によって囲まれている。したがって、人クラス領域Ｃ３（Ｂ）の隣接画素のうち車外クラスの画素値Ｃ２が付与されている隣接画素の割合は所定未満となる。このため、置換処理部１３は、人クラス領域Ｃ３（Ｂ）を構成する画素については車外クラスの画素値Ｃ２への置換を行わず、人クラスの画素値Ｃ３が付与された状態のまま維持する。

【0033】

換言すると、本実施例の画像処理装置１０では、人クラス領域に隣接する隣接画素における車外クラスの画素の数と車内クラスの画素の数とを比較することにより、その人クラス領域が窓に映り込んだ車外の人物に対応する人クラス領域なのか、運転者等の車内の人物に対応する人クラス領域なのかが判定される。そして、隣接画素に車外クラスの画素が所定の基準よりも多いと判定された場合、その人クラス領域は窓に映り込んだ車外の人物に対応する領域であるとして、車外クラスへの置換が行われる。一方、隣接画素に車内クラスの画素が所定の基準よりも多いと判定された場合、その人クラス領域は運転者等の車内にいる人物に対応する人クラス領域であるとして、そのまま人クラス領域として維持される。

【0034】

保護処理部１４は、分類部１２によるクラス分類及び置換処理部１３による置換処理の結果、「車外クラス」の画素値Ｃ２が付与されている画素からなる領域である車外クラス領域に対して、プライバシー保護処理を行う。本実施例では、保護処理部１４は、車外クラス領域全体を不鮮明化する処理を行う。例えば、保護処理部１４は、車外クラス領域に「ぼかし」を入れることにより、当該領域を不鮮明化する。かかる不鮮明化を行うことにより、画像から個人を特定すること（すなわち、画像中に映り込んだ人物の個人情報を特定すること）が困難となり、プライバシー保護を図ることが可能となる。

【0035】

図４は、保護処理部１４が行うプライバシー保護処理の一例を示す図である。ここでは、不鮮明化の対象となる領域を斜線で示している。上記の通り、車外の空間が映り込んだ「窓」に対応する画像部分の画素には、分類部１２によって車外クラスを示すＣ２の画素値が付与されている。また、窓に映り込んだ車外の人に対応する人クラス領域（Ｃ３（Ａ））の画素値は、置換処理部１３により、車外クラスを示す画素値Ｃ２に置換されている。このため、車外の人に対応する領域を含む窓全体に対して不鮮明化の処理が行われる。

【0036】

次に、本実施例の画像処理装置１０が実行する一連の画像処理の処理動作について、フローチャートを参照して説明する。

【0037】

図５は、本実施例の画像処理装置１０が実行する画像処理の処理ルーチンを示すフローチャートである。

【0038】

まず、画像取得部１１は、車内撮影カメラ１１２によって撮影された車室内画像ＩＶを取得する（ＳＴＥＰ１０１）。

【0039】

分類部１２は、車室内画像ＩＶを構成する各画素について、学習済みＡＩによるクラス分類を行い、車内クラスを示す画素値Ｃ１、車外クラスを示す画素値Ｃ２、及び人クラスを示す画素値Ｃ３を付与する（ＳＴＥＰ１０２）。

【0040】

置換処理部１３は、分類部１２によるクラス分類の結果に基づいて、人クラスを示す画素値Ｃ３が付与された画素からなる領域を人クラス領域として特定する。そして、置換処理部１３は、特定した人クラス領域に隣接する画素である隣接画素を検出する（ＳＴＥＰ１０３）。

【0041】

置換処理部１３は、人クラス領域の各々について、その人クラス領域に隣接する隣接画素のうち車外クラスに分類されている画素の割合が所定以上であるか否か（すなわち、所定の閾値以上の割合であるか否か）を判定する（ＳＴＥＰ１０４）。

【0042】

各々の人クラス領域について、その隣接画素のうち車外クラスに分類されている隣接画素の割合が所定以上となるような人クラス領域が存在すると判定すると（ＳＴＥＰ１０４：ＹＥＳ）、置換処理部１３は、当該人クラス領域を構成する画素に付与されている画素値を、人クラスを示す画素値Ｃ３から車外クラスを示す画素値Ｃ２へと置換する（ＳＴＥＰ１０５）。これにより、当該人クラス領域は、車外クラスの画素領域へと置換される。

【0043】

一方、各々の人クラス領域の隣接画素のうち車外クラスに分類されている隣接画素の割合が所定以上となるような人クラス領域が存在しないと判定すると（ＳＴＥＰ１０４：ＮＯ）、置換処理部１３は当該人クラス領域の画素について画素値の置換を行わず、ＳＴＥＰ１０６に進む。

【0044】

保護処理部１４は、ＳＴＥＰ１０２のクラス分類又はＳＴＥＰ１０５の置換処理によって車外クラスを示す画素値Ｃ２が付与されている画素からなる領域である車外クラス領域を不鮮明化する処理を行う（ＳＴＥＰ１０６）。

【0045】

以上のような処理ルーチンを経て、プライバシー保護の対象領域が特定され、プライバシー保護処理が行われる。

【0046】

本実施例の画像処理装置１０は、ＳＴＥＰ１０５において、隣接画素の所定以上の割合が車外クラスである人クラス領域の画素値を、車外クラスの画素値に置換する。これにより、周囲を車外クラスの画素に囲まれた人クラス領域が車外クラスへと変換されるため、例えば窓に映り込んだ車外の人物を、車外の領域の一部であると看做してプライバシー保護処理の対象とすることが可能となる。

【0047】

また、本実施例の画像処理装置１０では、ＡＩを用いたクラス分類の後処理として、上記のような隣接画素の判定及び画素値の置換処理を行う。すなわち、本実施例の画像処理装置１０は、車室内画像の各画素を車内クラス、車外クラス及び人クラスに分類する最初のクラス分類（以下、前段の処理と称する）についてのみ学習済みＡＩを用いて処理を行い、人クラス領域の隣接画素の画素値の割合に基づいてその人クラス領域が車外の人物に対応する領域であるか否かを判定するための処理（以下、後段の処理と称する）については、ＡＩを用いずに処理を行う。このため、前段の処理及び後段の処理をいずれもＡＩを用いて行う場合、すなわち画像に写っている「人」が車内の人物なのか車外の人物なのかについて分類する処理までをＡＩを用いて行う場合と比べて、処理の負荷を軽減することが可能となる。また、かかる構成によれば、大きなＡＩモデルが要求されないため、実装可能なコンピュータの制限も少ない。

【0048】

したがって、本実施例の画像処理装置１０によれば、処理負荷を抑えつつ画像内の領域属性を判定し、プライバシー保護のための処理を精度よく行うことが可能となる。

【0049】

なお、上記の説明では、保護処理部１４が行うプライバシー保護処理の内容として、車外クラスの画素値Ｃ２が付与されている画素の領域、すなわち車外クラス領域全体を不鮮明化する場合を例として説明した。しかし、プライバシー保護処理の処理内容はこれに限定されない。

【0050】

図６は、プライバシー保護処理の他の一例を示す図である。保護処理部１４は、分類部１２によるクラス分類及び置換処理部１３による置換処理の結果、人クラスを示す画素値Ｃ３が付与されている画素「以外」の画素からなる領域全体、すなわち車内クラスを示す画素値Ｃ１が付与されている画素の領域及び車外クラスを示す画素値Ｃ２が付与されている画素の領域を不鮮明化する処理を行う。これにより、図６に斜線で示すように、運転者等の車室内に存在する人物に対応する人クラス領域（Ｃ３（Ｂ））以外の領域全体を不鮮明化する処理が行われる。

【0051】

また、分類部１２によるクラス分類及び置換処理部１３による置換処理の後、車外クラスの画素領域に内包される人クラスの画素領域をさらに特定し、特定した人クラスの画素領域のみを対象としてプライバシー保護処理を行ってもよい。例えば、分類部１２によるクラス分類及び置換処理部１３による置換処理を経た車室内画像における車外クラス領域のみを対象範囲とし、上記クラス分類を行うためのＡＩ分類器、または当該ＡＩ分類器とは別のＡＩ分類器を用いて、再度クラス分類を行うことにより、車外クラス領域に内包される人クラス領域のみを対象とした詳細なプライバシー保護処理を行うことができる。

【実施例0052】

次に、本発明の実施例２について説明する。本実施例の画像処理装置は、複数フレーム分の車室内画像からなる車室内動画が生成された後に画像処理を行う点で、１フレーム分の車室内画像毎に画像処理を行う実施例１の画像処理装置１０と異なる。

【0053】

図７は、実施例２の画像処理装置２０の構成を示すブロック図である。画像処理装置２０は、画像取得部２１、分類部２２、窓領域特定部２３、置換処理部２４及び保護処理部２５を含む。

【0054】

画像取得部２１及び分類部２２は、実施例１の画像取得部１１及び分類部１２と同様の構成及び機能を有する。なお、本実施例では、車室内動画を構成する複数フレーム分の車室内画像ＩＶが、連続して車内撮影カメラ１１２から画像取得部１１に供給される。分類部１２は、各フレームの車室内画像ＩＶについて画素毎にクラス分類を行い、車内クラスを示す画素値Ｃ１、車外クラスを示す画素値Ｃ２及び人クラスを示す画素値Ｃ３のいずれかを各画素に付与する。

【0055】

窓領域特定部２３は、複数フレーム分の車室内画像ＩＶの各々についての分類部１２よるクラス分類の結果に基づいて、車室内動画中の窓に相当する領域を「窓領域」として特定する。具体的には、窓領域特定部２３は、１つのフレームの車室内画像ＩＶにおいて車外クラスの画素値Ｃ２が付与されている画素を「車外クラス付与画素」として検出する処理を、複数フレームに亘って継続する。そして、窓領域特定部２３は、複数フレームについての当該検出の結果、車外クラス付与画素として１回以上検出された画素の位置を「窓領域」として特定する。

【0056】

これにより、少なくとも１つのフレームで車外クラスを示す画素値Ｃ２が付与された画素の位置に対応する領域が、複数フレームに亘って窓領域として特定される。

【0057】

図８は、窓領域特定部２３による窓領域の特定の例を示す図である。車室内動画を構成する複数フレームの車室内画像ＩＶのうち、車外クラスを示す画素値Ｃ２が１フレームでも付された領域が窓領域Ｗとして特定される。

【0058】

例えば、図８に「Ｗ（Ａ）」として示す領域は、車両後方の窓に対応する領域であり、領域の一部が運転者（領域Ｐ２として示す人クラス領域）の顔の位置と重なっている。このため、図３に示すようなある特定のフレームの車室内画像ＩＶでは、運転者の顔の位置と重ならない領域部分にのみ、車外クラスを示す画素値Ｃ２が付与される。しかし、複数フレーム分の車室内画像ＩＶに亘ってクラス分類を行うと、いずれかのフレームの車室内画像ＩＶにおいて、例えば運転者が頭の位置を動かした等の理由により、運転者の顔の位置が窓と重なる位置から外れ、窓全体が車室内画像ＩＶに写った状態となる場合がある。このような場合、図８に示すように、運転者の顔の位置と重なる部分を含めたＷ（Ａ）の領域全体が、窓領域として特定される。

【0059】

再び図７を参照すると、置換処理部２４は、分類部２２によるクラス分類及び窓領域特定部２３による窓領域の特定を行った後のフレーム毎の車室内画像ＩＶにおいて、分類部２２により「人クラス」の画素値が付与された画素が連続する領域を「一塊領域」として特定する。そして、特定した一塊領域と窓領域特定部２３が特定した窓領域とが重なる部分の面積が、一塊領域の面積の所定割合以上（例えば、７０％以上）である場合に、その一塊領域の画素に付与されている画素値を「人クラス」を示す画素値Ｃ３から「車外クラス」を示す画素値Ｃ２へと置換する。

【0060】

例えば、図８に「Ｗ（Ｂ）」として示す窓領域には、破線で示す人型の領域Ｐ１が含まれている。領域Ｐ１は、運転席横の窓に映り込んだ人に対応する人クラス領域であり、分類部２２により人クラスを示す画素値Ｃ３が付与された画素が連続する領域であるため、「一塊領域」として特定される。

【0061】

領域Ｐ１は、Ｗ（Ｂ）の領域内に位置している。このため、一塊領域である領域Ｐ１と窓領域であるＷ（Ｂ）の領域とが重なる部分の面積は、領域Ｐ１の面積に対して約１００％の割合となり、「所定割合以上」であると判定される。したがって、置換処理部２４は、フレーム毎に、領域Ｐ１の画素に付与されている画素値を、人クラスを示す画素値Ｃ３から車外クラスを示す画素値Ｃ２へと置換する。

【0062】

これに対し、領域Ｐ２は、運転者に対応する人クラス領域であり、人クラスを示す画素値Ｃ３が付与された画素が連続する領域であるため、一塊領域として特定される。しかし、領域Ｐ２と窓領域であるＷ（Ａ）の領域とが重なる部分の面積は、領域Ｐ２の全体の面積に比して小さく、所定割合未満であると判定される。したがって、置換処理部２４による画素値の置換処理は行われず、領域Ｐ２は人クラス領域のまま維持される。

【0063】

保護処理部２５は、分類部２２によるクラス分類及び置換処理部２４による置換処理の結果、「車外クラス」を示す画素値Ｃ２が付与されている画素からなる領域である車外クラス領域に対して、フレーム毎にプライバシー保護処理を行う。本実施例では、保護処理部１４は、車外クラスを示す画素値Ｃ２が付与されている画素の領域全体を不鮮明化する処理を行う。例えば、保護処理部２５は、車外クラス領域に「ぼかし」を入れることにより、当該領域を不鮮明化する。

【0064】

図９は、保護処理部２５が行うプライバシー保護処理の一例を示す図である。分類部２２によるクラス分類及び置換処理部２４による置換処理の結果、車外の空間が映り込んだ「窓」に対応する画像部分の画素に、車外クラスを示すＣ２の画素値が付与されている。このため、画素値Ｃ２が付与されている領域全体に対して、図に斜線で示すように不鮮明化の処理がフレーム毎に行われる。

【0065】

なお、本実施例のプライバシー保護処理についても、実施例１で「他の一例」として示したものと同様に、人クラスを示す画素値Ｃ３が付与されている画素「以外」の画素の領域、すなわち車内クラスを示す画素値Ｃ１が付与されている画素及び車外クラスを示す画素値Ｃ２が付与されている画素からなる領域を不鮮明化する処理を行うようにしてもよい。

【0066】

また、実施例１のプライバシー保護処理と同様、分類部１２によるクラス分類及び置換処理部１３による置換処理を経た車室内画像に対してマスキング処理を行い、最初のクラス分類を行うＡＩ分類器、または当該ＡＩ分類器とは別のＡＩ分類器を用いて、車外クラスの画素領域に内包される人クラスの画素領域をさらに特定し、特定した人クラスの画素領域のみを対象としてプライバシー保護処理を行うようにしてもよい。

【0067】

次に、本実施例の画像処理装置２０が実行する一連の画像処理の処理動作について、フローチャートを参照して説明する。

【0068】

図１０は、本実施例の画像処理装置２０が実行する画像処理の処理ルーチンを示すフローチャートである。

【0069】

まず、画像取得部２１は、車内撮影カメラ１１２によって撮影された車室内動画を構成する複数フレーム分の車室内画像ＩＶを順次取得する（ＳＴＥＰ２０１）。

【0070】

分類部２２は、１フレーム毎の車室内画像ＩＶに対して、学習済みＡＩによる画素のクラス分類を行い、車内クラスを示す画素値Ｃ１、車外クラスを示す画素値Ｃ２、及び人クラスを示す画素値Ｃ３を付与する（ＳＴＥＰ２０２）。

【0071】

窓領域特定部２３は、複数フレーム分の車室内画像ＩＶに対する分類部２２によるクラス分類の結果に基づいて、複数フレームのうちの少なくとも１のフレームにおいて車外クラスを示す画素値Ｃ２が付与された画素を検出し、その画素が位置する領域を車室内動画における窓領域として特定する（ＳＴＥＰ２０３）。

【0072】

置換処理部２４は、分類部２２によるクラス分類の結果に基づいて、１フレーム毎に人クラスを示す画素値Ｃ３が付与された画素が連続する領域を、一塊領域として特定する（ＳＴＥＰ２０４）。

【0073】

置換処理部２４は、ＳＴＥＰ２０３で特定した窓領域とＳＴＥＰ２０４で特定した一塊領域とが重なる部分の面積が、一塊領域の面積の所定割合以上であるか否か（すなわち、所定の閾値以上の割合であるか否か）を１フレーム毎に判定する（ＳＴＥＰ２０５）。

【0074】

１フレーム毎に、ある一塊領域について、窓領域と重なる部分の面積がその一塊領域の面積の所定割合以上であると判定すると（ＳＴＥＰ２０５：ＹＥＳ）、置換処理部１３は、当該人クラス領域を構成する画素に付与されている画素値を、人クラスを示す画素値Ｃ３から車外クラスを示す画素値Ｃ２へと置換する（ＳＴＥＰ２０６）。これにより、当該人クラス領域は、車外クラスの画素領域に置き換わる。

【0075】

一方、ある一塊領域と窓領域とが重なる部分の面積が当該一塊領域の面積の所定割合未満であると判定すると（ＳＴＥＰ２０５：ＮＯ）、置換処理部２４は当該一塊領域について画素値の置換を行わず、ＳＴＥＰ２０７に進む。

【0076】

保護処理部２５は、ＳＴＥＰ２０２のクラス分類又はＳＴＥＰ２０６の置換処理によって車外クラスを示す画素値Ｃ２が付与された画素からなる領域である車外クラス領域を不鮮明化する処理を１フレーム毎に行う（ＳＴＥＰ２０７）。

【0077】

以上のような処理ルーチンを経て、プライバシー保護の対象領域が特定され、プライバシー保護処理が行われる。

【0078】

本実施例の画像処理装置２０は、ＳＴＥＰ２０６において、１フレーム毎に、人クラスの画素が連続する領域である一塊領域と、一連の動画（複数のフレーム）を通して特定された窓領域と、が重なる部分の面積が一塊領域の面積の所定割合以上である場合に、その一塊領域の画素値を車外クラスの画素値に置換する。これにより、窓領域との重なりが大きい人クラス領域が車外クラスへと１フレーム毎に置換されるため、窓に映り込んだ車外の人物を、車外の領域の一部であると看做してプライバシー保護処理の対象とすることが可能となる。

【0079】

また、本実施例の画像処理装置２０は、ＡＩを用いたクラス分類の後処理として、窓領域の特定、一塊領域の特定、面積割合の判定及び画素値の置換処理を行う。すなわち、本実施例の画像処理装置２０は、車室内画像の各画素を車内クラス、車外クラス及び人クラスに分類する前段の処理についてのみ学習済みＡＩを用いて処理を行い、一塊領域と窓領域との重なり合いに基づいて当該一塊領域が車外の人物に対応する領域であるか否かを判定するための後段の処理については、ＡＩを用いずに処理を行う。このため、前段の処理及び後段の処理をいずれもＡＩを用いて行う場合、すなわち画像に写っている「人」が車内の人物なのか車外の人物なのかについて分類する処理までをＡＩを用いて行う場合と比べて、処理の負荷を軽減することが可能となる。また、かかる構成によれば、大きなＡＩモデルが要求されないため、実装可能なコンピュータの制限も少ない。

【0080】

したがって、本実施例の画像処理装置２０によれば、処理負荷を抑えつつ画像内の領域属性を判定し、プライバシー保護のための処理を精度よく行うことが可能となる。

【0081】

なお、本発明は上記実施例で示したものに限られない。例えば、実施例１において、上記一連の画像処理を一般的なノイズ除去処理と組み合わせて行ってもよい。

【0082】

また、上記実施例１では、車内撮影カメラ１１２が車両Ｍに搭載され、フロントガラスＦＧの上部等に固定されている場合を例として説明した。しかし、車室内画像ＩＶは、車両の車室内に位置が固定されたカメラによって撮影されたものに限られない。例えば、スマートフォンやデジタルカメラ等、撮影位置を変更可能なカメラによって撮影された画像であってもよい。

【0083】

また、上記各実施例では、画像処理装置が車両Ｍに搭載された車載装置に設けられている場合を例として説明した。しかし、画像処理装置は車載装置に設けられているものに限定されず、例えばスマートフォン等の持ち運び可能な端末装置に設けられていてもよい。

【0084】

また、上記各実施例では、車両の車室内を撮影した車室内画像（車室内動画）に対して画像処理を行う場合を例として説明した。しかし、画像処理の対処となる画像は車室内のものに限られず、窓が設けられた屋内等、外側の空間（光景）が映り込む可能性がある所定の空間を撮影した画像であればよい。なお、上記各実施例で説明した置換処理の対象となる領域は窓（車外クラス領域）に限られず、様々な領域が対象となり得る。例えば、鏡、ディスプレイ、写真等にも、所定の空間の外側の光景が映り込む可能性があるため、これらの対象物もクラス分け可能に学習させたＡＩ分類器を使用し、これらの対象物に映り込んだ人物を室内の人物と区別し、プライバシー保護処理の対象としてもよい。

【0085】

また、上記各実施例では、分類部１２が、画素毎に車内クラス、車外クラス及び人クラスにクラス分類を行う場合を例として説明した。しかし、対象となる物体の種類は「人」に限られない。例えば、犬や猫等の人以外の動物や、机や椅子等の室内にある物体を対象としてクラス分類を行うようにしてもよい。

【0086】

すなわち、上記各実施例の画像処理装置において、分類部は、画像内の複数の画素を、特定種の物体が写っていることを示す第１クラス（上記実施例１及び２では、人クラス）及び所定の空間の外側の光景が写っている領域であることを示す第２クラス（上記実施例１及び２では、車外クラス）を含む複数の物体クラスのいずれかに分類するものであればよい。

【0087】

また、上記各実施例では、プライバシー保護処理の内容として、図４、図６及び図９において斜線部で示す領域に「ぼかし」を入れることにより、当該領域を不鮮明化する場合を例として説明した。しかし、プライバシー保護処理のための不鮮明化の方法はこれに限られず、画像から個人を特定することを防ぐための処理全般を含む。例えば、モザイク処理や黒塗り等を行うことにより、これらの領域を不鮮明化するものであってもよい。

【0088】

また、実施例２では、複数の窓領域について特に区別をすることなく、窓領域の特定及び一塊領域との重なり合いを判定する場合を例として説明した。しかし、処理にかかる負荷を軽減するため、窓の位置に応じて異なる態様で処理を行うようにしてもよい。例えば、車外の人が映り込む可能性が高い運転席側の窓や助手席側の窓については上記実施例２で示した一塊領域との重なり合いの判定及び置換処理を行い、車外の人が映り込む可能性が低い、又は映り込んだとしても像が小さいため識別不能となるような、それ以外の窓については処理を行わないようにしてもよい。