特開 2022-182318 覗き見防止システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022182318

(43)【公開日】2022-12-08

(54)【発明の名称】覗き見防止システム

(51)【国際特許分類】

   G08B 21/24 20060101AFI20221201BHJP

   G08B 25/00 20060101ALI20221201BHJP

   G06T 7/70 20170101ALI20221201BHJP

【ＦＩ】

G08B21/24

G08B25/00 510M

G06T7/70 Z

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021089821

(22)【出願日】2021-05-28

(71)【出願人】

【識別番号】000010098

【氏名又は名称】アルプスアルパイン株式会社

(74)【代理人】

【識別番号】100099748

【弁理士】

【氏名又は名称】佐藤 克志

(74)【代理人】

【識別番号】100103171

【弁理士】

【氏名又は名称】雨貝 正彦

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(74)【代理人】

【識別番号】100098497

【弁理士】

【氏名又は名称】片寄 恭三

(72)【発明者】

【氏名】助川 諒

(72)【発明者】

【氏名】工藤 信範

(72)【発明者】

【氏名】松岡 正道

(72)【発明者】

【氏名】武田 唯

【テーマコード（参考）】

5C086

5C087

5L096

【Ｆターム（参考）】

5C086AA51

5C086AA60

5C086BA22

5C086BA23

5C086BA24

5C086CA06

5C086CA09

5C086CA25

5C086CA28

5C086CB36

5C086DA33

5C086FA06

5C086FA17

5C086FA20

5C087AA02

5C087AA03

5C087AA09

5C087AA10

5C087AA19

5C087AA37

5C087AA51

5C087BB20

5C087DD03

5C087DD14

5C087DD16

5C087DD17

5C087DD20

5C087DD35

5C087FF01

5C087FF02

5C087FF04

5C087FF16

5C087FF23

5C087GG02

5C087GG06

5C087GG10

5C087GG70

5L096BA02

5L096CA02

5L096DA03

5L096FA59

5L096FA64

5L096FA67

5L096FA69

5L096GA51

(57)【要約】

【課題】適正に画面の覗き見を防止できる「覗き見防止システム」を提供する。
【解決手段】車内カメラ１１で撮影した映像から乗員の瞳内に写り込んでいるモバイル端末２の像３００を検出する。そして、検出した像３００の位置や大きさや向き、車内カメラ１１で撮影した映像から求めた各乗員の位置等から、像３００のモバイル端末２を使用している乗員を注意喚起候補ユーザとして特定する。注意喚起候補ユーザと、像３００が写り込んでいる瞳を持つユーザである覗き見候補ユーザとが同一人物でなければ、注意喚起候補ユーザのモバイル端末２に覗き見に対する注意喚起を行わせる。
【選択図】図３

【特許請求の範囲】

【請求項1】

ユーザが滞在する所定の空間内における、各ユーザが使用する情報端末の画面の覗き見を防止する覗き見防止システムであって、
前記空間内を撮影するカメラと、
前記カメラで撮影した映像より、前記空間内に滞在する各ユーザの位置を検出するユーザ位置検出手段と、
前記カメラで撮影した映像より、前記空間内に滞在するユーザの瞳で反射した前記情報端末の像である情報端末反射像を検出する反射像検出手段と、
前記反射像検出手段が検出した前記情報端末反射像の位置と、前記ユーザ位置検出手段が検出した各ユーザの位置とに少なくとも基づいて、前記情報端末反射像として表れた情報端末を使用しているユーザを注意喚起候補ユーザとして算定し、所定の条件が満たされる場合に、前記注意喚起候補ユーザの情報端末が覗き見されていると判定する覗き見判定手段とを有し、
前記所定の条件は、少なくとも、算定した注意喚起候補ユーザと、前記情報端末反射像を反射した瞳を持つユーザである覗き見候補ユーザとが同一のユーザでないことを満たされるために必要とする条件であることを特徴とする覗き見防止システム。

【請求項2】

請求項１記載の覗き見防止システムであって、
前記所定の条件は、前記情報端末反射像の大きさが所定のサイズより大きいことを満たされるために必要とする条件であることを特徴とする覗き見防止システム。

【請求項3】

請求項１または２記載の覗き見防止システムであって、
前記カメラが撮影した映像より、前記注意喚起候補ユーザと前記覗き見候補ユーザとが前記注意喚起候補ユーザの情報端末を共用しているかどうかを識別する共用有無識別手段を有し、
前記所定の条件は、前記共用有無識別手段が、前記注意喚起候補ユーザと前記覗き見候補ユーザとが前記注意喚起候補ユーザの情報端末を共用していないことを識別していることを満たされるために必要とする条件であることを特徴とする覗き見防止システム。

【請求項4】

請求項１、２または３記載の覗き見防止システムであって、
前記覗き見判定手段が、前記注意喚起候補ユーザの情報端末が覗き見されていると判定した場合に、前記注意喚起候補ユーザに対して、覗き見に対する注意喚起を行う注意喚起手段を有することを特徴とする覗き見防止システム。

【請求項5】

請求項４記載の覗き見防止システムであって、
前記注意喚起手段は、前記情報端末反射像の瞳内の位置が当該瞳の中心に近い場合に、瞳内の位置が当該瞳の周辺部である場合よりも、より強く注意を喚起する形態で、前記注意喚起候補ユーザに対して、覗き見に対する注意喚起を行うことを特徴とする覗き見防止システム。

【請求項6】

請求項４または５記載の覗き見防止システムであって、
前記注意喚起手段は、前記注意喚起候補ユーザの情報端末に、注意喚起用の所定の動作を行わせることにより、前記注意喚起候補ユーザに対して、覗き見に対する注意喚起を行うことを特徴とする覗き見防止システム。

【請求項7】

請求項６記載の覗き見防止システムであって、
前記注意喚起用の所定の動作は、前記注意喚起候補ユーザの情報端末の注意喚起用の所定の表示出力と、前記注意喚起候補ユーザの情報端末の振動と、前記注意喚起候補ユーザの情報端末の注意喚起用の所定の音声出力とのうちの少なくとも１つを含むことを特徴とする覗き見防止システム。

【請求項8】

請求項１、２、３、４、５、６または７記載の覗き見防止システムであって、
前記空間は、車内の複数の座席が備えられた空間であり、
前記カメラは、前記各座席に着座したユーザを撮影することを特徴とする覗き見防止システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報端末の画面の覗き見を防止する技術に関するものである。

【背景技術】

【0002】

情報端末の画面の覗き見を防止する技術としては、使用者の撮影用に情報端末に設けられているフロントカメラで撮影した映像から、映像中に含まれる顔の数もしくは画面に向けられる視線の数を算定し、算定した数が多いほど、より視認し難くなるように、画面の本来の表示内容の表示を制御する技術が知られている（たとえば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０-１８３９９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述したフロントカメラで撮影した映像を用いて覗き見を防止する技術によれば、フロントカメラの撮影範囲外からの覗き見を防止することができない。
また、フロントカメラで撮影した映像から視線を精度よく検出することは困難であると共に、視線が画面を向いていなくても視界の隅に画面を捕らえて覗き見を行うことは可能であるため、画面が覗き見されているかどうかを正確に検出することができない。

【0005】

したがって、この技術によれば、必ずしも適正に画面の覗き見を防止することができない。
そこで、本発明は、より適正に情報端末の画面の覗き見を防止することを課題とする。

【課題を解決するための手段】

【0006】

前記課題達成のために、本発明は、ユーザが滞在する所定の空間内における、各ユーザが使用する情報端末の画面の覗き見を防止する覗き見防止システムに、前記空間内を撮影するカメラと、前記カメラで撮影した映像より、前記空間内に滞在する各ユーザの位置を検出するユーザ位置検出手段と、前記カメラで撮影した映像より、前記空間内に滞在するユーザの瞳で反射した前記情報端末の像である情報端末反射像を検出する反射像検出手段と、前記反射像検出手段が検出した前記情報端末反射像の位置と、前記ユーザ位置検出手段が検出した各ユーザの位置とに少なくとも基づいて、前記情報端末反射像として表れた情報端末を使用しているユーザを注意喚起候補ユーザとして算定し、所定の条件が満たされる場合に、前記注意喚起候補ユーザの情報端末が覗き見されていると判定する覗き見判定手段とを設けたものである。ここで、前記所定の条件は、少なくとも、算定した注意喚起候補ユーザと、前記情報端末反射像を反射した瞳を持つユーザである覗き見候補ユーザとが同一のユーザでないことを満たされるために必要とする条件とする。

【0007】

ここで、このような覗き見防止システムにおいて、前記所定の条件を、前記情報端末反射像の大きさが所定のサイズより大きいことを満たされるために必要とする条件としてもよい。

【0008】

また、このような覗き見防止システムに、前記カメラが撮影した映像より、前記注意喚起候補ユーザと前記覗き見候補ユーザとが前記注意喚起候補ユーザの情報端末を共用しているかどうかを識別する共用有無識別手段を設け、前記所定の条件を、前記共用有無識別手段が、前記注意喚起候補ユーザと前記覗き見候補ユーザとが前記注意喚起候補ユーザの情報端末を共用していないことを識別していることを満たされるために必要とする条件としてもよい。

【0009】

また、以上の覗き見防止システムに、前記覗き見判定手段が、前記注意喚起候補ユーザの情報端末が覗き見されていると判定した場合に、前記注意喚起候補ユーザに対して、覗き見に対する注意喚起を行う注意喚起手段を設けてもよい。

【0010】

また、この場合には、覗き見防止システムを、前記注意喚起手段において、前記情報端末反射像の瞳内の位置が当該瞳の中心に近い場合に、瞳内の位置が当該瞳の周辺部である場合よりも、より強く注意を喚起する形態で、前記注意喚起候補ユーザに対して、覗き見に対する注意喚起を行うように構成してもよい。

【0011】

また、この場合には、覗き見防止システムを、前記注意喚起手段において、前記注意喚起候補ユーザの情報端末に、注意喚起用の所定の動作を行わせることにより、前記注意喚起候補ユーザに対して、覗き見に対する注意喚起を行うよう構成してもよい。

【0012】

この場合、前記注意喚起用の所定の動作を、前記注意喚起候補ユーザの情報端末の注意喚起用の所定の表示出力と、前記注意喚起候補ユーザの情報端末の振動と、前記注意喚起候補ユーザの情報端末の注意喚起用の所定の音声出力とのうちの少なくとも１つを含むものとしてようい。

【0013】

また、以上の覗き見防止システムにおいて、前記空間を、車内の複数の座席が備えられた空間とし、前記カメラを、前記各座席に着座したユーザを撮影するものとしてもよい。
以上のような覗き見防止システムによれば、情報端末が備えるカメラの撮影範囲外からの覗き見も検出することができる。また、ユーザの瞳内の情報端末の像の有無に基づいて覗き見の有無を判定するので、より精度良く覗き見を検出することができる。

【発明の効果】

【0014】

以上のように、本発明によれば、より適正に情報端末の画面の覗き見を防止することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施形態に係る覗き見防止システムの構成を示すブロック図である。

【図2】本発明の実施形態に係る車内カメラの配置を示す図である。

【図3】本発明の実施形態に係る瞳反射像解析部の検出対像を示す図である。

【図4】本発明の実施形態に係る覗き見注意喚起処理を示すフローチャートである。

【図5】本発明の実施形態に係るモバイル端末の共用の検出例を示す図である。

【図6】本発明の実施形態に係る注意喚起の態様を示す図である。

【発明を実施するための形態】

【0016】

以下、本発明の実施形態について、自動車の車内における覗き見を防止する覗き見防止システムへの適用を例にとり説明する。
図１に覗き見防止システムの構成を示す。
覗き見防止システム１は自動車に搭載されたシステムであり、図示するように、複数の車内カメラ１１、乗員状況監視部１２、瞳反射像解析部１３、覗き見注意喚起処理部１４、乗員管理部１５、無線通信装置１６を備えている。

【0017】

車載システムは、無線通信装置１６を用いて、車内に搭乗したユーザが携帯するモバイル端末２と無線通信を行うことができる。ここで、モバイル端末２は、たとえば、スマートフォンやタブレット装置等の情報端末である。

【0018】

モバイル端末２には、覗き見防止システム１と連携するアプリケーションである覗き見防止アプリが予めインストールされており、覗き見防止システム１が搭載された自動車の車内に搭乗したユーザのモバイル端末２の覗き見防止アプリは、無線通信を介して、モバイル端末２の車内における位置と、モバイル端末２の通信用アドレスを覗き見防止システム１に通知する。

【0019】

モバイル端末２の車内における位置は、たとえば、iBeacon(登録商標）などのビーコン技術を利用したビーコン測位を行うことにより検出することができる。すなわち、車内の各位置にビーコン送信機を配置し、モバイル端末２において、各ビーコン送信機から受信したビーコンの強度や強度の組み合わせと、各ビーコン送信機の位置とに基づいた測位を行うことにより、モバイル端末２の位置を検出することができる。

【0020】

そして、乗員管理部１５は、各モバイル端末２の覗き見防止アプリからの通知に従って、車内に搭乗した各ユーザのモバイル端末２の位置と通信用アドレスを管理する。
次に、複数の車内カメラ１１は、たとえば、図２ａ、ｂに示すように、車内の各座席に着座した各ユーザの少なくとも顔と上半身のようすを撮影するように配置される。
図１に戻り、乗員状況監視部１２は、車内カメラ１１で撮影した映像より、各座席に着座した各ユーザを識別し、識別した各ユーザの位置、姿勢、目の位置や向きを検出すると共に、映像内に写り込んでいるモバイル端末２の位置、向き、大きさを検出する。

【0021】

瞳反射像解析部１３は、乗員状況監視部１２が検出した各ユーザの目の位置に基づいて、車内カメラ１１で撮影した映像中の、各座席に着座した各ユーザの瞳の部分を識別すると共に、瞳内に写り込んでいる像、すなわち瞳の反射による像を解析する。

【0022】

そして、瞳反射像解析部１３は、パターンマッチングなどの画像解析処理によって、たとえば図３ａ、ｂ、ｃ、ｄのように、瞳内に写り込んでいるモバイル端末２の像であるモバイル端末２の瞳反射像３００の有無や、モバイル端末２の瞳反射像３００の、瞳内の位置、大きさ、向きを検出する。

【0023】

次に、覗き見注意喚起処理部１４が行う覗き見注意喚起処理について説明する。
図４に、覗き見注意喚起処理の手順を示す。
図示するように、覗き見注意喚起処理において覗き見注意喚起処理部１４は、瞳反射像解析部１３によるモバイル端末２の瞳反射像の検出の発生を監視し（ステップ４０２）、モバイル端末２の瞳反射像が検出されたならば、モバイル端末２の瞳反射像が発生した瞳を持つユーザを覗き見候補ユーザに設定する（ステップ４０４）。

【0024】

そして、瞳反射像として瞳に写り込んだモバイル端末２を使用しているユーザを注意喚起候補ユーザに設定する（ステップ４０６）。
ここで、ステップ４０６では、乗員状況監視部１２が検出している覗き見候補ユーザの目の位置や向きや、瞳反射像解析部１３が検出しているモバイル端末２の瞳反射像の瞳内の位置等より、覗き見候補ユーザの目に対する、瞳に写り込んだモバイル端末２の方向を算定し、算定した方向にあるモバイル端末２を使用しているユーザを注意喚起候補ユーザとして設定する。各モバイル端末２の、覗き見候補ユーザの目に対する方向は、当該目の位置と、乗員状況監視部１２が検出している各モバイル端末２の位置とより算定し、モバイル端末２を使用しているユーザは、乗員状況監視部１２が検出している、ユーザの位置や姿勢とモバイル端末２の位置の関係より算定する。

【0025】

ただし、ステップ４０６では、乗員状況監視部１２が検出している覗き見候補ユーザの目の位置、向きと、瞳反射像解析部１３が検出しているモバイル端末２の瞳反射像の大きさと傾き等より、覗き見候補ユーザの目に対する瞳に写り込んだモバイル端末２の方向や、覗き見候補ユーザの目に対する瞳に写り込んだモバイル端末２の距離を推定し、推定した方向と距離に整合する大きさ、位置、向きが乗員状況監視部１２によって検出されているモバイル端末２を、瞳反射像として瞳に写り込んだモバイル端末２として算定し、算定したモバイル端末２を使用しているユーザを注意喚起候補ユーザとして設定するようにしてもよい。

【0026】

そして、覗き見候補ユーザと注意喚起候補ユーザが同一のユーザであるかどうかを調べ（ステップ４０８）、同一のユーザであればステップ４０２からの処理に戻る。
一方、同一のユーザでなければ（ステップ４０８）、覗き見候補ユーザと注意喚起候補ユーザが、瞳反射像として瞳に写り込んだモバイル端末２を共用しているかどうかを調べる（ステップ４１０）。ステップ４１０では、乗員状況監視部１２が検出している覗き見候補ユーザと注意喚起候補ユーザの位置、姿勢、瞳反射像として瞳に写り込んだモバイル端末２の位置や向きの関係より、モバイル端末２を共用しているかどうかを判定する。

【0027】

たとえば、図５ａに示すように、覗き見候補ユーザと注意喚起候補ユーザが左右に隣合う座席のユーザであり、瞳に写り込んだモバイル端末２の位置が、注意喚起候補ユーザから見て覗き見候補ユーザの反対側の位置であるときには、モバイル端末２を共用していないと判定し、図５ｂに示すようには、瞳に写り込んだモバイル端末２の位置が、注意喚起候補ユーザの顔と覗き見候補ユーザの顔の間の位置であり、瞳に写り込んだモバイル端末２の画面の向きが、注意喚起候補ユーザの方向に所定レベル以上、傾いた向きでない場合には、モバイル端末２を共用していると判定する。

【0028】

なお、覗き見候補ユーザと注意喚起候補ユーザがモバイル端末２を共用しているかどうかは、覗き見注意喚起処理部１４において、車内各席に配置したマイクでピックアップした音声から、覗き見候補ユーザと注意喚起候補ユーザが会話を行っているかどうかを検出し、会話を行っているときには、覗き見候補ユーザと注意喚起候補ユーザがモバイル端末２を共用していると判定するようにしてもよい。

【0029】

そして、モバイル端末２を共用している場合には（ステップ４１０）、ステップ４０２からの処理に戻る。
一方、モバイル端末２を共用していない場合には（ステップ４１０）、覗き見候補ユーザが、注意喚起候補ユーザのモバイル端末２を覗き見している確度を算定する（ステップ４１２）。

【0030】

覗き見の確度は、瞳反射像解析部１３が検出したモバイル端末２の瞳反射像の大きさが大きくなるほど大きくなるように算定する。すなわち、たとえば、図３ａと図３ｂの場合では、モバイル端末２の瞳反射像３００がより大きい、図３ａの場合に、覗き見の確度をより大きく算定する。

【0031】

ここで、このように確度を算定するのは、モバイル端末２の瞳反射像の大きさがあるレベルよりも小さい場合には、覗き見候補ユーザがモバイル端末２の画面を見ても表示内容を認識できないため、覗き見候補ユーザが覗き見している可能性が小さいからである。

【0032】

また、覗き見の確度は、瞳反射像解析部１３が検出したモバイル端末２の瞳反射像の位置が瞳の中心に近くなるほど大きくなるように算定する。すなわち、たとえば、図３ｃと図３ｄの場合では、モバイル端末２の瞳反射像３００の位置がより瞳の中心に近い、図３ｃの場合に、覗き見の確度をより大きく算定する。

【0033】

ここで、このように確度を算定するのは、モバイル端末２の瞳反射像の位置が瞳の中心から離れている場合には、モバイル端末２が覗き見候補ユーザの視界に入っているものの、覗き見候補ユーザがモバイル端末２を注視してはいないので、覗き見候補ユーザが覗き見している可能性が小さいからである。

【0034】

そして、算定した覗き見の確度が、所定のしきい値Ｔｈより大きいかどうかを調べ（ステップ４１４）、大きくなければ、ステップ４０２からの処理に戻る。ここで、上述したステップ４１２の覗き見の確度の算定は、モバイル端末２の瞳反射像の大きさが所定のサイズより大きい場合には、覗き見の確度が必ずしきい値Ｔｈより大きくなるように行う。

【0035】

一方、算定した覗き見の確度がしきい値Ｔｈより大きい場合には（ステップ４１４）、注意喚起候補ユーザに対する注意喚起を、覗き見の確度に応じた形態で実施する（ステップ４１６）。そして、ステップ４０２からの処理に戻る。

【0036】

ここで、ステップ４１６の、注意喚起候補ユーザに対する覗き見の確度に応じた形態での注意喚起は、たとえば、次のように行う。
すなわち、まず、乗員状況監視部１２が検出している、瞳反射像として瞳に写り込んだモバイル端末２の位置と整合する位置が、モバイル端末２の位置として乗員管理部１５によって管理されているモバイル端末２の、乗員管理部１５が管理している通信用アドレスを取得する。

【0037】

そして、取得した通信用アドレスを用いて、注意喚起候補ユーザのモバイル端末２の覗き見防止アプリと通信を行い、覗き見防止アプリに注意喚起をモバイル端末２の画面に表示させる。

【0038】

また、画面への注意喚起の表示の形態は覗き見の確度に応じて異ならせる。たとえば、覗き見の確度が低い場合には、図６ａに示すように覗き見を注意喚起するアイコン６００のみを表示し、確度が高い場合には、図６ｂに示すように「!のぞき見されている可能性があります。注意してください。」といったような覗き見に対する注意を喚起するテキストメッセージ６０１をポップアップ表示させる。

【0039】

ただし、覗き見防止アプリによる注意喚起候補ユーザに対する注意喚起は、モバイル端末２を振動させたり、モバイル端末２の画面の輝度を低下させたり、モバイル端末２の画面を点滅させたり、モバイル端末２に「!のぞき見されている可能性があります。注意してください。」といったような覗き見に対する注意を喚起する音声を出力させるなどの他の形態で行うようにしてもよい。ただし、音声出力による注意喚起を行う場合には、モバイル端末２が、内蔵スピーカではなく、イヤホンやヘッドホンに音声を出力している場合にのみ音声出力による注意喚起を行い、内蔵スピーカに音声を出力している場合には、表示や振動による注意喚起を行うことが好ましい。

【0040】

また、注意喚起候補ユーザに対する注意喚起は、別途車内に設置した注意喚起装置を用いて行うようにしてもよい。
すなわち、たとえば、各座席に振動を発生する装置を設け、注意喚起候補ユーザが着座している座席を覗き見の確度に応じた強さで振動させることにより注意喚起を行うようにしてもよい。

【0041】

以上、本発明の実施形態について説明した。
なお、以上では、自動車の車内における覗き見防止への適用について示したが、本実施形態は、列車、飛行機、旅客船、待合室、飲食店、教室などの任意の空間における覗き見防止に同様に適用できる。

【0042】

以上のように、本実施形態によれば、モバイル端末２が備えるカメラの撮影範囲外からの覗き見も検出することができる。また、ユーザの瞳内のモバイル端末２の像に基づいて覗き見の有無を判定するので、精度良く覗き見を検出することができる。

【符号の説明】

【0043】

１…覗き見防止システム、２…モバイル端末、１１…車内カメラ、１２…乗員状況監視部、１３…瞳反射像解析部、１４…覗き見注意喚起処理部、１５…乗員管理部、１６…無線通信装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】