(58)【調査した分野】(Int.Cl.,DB名)
前記信号検出手段は、一のフレームにおける複数の部分領域それぞれについて輝度値の和を算出し、他のフレームにおける前記複数の部分領域それぞれについて輝度値の和を算出し、前記一のフレームと前記他のフレームとの間で複数の部分領域における輝度値の和を比較することにより、前記可視光信号の変化を判定する
請求項5に記載の撮像部搭載装置。
【発明を実施するための形態】
【0011】
以下、本発明の好ましい実施形態について添付図面を参照しながら説明する。
以下では、機能制限空間内において、カメラ付きの携帯型情報端末(撮像部搭載端末)による撮像、通話、データ通信機能を制限する機能制限システムの構成及びその動作について説明する。
【0012】
[1.機能制限システムの構成]
本実施形態に係る機能制限システムは、光源である信号送信装置から送信された可視光信号を携帯型情報端末によって受信したときに、当該携帯型情報端末の機能を制限するものである。まず、機能制限システムの構成について説明する。
【0013】
図1は、本実施形態に係る機能制限システムの構成を示す模式図である。
図1に示すように、この機能制限システム100は、信号送信装置200と、撮像部搭載装置である携帯型情報端末300とを備えている。信号送信装置200は、書店店舗内又は電車の車両内等に設置された照明であり、可視光信号を送信する。携帯型情報端末300は、撮像部搭載装置である多機能携帯電話機であり、カメラ(撮像部)によって可視光信号を含む光によって照射された空間の画像(静止画又は動画)を撮像可能である。つまり、携帯型情報端末は、カメラによって可視光信号を受信可能である。
【0014】
図2は、本実施形態に係る機能制限システムの機能ブロック図である。
【0015】
信号送信装置200は、LED照明と、当該LED照明を制御する制御部とを備えており、可視光信号を送信するビーコンとしての機能を有している。この可視光信号は、所定のパターンで照明の光量を変化させたものである。
【0016】
携帯型情報端末300は、CPU及び主記憶装置としてのメモリを備えた多機能携帯電話機(所謂スマートフォン)によって構成されている。前記携帯型情報処理端末は、液晶表示部とタッチパッドとによって構成されたタッチパネルと、カメラとを備えており、また、携帯電話通信網、無線LAN等と通信するための無線通信インタフェースを備えている。
【0017】
携帯型情報端末300には、携帯型情報処理装置を機能制限システム100の信号受信装置である携帯型情報端末300として機能させるためのコンピュータプログラム(以下、「機能制限プログラム」という。)がインストールされている。以下の携帯型情報端末300の機能は、当該機能制限プログラムが携帯型情報処理装置によって実行されることによって発揮される。
【0018】
携帯型情報端末300は、撮像部301、入力部302、表示部303、記憶部304、通信部305、機能実行手段306、信号検出手段307、機能制限手段308、音声入力部309、及び音声出力部310としての機能を有している。
【0019】
撮像部301は、CCDイメージセンサ又はCMOSイメージセンサなど、複数の受光素子がマトリックス状に並べられたイメージセンサ(撮像素子)と、レンズなどの光学系部品とによって構成されている。この撮像部301は、撮像によってカラーの静止画像及び動画像を得ることが可能である。
【0020】
入力部302は、上述したタッチパッドによって構成されており、撮像部301による撮像の指示などの入力をユーザから受け付けるためのものである。
【0021】
表示部303は、上述した液晶表示部によって構成されており、撮像部301によって得られた静止画像及び動画像を表示するためのものである。
【0022】
記憶部304は、SSD(Solid State Drive)又はハードディスクによって構成されており、撮像部301によって得られた動画像又は静止画像を記憶するためのものである。
【0023】
通信部305は、移動体通信電話網に対する無線通信や無線LANによる無線通信などの各種無線通信が可能であり、音声入力部(マイクロフォン)309及び音声出力部(スピーカ)310を用いて他の電話機との電話での通話を可能とする。また、通信部305は、インターネットに対してデータ通信が可能である。
【0024】
機能実行手段306は、CPU及びアプリケーションソフトウェアによって構成されており、撮像機能実行手段361と、電話機能実行手段362と、データ通信機能実行手段363とを有している。撮像機能実行手段361は、撮像部301による撮像機能を実行するためのものであり、撮像を制御するアプリケーションソフトウェアがCPUによって実行されることによって構成される。
撮像機能は、入力部302に対する撮像指示の入力に応じて、撮像部301を制御して、撮像部301によって得られた画像(静止画像、動画像)を表示部303に出力し、記憶部304に記憶する機能である。電話機能実行手段362は、通信部305による電話での通話機能を実行するためのものであり、通話用アプリケーションがCPUによって実行されることによって構成される。
データ通信機能実行手段363は、入力部302に対する操作入力に応じて、電子メールのデータを生成する機能、通信部305による電子メールの送受信の機能を実行するためのものであり、電子メールアプリケーションがCPUによって実行されることによって構成される。
【0025】
信号検出手段307は、信号検出用プログラムがCPUによって実行されることによって構成されており、撮像部301によって得られた動画像から、可視光信号を検出するためのものである。
【0026】
機能制限手段308は、機能制限プログラムがCPUによって実行されることで構成されており、信号検出手段307が可視光信号を検出した場合に、機能実行手段306による撮像機能、電話機能、データ通信機能などを制限するためのものである。撮像機能の制限としては、撮像部301の撮像機能の無効化(撮像の禁止)、文字又は人物の撮像の禁止、表示部303への撮像禁止の警告表示がある。電話機能の制限としては、通話機能の無効化(通話の禁止)、通話禁止の警告表示がある。データ通信機能の制限としては、電子メールやSNS・チャット等による情報の送信禁止がある。なお、撮像機能の制限としては、既に撮像した画像に対する処理の制限(削除禁止・強制削除など)も行うことができる。
【0027】
図3は、信号送信装置200の構成を示す回路図である。図に示すように、信号送信装置200は、第1LED部201と、第2LED部202と、駆動部203とを備えている。LEDは白熱灯及び蛍光灯に比べて、オンオフを高速に行うことができ、光量の細かな制御が可能である。また、LEDで生成した可視光信号は直進性が高く、光の届く範囲を明確にすることができるため、電車及び書店等の機能制限の対象空間を限定することができる。
【0028】
第1LED部201及び第2LED部202のそれぞれは、白色のLED素子を複数有している。第1LED部201のLED素子の数は、第2LED部202のLED素子の数の約4倍である。
【0029】
駆動部203は、スイッチングを行うことで、第2LED部202に印加する電圧を変化させるように構成されている。かかる駆動部203は、制御部231と、抵抗232,233と、スイッチング素子234,235とを有している。
【0030】
直流電源204は、10Ωの抵抗211を介して第1LED部201に接続されている。また、直流電源204は、駆動部203を介して第2LED部202に接続されている。より詳細には、直流電源204が10Ωの抵抗232に接続されている。さらにこの抵抗232には、10Ωの抵抗233とスイッチング素子234との並列回路が接続されている。この並列回路は、第2LED部202に接続されている。
【0031】
スイッチング素子234は、pMOS−FETで構成されている。このスイッチング素子234のソースが抵抗232に接続され、ドレインが第2LED部202に接続される。また、スイッチング素子234のゲートは、スイッチング素子235のドレインに接続されている。
【0032】
スイッチング素子235は、nMOS−FETで構成されている。このスイッチング素子235のソースは接地されている。また、スイッチング素子235のゲートは、制御部231に接続されている。
【0033】
制御部231は、スイッチング素子235のゲートをオンオフ制御するようになっている。つまり、制御部231は、スイッチング素子235のゲートに所定の電圧を印加したり、電圧の印加を停止したりするようになっている。この電圧の切替タイミングは予め定められたものであり、これにより所定のパターンで光量が変化する可視光信号が生成される。
【0034】
スイッチング素子235のゲート電圧がオンのときには、ソースとドレインとが通電し、ゲート電圧がオフ(0V)のときには、ソースとドレインとが非通電となる。つまり、スイッチング素子235のゲート電圧がオンのときには、スイッチング素子234のゲートが接地され、スイッチング素子234のゲート電圧は0Vとなる。また、スイッチング素子235のゲート電圧がオフのときには、スイッチング素子234のゲート電圧がオンとなる。
【0035】
スイッチング素子234のゲート電圧がオンのときには、ソースとドレインとが非通電となり、ゲート電圧がオフ(0V)のときには、ソースとドレインが通電する。
【0036】
制御部231がスイッチング素子235のゲート電圧をオンにすると、スイッチング素子234のソースとドレインとが通電し、スイッチング素子234のソース電流がドレインに流れる(
図3の矢印A)。このとき、直流電源204と第2LED部202との間の抵抗値は10Ωとなる。
【0037】
制御部231がスイッチング素子235のゲート電圧をオフにすると、スイッチング素子234のソース、ドレイン間が切断され、スイッチング素子234のソースとドレインとが通電しなくなる。このため、直流電源204からの電流は、並列回路の抵抗233側に流れる(
図3の矢印B)。このとき、直流電源204と第2LED部202との間の抵抗値は20Ωとなる。
【0038】
このように、制御部231がオンオフを切り換えることで、直流電源204と第2LED部202との間の抵抗値が10Ωと20Ωとの間で切り替わる。これにより、第2LED部202に印加される電圧が変化し、強弱点灯信号である可視光信号が生成される。
【0039】
次に、可視光信号に強弱点灯信号を採用した理由について説明する。可視光信号は、LEDをオンオフ制御して点滅信号とすることも可能である。
図4は、点滅信号及び強弱点灯信号のそれぞれの場合におけるLEDの印加電圧を示すグラフである。図において、縦軸は電圧値を、横軸は時間を示している。また、
図4の左側は点滅信号の場合の印加電圧を示し、右側は強弱点灯信号の場合の印加電圧を示している。
【0040】
点滅信号では、"0"のときに接地電位となり、LEDが点灯しない状態が生じる。また、"1"のときにはVDDの電位となり、LEDが点灯する。このように点灯と非点灯とが繰り返し行われると、ちらつきが生じて人間の目では不快に感じることが多い。このため、点滅信号は実用的とは言えない。
【0041】
これに対して、強弱点灯信号では、"0"のときにVDDと接地電位との中間の電位Vmとすることで、LEDが消灯するのではなく、"1"のときに比べて低い光量で点灯することとなる。つまり、強弱点灯信号では、LEDが光量を変化させながら点灯し続ける。このため、人間に不快感を与えることが防止され、実用性が向上する。
【0042】
[2.機能制限システムの動作]
以下、機能制限システム100の動作について説明する。
【0043】
信号送信装置200において、第1LED部201は常時点灯される。また、信号送信装置200は、第2LED部202が駆動されることによって、所定パターンの可視光信号を繰り返し送信する。
【0044】
可視光信号は、制限したい機能、及びその制限方法に応じて信号パターンが決定される。つまり、信号送信装置200から送信される可視光信号の信号パターンは複数設定可能であり、各々のパターンは機能制限の種類(全撮像の禁止、文字撮像の禁止、人物撮像の禁止、撮像禁止の警告表示、通話の禁止、通話禁止の警告表示、電子メールの送信禁止)に一対一に対応付けられている。
【0045】
つまり、可視光信号により機能制限の種類(制限レベル・制限方法など)を制御することができる。例えば、撮像機能の制限の場合、高レベルの制限として全撮像の禁止、中レベルの制限として文字撮像、人物撮像の禁止、低レベルの制限として撮像禁止の警告表示を可視光信号のパターンで設定することが可能である。なお、一つの信号バターンが、複数の機能を同時に制限させるものであってもよい。
【0046】
信号送信装置200は、データ通信用の符号伝送方式の1つであるNRZI(Non Return to Zero Inversion)符号を用いて可視光信号を生成する。
図5は、NRZI符号を適用した可視光信号を示すグラフである。図において、縦軸は光量を、横軸は時間を示している。
【0047】
符号化を行わずに"1"と"0"との切替を繰り返すと、信号の波形変化が多数発生するため、これがちらつきの原因となる。NRZI符号では、"1"のときには波形(光量)が変化し、"0"のときには変化しない。さらに、"0"のときにLEDの光量が大きい状態(強点灯、オン状態)とするようにする。つまり、LEDの光量が小さい状態(弱点灯、オフ状態)から光量が大きい状態に変化させた直後から、信号の値を"0"にするような可視光信号を生成する。例えば、"10011000"の信号にNRZI符号化を適用すると、
図5に示す波形となる。図に示すように、"1"のときだけ光量が変化し、"0"のときには変化しない。また、"0"は強点灯となったときにのみ挿入される。これにより、強点灯を継続させることができ、照明が暗い状態が続くことによる違和感を人間に与えることを防止することができる。
なお、符号方式は、NRZIに限定されるものではなく、他の符号方式を採用してもよい。
【0048】
このような可視光信号が送信されている機能制限空間に、携帯型情報端末300の所持者(以下、「ユーザ」という)が入り、携帯型情報端末300で盗撮又はデジタル万引き等の行為を行おうとする場合を考える。
【0049】
図6は、携帯型情報端末300の動作の流れを示すフローチャートであり、
図7は、携帯型情報端末300の可視光信号検出動作を説明する模式図である。
【0050】
ユーザの操作に応じて機能実行手段306が携帯型情報端末300のカメラ機能を起動すると、撮像部301が動作して周囲を撮像した動画像を得る。信号検出手段307は、撮像部301によって得られた動画像から1フレームの画像を取得する(ステップS101)。以下、取得された画像をtフレームとする。
【0051】
次に、信号検出手段307は、tフレーム画像を取得すると、この画像をグレースケール画像に変換する(ステップS102)。さらに、信号検出手段307は、グレースケール画像を6分割し、それぞれの分割画像(部分領域画像)について輝度値の総和を算出する(ステップS103)。つまり、分割画像(部分領域画像)毎に、分割画像内の全ての画素における輝度値の和(以下、「分割輝度値」という)が算出される。
【0052】
次に、信号検出手段307は、tフレームの分割輝度値と、tフレームの直前のフレームであるt−1フレームの分割輝度値とを比較する(ステップS104)。このとき、tフレームとt−1フレームとの間で同一の分割画像の分割輝度値同士が比較される。
【0053】
また、信号検出手段307は、6つの分割輝度値を加算し、tフレームの全体輝度値を算出する(ステップS105)。
【0054】
次に、信号検出手段307は、t−1フレームからt−5フレーム(tフレームの1つ前のフレームから5つ前のフレーム)の全体輝度値の平均値を求め、これをtフレームの全体輝度値と比較する(ステップS106)。
【0055】
ステップS104においては、tフレームにおける複数の分割画像それぞれの分割輝度値と、t−1フレームにおいて対応する複数の分割画像それぞれの分割輝度値とが対比される。tフレームとt−1フレームとの間で、分割輝度値が、3つ以上(複数)の分割画像において変化していると認められる場合、つまり、3つ以上(複数)の分割画像において分割輝度値が所定値以上異なる場合は、tフレームとt−1フレームとの間で、可視光信号の変化が生じている可能性が高い。
つまり、画像全体の明るさは、手振れなどによって撮像される対象範囲が変動することによっても変動するため、画像の輝度値の和の変動は、可視光信号の変化だけでなく、手振れ等によっても生じる。しかし、手振れが生じた場合、複数の分割画像それぞれの分割輝度値は、ランダムに変動するのが一般的であり、全ての分割画像の分割輝度値が同時に変化する可能性は低い。そこで、本実施形態では、複数(6個)の分割画像のうち3つの分割画像の輝度値(つまり、半分以上の分割画像の分割輝度値)が t−1フレームの分割輝度値に対して変化している場合、手振れによる輝度の変化ではなく、可視光信号の変化が生じていると判定する。
また、ステップS106において、tフレームの全体輝度値がt−1フレームからt−5フレームの全体輝度値の平均値とは所定値以上異なる場合には、tフレームとt−1フレームとの間で、可視光信号の変化が生じている可能性が高い。
そこで、信号検出手段307は、ステップS104において3つ以上(複数)の分割画像において分割輝度値が所定値以上異なると判定され、かつ、tフレームの全体輝度値がt−1フレームからt−5フレームの全体輝度値の平均値とは所定値以上異なると判定された場合には、tフレームにおいて光量の変化(可視光信号の変化)があったと判断し、tフレームの信号値を"1"とする(ステップS107)。
【0056】
これとは逆に、tフレームの分割輝度値がt−1フレームの分割輝度値から3箇所以上で変化している、及び、tフレームの全体輝度値がt−1フレームからt−5フレームの全体輝度値の平均値とは所定値以上異なる、の2つの条件のうち少なくとも1つが成立していない場合には、信号検出手段307は、tフレームに光量の変化がなかったと判断し、tフレームの信号値を"0"とする(ステップS107)。
なお、可視光信号の変化は、ステップS104又はステップS106の比較だけで判定してもよい。
画像全体の明るさは、手振れなどによって撮像される対象範囲が変動することによっても変動するため、画像の輝度値の和の変動は、可視光信号の変化だけでなく、手振れ等によっても生じる。しかし、手振れが生じた場合、複数の分割画像それぞれの分割輝度値は、ランダムに変動するのが一般的であり、全ての分割画像の分割輝度値が同時に変化する可能性は低い。そこで、本実施形態では、複数(6個)の分割画像のうち3つの分割画像の輝度値(つまり、半分以上の分割画像の分割輝度値)がt−1フレームの分割輝度値に対して変化している場合、手振れによる輝度の変化ではなく、可視光信号の変化が生じていると判定する。これにより、手振れの影響を抑制することができる。
【0057】
上記のようなステップS101からS107の処理をフレーム毎に実行することにより、信号検出手段307は時系列に並ぶビット列を生成する。信号検出手段307は、このビット列のパターンと、携帯型情報端末300に予め設定された複数の可視光信号のビット列のパターンそれぞれとを比較する(ステップS108)。上述したように、可視光信号のパターンは機能制限の種類に対応して複数種類与えられている。ステップS108の処理では、検出されたパターンが、設定された各可視光信号のパターンのそれぞれと比較される。
【0058】
また、ステップS108の処理では、信号検出手段307によって検出されたビット列と、可視光信号のビット列とがビット毎に比較されるのではなく、ビット列の波形パターンが比較される。これは、信号送信装置200の信号のビットレートと、撮像部301のフレームレートとが同期していない場合があるからである。例えば、撮像部301のフレームレートが可視光信号のビットレートの2倍である場合、可視光信号の1ビットが、信号検出手段によって検出された2ビットに相当することとなる。このため、“1100”の可視光信号を正確に検出したとしても、検出結果は”11110000”のビット列となってしまう。このため、ステップS108の処理では、「1が連続した後0が連続し、1が連続する部分の時間と0が連続する部分の時間とは同一の比率である」というように、可視光信号に含まれる特徴的な波形パターンが検出された波形に現れるかを判断する。
このように信号の波形パターンの検出によって、可視光信号を検出することで、信号送信装置200の信号のビットレートと撮像部301のフレームレートとが同期していなくても良いため有利である。特に、撮像部301のフレームレートは動的に変動することがあるため、同期不要であることで信号送信が容易となる。
【0059】
ステップS108において、信号検出手段307は、可視光信号のパターンの中に、検出されたパターンと一致するものが存在するか否かを判定する。信号検出手段307は、可視光信号のパターンの中に、検出されたパターンと一致するものが存在する場合には、可視光信号が検出されたと判断し、可視光信号のパターンの中に、検出されたパターンと一致するものが存在しない場合には、可視光信号が検出されなかったと判断する。
なお、本実施形態では、信号送信装置200は、可視光信号の信号パターンを繰り返し送信しているため、携帯型情報端末300は、繰り返して生じる信号パターンを検出することになる。そこで、本実施形態の携帯型情報端末300は、連続して検出された複数の信号パターンが、予め設定された一の可視光信号パターンと一致する場合に、その可視光信号が検出されたものと判断する。これにより、信号の誤検出を防止できる。
【0060】
ステップS108において、可視光信号が検出されなかった場合には(ステップS108において「信号非検出」)、信号検出手段307は、ステップS101に処理を戻し、t+1フレームについてステップS101以降の処理を実行する。
【0061】
ステップS108において、可視光信号が検出された場合には(ステップS108において「信号検出」)、ステップS109の処理が実行される。
【0062】
ステップS109においては、機能制限手段308が、検出された可視光信号のパターンに対応する機能制限の方法を選択し、その方法で機能実行手段306による機能を制限する(ステップS109)。
【0063】
検出された可視光信号の信号パターンが撮像の禁止に対応する場合、ステップS109において、機能制限手段308は、機能実行手段306による撮像機能を無効化する。これにより、撮像部301による撮像が全て禁止される。
【0064】
検出された可視光信号の信号パターンが人物の撮像の禁止に対応する場合、ステップS109において、機能制限手段308が次のような機能制限処理を実行する。
【0065】
図8は、人物撮像の機能制限処理の手順を示すフローチャートである。まず、機能制限手段308は、撮像部301によって得られた動画像のフレームを1つ抽出し(ステップS201)、このフレームに対して画像処理(人認識処理)を行うことによって、フレーム中に人物の像が含まれているか否かを判定する(ステップS202)。機能制限手段308は、フレーム中に人物の像が含まれていない場合(ステップS202においてNO)、ステップS201へと処理を戻し、新たなフレームを抽出して(ステップS201)、このフレーム中に人物の像が含まれているか否かを判定する(ステップS202)。
【0066】
フレーム中に人物の像が含まれている場合(ステップS202においてYES)、機能制限手段308は、機能実行手段306による撮像機能を無効化する(ステップS203)。これにより、撮像部301による人物の撮像が禁止され、例えば電車の車内での盗撮行為が防止される。また、機能制限手段308は、所定時間前(例えば5分前)以降に撮像され、記憶部304に記憶された画像の削除(画像に対する削除処理)を禁止する(ステップS204)。これにより、可視光信号の検出が遅れ、可視光信号の検出前に盗撮された画像があっても、この盗撮画像が後に削除されることが防止され、盗撮行為の証拠として保全される。ステップS204の後、機能制限手段308は、機能制限処理を終了する。
【0067】
また、検出された可視光信号の信号パターンが文字の撮像の禁止に対応する場合についても、人物の撮像の禁止の場合と同様にして、機能制限手段308が動画像のフレーム中に文字の像が含まれるか否かを判定し、文字の像が含まれる場合に、機能実行手段306による撮像機能を無効化する。これにより、撮像部301による文字の撮像が禁止され、例えば書店内でのデジタル万引き行為が防止される。
【0068】
検出された可視光信号の信号パターンが撮像禁止の警告表示に対応する場合、ステップS109において、機能制限手段308は、表示部303に撮像が禁止されていることを示す警告情報を表示させる。これにより、撮像が禁止されていることがユーザに通知され、ユーザに注意を促すことができる。また、この場合、携帯型情報端末300の撮像機能は停止されていない。このため、ユーザは携帯型情報端末300によって撮像を行うことは可能である。このような撮像が行われた場合に、携帯型情報端末300が、ユーザを特定する情報(氏名、ユーザID、携帯電話番号等)を、通信部305を通じて外部のサーバに送信し、誰が撮像を行ったのかをサーバにおいて記録しておくことも可能である。
【0069】
検出された可視光信号の信号パターンが通話の禁止に対応する場合、ステップS109において、機能制限手段308は、機能実行手段306による通話機能を無効化する。これにより、例えば電車内における通話が禁止される。
【0070】
検出された可視光信号の信号パターンが通話禁止の警告表示に対応する場合、ステップS109において、機能制限手段308は、表示部303に通話が禁止されていることを示す警告情報を表示させる。これにより、通話が禁止されていることがユーザに通知され、ユーザに注意を促すことができる。
【0071】
検出された可視光信号の信号パターンが電子メールの送信禁止に対応する場合、ステップS109において、機能制限手段308は、機能実行手段306による電子メールの送信機能を無効化する。これにより、電子メールの送信が禁止され、例えば盗撮された画像を添付した電子メールの送信を防止することができる。
【0072】
機能制限手段308による機能の制限は、例えば所定時間経過した後に解除することが可能である。また、携帯型情報端末300を再起動しなければ、機能制限が解除されないようにすることも可能である。また、入力部302に対して所定の操作を行うことで、機能制限を解除するようにすることも可能である。
【0073】
機能制限手段308が上記のようにして機能を制限した後、処理が終了される。
なお、一つの信号パターンの受信によって実行される機能制限は、一つの機能のみへの制限に限らず、複数の機能の制限であってもよい。
【0074】
[3.検証実験]
(第1実験)
発明者らは、携帯型情報端末300の代わりに、ウェブカメラを搭載した実験用撮像装置を作成し、常時点灯のLEDと強弱点灯のLEDとを複数設置して簡易的な機能制限空間を構築し、この機能制限空間内で実験用撮像装置による評価実験を実施し、可視光信号の有効性を検証した。
【0075】
まず、実験用撮像装置について説明する。発明者らは、スマートフォンなどに使用される省電力型のシングルボードコンピュータであるBeagleBoard-xM(BeagleBoard.org製)を使用して実験用撮像装置を作成した。BeagleBoard-xMに搭載されているmicroSDにOSであるARM向けのUbuntu11.10をインストールした。通常のLinux(登録商標)ディストリビューションとは異なり、GUI環境としてLXDE(Lightweight X11 Desktop Environment)を導入した。LXDEはLinux(登録商標)環境において比較的処理能力が低い環境でも動作するデスクトップ環境であり、組み込み機器環境に近い。ウェブカメラからの画像取り込み及び画像処理には、OpenCV 2.1 (Open Source Computer Vision Library) を導入した。本実験ではウェブカメラとして、Microsoft社製のLifeCam HD-3000を使用した。これにより画像の入出力はOpenCV のライブラリの関数を参照することにより実現できる。画素数は400万画素、フレームレートは最大30fpsである。
【0076】
上記のような構成の実験用撮像装置により、スマートフォンなどのカメラ搭載端末における低消費電力環境下での動作を検証した。
【0077】
本実験では、常時点灯のLEDの個数を12個とし、強弱点灯のLEDの個数を1から3個に変化させ、実験用撮像装置のカメラ機能が停止するまでの時間を検証した。また、強弱点灯のLEDは、常時点灯のLEDの間に配置した。これらのLEDを上方に、実験用撮像装置を下方に配置した。盗撮及びデジタル万引き行為は、LEDからの直接光を撮像することが少ないので、カメラによって被写体からの反射光を撮像することとした。
【0078】
下表に、本実験の結果を示す。強弱点灯のLEDの個数が2個及び3個の場合では、可視光信号が検出されてカメラ機能が停止された。強弱点灯のLEDの個数が3個の場合には、2個の場合に比べてカメラ機能が停止するまでの時間が約1秒短縮された。これは、強弱点灯のLEDの個数が増加すると、可視光信号の光量が増加することから可視光信号を受信しやすくなるためであると考えられる。一方、強弱点灯のLEDが1個の場合では、可視光信号が検出されなかった。これは、強弱点灯のLEDが1個では、常時点灯のLEDの光量に対する可視光信号の光量の割合が小さすぎて、可視光信号を受信できなかったものと考えられる。なお、本実験では、強弱点灯のLEDの個数が1つ増加すると、2200mcdだけ光量が増加した。
【表1】
【0079】
上記のように強弱点灯のLEDの個数が3個のときに、可視光信号の検出については最も良好な結果を得たが、強弱点灯のLEDの数が常時点灯のLEDの数に対して増えるほど、全体の光量に対する可視光信号の光量の占める割合が増加して、ちらつきが感じられてしまう虞がある。しかしながら、強弱点灯のLEDが3個のときであっても、ちらつきはあまり感じられず、十分な実用性があることを確認した。
【0080】
以上のことから、常時点灯のLEDの個数が強弱点灯のLEDの個数の約4倍であれば、可視光信号を検出することができ、しかもちらつきも許容範囲内であることが分かった。
【0081】
(第2実験)
次に、実験用信号送信装置を作成し、約4.9m
2の暗室にこの実験用信号送信装置を設置して機能制限空間を構築し、この機能性下空間内に上記の実験用撮像装置を設置して、受信信号の誤り率を調べた。
【0082】
実験用信号送信装置について説明する。
図9は、実験用信号送信装置の構成を示す回路図である。白色のLEDシーリングライトを強弱点灯可能とするように改造して、実験用信号送信装置を作成した。図に示すように、複数のLEDからなるLED部401に、強弱点灯用の駆動部402を設けた。図に示すLED記号の1つに5つのLED素子が並列接続されている。
【0083】
駆動部402は、スイッチングを行うことで、LED部401に印加する電圧を変化させるように構成した。具体的には、直流電源403に10Ωの抵抗404を接続し、さらにこの抵抗404に、10Ωの抵抗405とpMOS−FETのスイッチング素子406との並列回路を接続し、この並列回路にLED部401を接続した。スイッチング素子406のゲートには、nMOS−FETのスイッチング素子407のドレインを接続し、スイッチング素子407のソースを接地させた。また、スイッチング素子407のゲートには、制御部408の出力端子を接続した。
【0084】
制御部408としては、ルネサスエレクトロニクス社製のワンボードコンピュータであるGR−SAKURAを使用した。
【0085】
上記の実験用信号送信装置では、制御部408がスイッチング素子407のゲート電圧をオン/オフすることで、LEDの光量の強弱が切り替わる。
【0086】
本実験では、書店、コンビニエンスストア等の屋内における犯罪防止を想定し、太陽及び室内灯等による外乱の影響を排除するように、約4.9m
2の暗室に実験用信号送信装置を設置して、盗難防止空間を構築した。当該盗難防止空間内において、実験用信号送信装置の下方に上述した実験用撮像装置を配置して、実験を行った。
【0087】
可視光信号のパターンとしては、NRZI符号化された信号を想定し、"1100"、"11000"、"110000"、"1100000"、"11000000"、"110000000"、"1100000000"、"11000000000"、"110000000000"を採用した。これらのビットパターンには、できるだけ光量の高い状態を維持するように、"1"を2回連続させることとした。
【0088】
図10は、上記の各パターンの可視光信号を実験用撮像装置によって受信したときの受信波形を示すグラフである。
図10において、横軸は時間を示し、縦軸は検出したデジタル値を示している。
【0089】
送信した可視光信号のパターンは、"11"と"0"の連続で構成されているため、正常に可視光信号を検出した場合、"1"が2回連続し、"0"がその後に続き、これらが繰り返される。一方、"1"の信号がうまく検出されず、"10"又は"01"となった場合を不検出とし、"0"が連続する部分で"1"が検出された場合を誤検出とした。
【0090】
図11は、実験結果の誤り率を示すグラフである。
図11において、縦軸は誤り率(つまり、不検出率及び誤検出率)を示し、横軸は送信効率を示している。ここで、送信効率とは、可視光信号のビット数の逆数である。
【0091】
図11に示すように、送信効率が0.20又は0.25のとき、即ち、可視光信号のパターンが"11000"又は"1100"のときに、誤検出率及び不検出率が少なくなることが分かった。また、送信効率が高いほど、一定の時間当たりにより多くの可視光信号を送信することができるので、可視光信号のパターンは"11000"又は"1100"が好ましいといえる。
【0092】
(第3実験)
盗撮又はデジタル万引きが行われる際には,携帯型情報端末のカメラに移動又は振動で生じた手ぶれが起きる可能性がある。そのため、手ぶれが生じた場合でも本システムが正常に動作することが可能かどうかを検証した。本実験では、実験用撮像装置及び実験用信号送信装置を使用して、実験用撮像装置を手で持ちながら、被写体である本を撮像し、大きく動く手ぶれと小さく動く手ぶれを再現した。ここでいう、大きく動く手ぶれとは、撮像箇所を見つけるまでの実験用撮像装置を大きく動かしたときの動きであり、小さく動く手ぶれとは、撮像箇所を見つけてから撮像するまでの実験用撮像装置を静止させようと手で保持したときの動きである。
【0093】
図12は、カメラに手ぶれ動作を加えつつ、可視光信号が送信されていないときと、送信されているときの検出結果を示すグラフである。可視光信号がないとき、大きく動く手ぶれが生じた期間では、それによる輝度値の変化により、ランダムなビットパターンが検出されていが、小さく動く手ぶれが生じた期間では、ビットパターンは検出されなくなっている。一方、可視光信号が送信されているとき、大きく動く手ぶれが生じた期間では、やはりランダムなビットパターンが検出されており、可視光信号を検出することができないが、小さく動く手ぶれが生じた期間では、可視光信号を検出することができた。このように、手ぶれが生じた場合でも本システムが正常に動作することが確認できた。
【0095】
なお、上述した実施形態においては、スマートフォンの機能を制限する構成について述べたが、これに限定されるものではない。スマートフォン以外の携帯電話機、PDA(Personal Digital Assistant)、デジタルカメラ、ウェアラブル端末等、撮像部搭載装置であればスマートフォン以外の装置であってもよい。
【0096】
また、上述した実施形態においては、機能制限の種類として、撮像の禁止、文字又は人物の撮像の禁止、撮像禁止の警告表示、通話の禁止、通話禁止の警告表示、電子メールの送信禁止について説明したが、これに限定されるものではない。上記とは異なる機能制限が含まれていたり、上記の機能制限のうちの一部又は全部が含まれていなかったりしても、2以上の機能制限があり、可視光信号のパターンに対応する機能制限を選択して実行するものであればよい。
【0097】
また、上述した実施形態においては、tフレームの分割輝度値がt−1フレームの分割輝度値から3箇所以上で変化している、及び、tフレームの全体輝度値がt−1フレームからt−5フレームの全体輝度値の平均値とは所定値以上異なる、の2つの条件の両方が成立した場合に、tフレームの光量が変化したと判断する構成について述べたが、これに限定されるものではない。上記の条件の何れか一方のみを使用して、その条件が成立した場合にはtフレームの光量が変化したと判断し、成立しなかった場合にはtフレームの光量が変化しなかったと判断するようにしてもよい。
【0098】
また、上述した実施の形態においては、人物の撮像禁止の場合に、可視光信号の検出より所定時間前以降の撮像画像の削除を禁止する構成について述べたが、これに限定されるものではない。可視光信号の検出より所定時間前以降に得られた画像を記憶部304から強制的に削除する構成としてもよい。これにより、可視光信号の検出前に盗撮された画像があっても、盗撮画像がユーザの手に渡ることが防止される。また、人物の撮像禁止ではなく、全ての撮像の禁止の場合、文字の撮像禁止の場合、又は撮像禁止の警告表示の場合にも、可視光信号検出の所定時間前以降の撮像により得られた画像の削除を禁止したり、強制的に削除することも可能である。また、可視光信号の検出より所定時間前以降の撮像により得られた画像に対して機能制限(画像の削除を禁止、削除等)をしない構成とすることも可能である。
【0099】
また、上述した実施形態においては、連続する各フレームを6つの領域に分割して分割輝度値を求め、tフレームとt−1フレーム間で同一の領域の分割輝度値を比較することで、光量の変化を検出する構成について述べたが、これに限定されるものではない。分割する領域の数は6に限定されず、複数であれば6以外の領域数としてもよい。また、相前後するフレーム間で分割輝度値を比較するのではなく、所定のフレーム数離れて間欠的に選択した2つのフレーム間(例えば、tフレームとt−2フレームとの間)で分割輝度値を比較することも可能である。但し、フレームレート及び可視光信号の送信ビットレートと関係するが、比較する2つのフレームの間隔が開きすぎると、ビットの検出抜けが発生することとなるので、2つのフレームの間隔はできるだけ小さくすることが好ましい。
【0100】
また、分割輝度値の変化の箇所数は3箇所以上に限定されない。但し、全領域において分割輝度値が変化していなければ、条件が成立しないこととすると、画像全体で輝度値の変化がある場合しか検出することができなくなり、検出精度が低くなるおそれがある。また、箇所数が少なすぎると(例えば1箇所)、可視光信号とは関係のない光の変化を捉えてしまい、外乱の影響を受けやすくなる。このため、分割数の約半数以上で分割輝度値の変化があった場合に、条件が成立することとするのが好ましい。
【0101】
また、上述した実施の形態においては、tフレームの全体輝度値がt−1フレームからt−5フレームの全体輝度値の平均値とを比較する構成について述べたが、これに限定されるものではない。平均値とするのではなく、tフレームの全体輝度値と、他の1フレーム(例えば、t−1フレーム)の全体輝度値とを比較する構成としてもよいし、平均するフレーム数を5以外(例えば、3)としてもよい。
【0102】
また、上述した実施の形態においては、可視光信号を検出した場合に、撮像部301の機能を停止させる構成について述べたが、これに限定されるものではない。撮像部301によって得られた静止画像又は動画像を、記憶部304に記憶させないようにすることで、撮像を制限する構成とすることも可能であるし、例えば撮像を指示するボタンを無効化したり非表示にしたりして、入力部302による撮像指示の入力を受け付けないようにすることで、撮像を制限する構成とすることも可能である。また、撮像の制限と合わせて、「撮像が制限されています」などのメッセージを表示して、ユーザに注意を促すようにすることも可能である。
【0103】
また、上述した実施の形態においては、信号送信装置200が常時点灯の第1LED部201と強弱点灯の第2LED部202とを備える構成について述べたが、これに限定されるものではない。常時点灯のLEDを設けず、強弱点灯のLEDのみによって信号送信装置を構成することも可能である。また、可視光信号を強弱点灯信号とするのではなく、点滅信号とすることも可能である。
【0104】
また、上述した実施の形態においては、携帯型情報端末300のCPUで機能制限プログラムを実行することで、可視光信号の検出及び携帯型情報端末300の機能制限を行う構成について述べたが、これに限定されるものではない。上述した実施の形態において説明した可視光信号の検出及び機能制限と同様の処理を行うASIC又はFPGA等のハードウェアを携帯型情報端末に搭載することも可能である。