(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
以下、本発明の実施の形態に係る光通信システムについて説明する。本発明の実施形態に係る光通信システム1は、
図1に示すように、送信装置100と受信装置200とを含んで構成されている。
【0010】
光通信システム1では、送信装置100と受信装置200とは、光を通信媒体として送信装置100から受信装置200への通信を行うことができる。
【0011】
送信装置100は、受信装置200への通信対象の情報を、変調により可視光である赤(R)、緑(G)、青(B)の時系列で変化する光信号に変換して出力する。
【0012】
受信装置200は、例えばスマートフォンであり、撮像範囲に含む送信装置100を撮像することにより、送信装置100からの光信号を受光する。また、受信装置200は、撮像により得られた画像を表示する。また、受信装置200は、受光した光信号から通信対象の情報を復号し、表示する。
【0013】
次に、送信装置100について説明する。送信装置100は、
図2に示すように、制御部102、メモリ104、送信部114を含んで構成される。
【0014】
制御部102は、CPU(Central Processing Unit)を備え、メモリ104に格納されているプログラムに従ってソフトウェア処理を実行し、送信装置100が具備する各種機能を実現するために機能する。
【0015】
メモリ104は、例えばワークエリアとなるRAM(Random Access Memory)、基本動作プログラムを記憶するROM(Read Only Memory)である。メモリ104は、送信装置100における制御等に用いられる各種情報(プログラム等)を記憶する。
【0016】
制御部102内の符号化・変調部110は、通信対象である情報をビットデータ列に符号化する。更に、符号化・変調部110は、ビットデータ列に基づくデジタル変調を行う。変調方式として例えば周波数を28.8(kHz)とする搬送波を用いた4PPM(Pulse Position Modulation)が採用される。制御部102内の駆動部112は、符号化・変調部110が生成した信号に基づいて、送信部114に対して、波長の異なる可視光である赤(R)、緑(G)、青(B)の光を同一の輝度で、変化周期t1で時間的に変化させる制御を行う。
【0017】
送信部114は、例えば発光ダイオード(LED:Light Emitting Diode)であり、駆動部112の制御により、赤(R)、緑(G)、青(B)の各波長の光を同一の輝度で、変化周期t1で時間的に変化させながら出力する。
【0018】
次に、受信装置200について説明する。受信装置200は、撮像画像を表示するとともに、送信装置100からの情報を受信するための通信装置として機能する。受信装置200は、
図3に示すように、制御部202、メモリ204、操作部206、表示部207、無線通信部208、アンテナ210、撮像部214を含んで構成される。
【0019】
制御部202は、CPUによって構成される。制御部202は、メモリ204に記憶されたプログラムに従ってソフトウェア処理を実行することにより、受信装置200が具備する各種機能を実現するために機能する。
【0020】
メモリ204は、例えばRAMやROMである。メモリ204は、受信装置200における制御等に用いられる各種情報(プログラム等)を記憶する。
【0021】
操作部206は、表示部207の表示領域の上面に配置されるタッチパネルであり、ユーザの操作内容を入力するために用いられるインタフェースである。表示部207は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、EL(Electro-Luminescence)ディスプレイ等によって構成され、画像を表示する。
【0022】
無線通信部208は、例えば無線周波数(RF:Radio Frequency)回路やベースバンド(BB:Base Band)回路等を用いて構成される。無線通信部208は、アンテナ210を介して、無線信号の送信及び受信を行う。また、無線通信部208は、送信信号の変調と、受信信号の復調とを行う。
【0023】
撮像部214は、受信装置200の筐体において、表示部207が設置された面とは反対側の面に配置される。撮像部214は、レンズと受光素子により構成される。レンズは、ズームレンズ等により構成され、制御部202によるズーム制御及び合焦制御により移動する。撮像部214の撮像画角、光学像は、レンズの移動によって制御される。受光素子は、受光面に規則的に二次元配列された複数の受光素子により構成される。受光素子は、例えば、フォトダイオード、ベイヤー配列のカラーフィルターを実装し、また若しくは三板式のCCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等の撮像デバイスである。
【0024】
撮像部214は、送信装置100内の送信部114における光の変化周期t1と同一の撮像周期t1で撮像を行う。撮像部214は、入光された光学像を、制御部202からの制御信号に基づいて所定範囲の撮像画角で撮像(受光)し、その撮像画角内の画像信号を逐次、制御部202へ出力する。
【0025】
制御部202内の画像生成部232は、撮像部214からの画像信号が入力される毎に、当該画像信号をデジタルデータに変換してフレームを生成する。制御部202内の表示制御部236は、フレームに対応する画像を表示部207に表示させる制御を行う。
【0026】
制御部202内の復号部234は、時系列的に連続して入力されるフレームにおける波長の変化による色相変化が生じる箇所(変化領域)の判別を行う。具体的には、復号部234は、フレームの画像データ内の各画素の明度を判別する。更に、復号部234は、明度値が所定値以上である画素を、送信装置100内の送信部114からの発光色に相当する波長光を受光することにより色相変化が生じる箇所(変化領域)の候補(候補領域)であると見なす。更に、復号部234は、直近に取得された所定数のフレームのそれぞれにおける候補領域内の同一座標において色相を判別する。判別の結果、候補領域内の座標における色相値があるフレームでは第1の所定値であり、他のフレームでは第2の所定値である場合というように、所定のパターンで大きく変化する場合には、復号部234は、当該候補領域を変化領域であると見なす。
【0027】
変化領域が存在する場合には、復号部234は、その後、撮像毎にフレーム内の変化領域の色相値(波長の種類)を取得し、その色相値に対応する変化領域の色を、赤(R)、緑(G)、青(B)の何れかに判別する。更に、復号部234は、赤(R)、緑(G)、青(B)の各色に対応するビットデータ列を復号し、通信対象の情報を取得する。更に、表示制御部236は、通信対象の情報の画像を表示部207に表示させる制御を行う。
【0028】
ところで、送信装置100から出力される光の輝度が高く、受信装置200において撮像により得られたフレーム内の送信部114(光源)の部分の明度が高い場合、いわゆる白飛びという現象が発生し、光源部分が白色になってしまう可能性がある。このような場合には、正確に色を判定できず、復号が困難となる。
【0029】
このため、本実施形態においては、上述した復号部234における変化領域の判別、変化領域の色の判別、及び、ビット列データの復号に先立って、白飛び領域の有無を判別し、白飛び領域が存在する場合には、復号が可能なように画像処理を行うようにする。
図4は、画像処理を示す図である。白飛びが発生すると、
図4(A)にしめすように、フレーム内の光源部分は、本来の光源の色の領域(色領域)の内側に白飛び領域が含まれたものとなり、色領域の面積が本来の面積よりも減少してしまう。
【0030】
このため、本実施形態では、第1の画像処理と第2の画像処理とが選択的に実行される。第1の画像処理では、復号部234は、撮像部214内のレンズを移動させる等により、焦点をずらす処理を行う。これにより、フレームは、ぼけた画像になり、
図4(B)に示すように、色領域の面積が増加し、白飛び領域の面積が減少する。
【0031】
一方、第2の画像処理では、復号部234は、画像のフィルタリング処理(光学ぼかしフィルタリング処理)を行うプログラムを実行する。このフィルタリング処理では、白飛び領域の色を、当該白飛び領域の周囲の色領域の色に置き換える処理が行われる。これにより、
図4(C)に示すように色領域のみとなる。
【0032】
次に、光通信システム1の動作を説明する。光通信システム1においては、送信装置100による送信処理、受信装置200による受信処理が行われる。
【0033】
送信装置100の制御部102内の符号化・変調部110は、通信対象の情報をビットデータ列に符号化し、更に、ビットデータ列に基づくデジタル変調を行う。
【0034】
次に、制御部102内の駆動部112は、符号化・変調部110が生成した信号に基づいて、送信部114に対して、赤(R)、緑(G)、青(B)の光を発光周期t1で時間的に変化させる制御を行う。これにより、送信部114は、駆動部112の制御により、変調された通信対象の情報に基づいて、赤(R)、緑(G)、青(B)の光を同一の輝度で、発光周期t1で出力する。
【0035】
図5は、受信装置200による第1の画像処理を含む受信処理の動作を示すフローチャートである。制御部202内の画像生成部232は、撮像部214からの画像信号が入力される毎に、当該画像信号をデジタルデータに変換してフレームを生成する。制御部202内の復号部234は、生成されたフレーム内に白飛び領域があるか否かを判定する(ステップS101)。
【0036】
具体的には、復号部234は、フレームを構成する各画素の明度と色相を判別する。更に、復号部234は、明度値が所定値以上で白の色相値を有する画素(白飛び画素)が存在し、且つ、その白飛び画素の周囲に赤(R)、緑(G)、青(B)の何れかの色相値を有する画素(色画素)が存在するか否かを判定する。復号部234は、白飛び画素とその周囲の色画素との組み合わせが存在する場合には、白飛び領域が存在すると判定し、白飛び画素とその周囲の色画素との組み合わせが存在しない場合には、白飛び領域が存在しないと判定する。
【0037】
白飛び領域が存在する場合(ステップS101;YES)、復号部234は、撮像部214内のレンズを移動させる等により、焦点をずらす処理を行う(ステップS102)。これにより、上述したように、フレームはぼけた画像になり、
図4(B)に示すように、色領域の面積が増加し、白飛び領域の面積が減少する。
【0038】
ステップS102における焦点ずらし処理の後、又は、ステップS101において、白飛び領域が存在しないと判定された場合(ステップS101;NO)、画像生成部232は、撮像部214からの画像信号が入力される毎に、リアルタイムで、当該画像信号をデジタルデータに変換してフレームを生成(取得)し、表示制御部236は、フレームに対応する画像を表示部207に表示させる制御を行う(ステップS103)。
【0039】
次に、復号部234は、時系列的に連続して入力されるフレームにおける波長の変化による色相変化が生じる箇所(変化領域:光源)の判別を行う(ステップS104)。次に、復号部234は、フレーム内の変化領域の色相値(波長の種類)を取得し、その色相値に対応する変化領域の色を、赤(R)、緑(G)、青(B)の何れかに判別する(ステップS105)。更に、復号部234は、赤(R)、緑(G)、青(B)の各色に対応するビットデータ列を復号し、通信対象の情報を取得する(ステップS106)。その後、表示制御部236によって、通信対象の情報の画像が表示部207を表示させる制御が行われる。
【0040】
図6は、受信装置200による第2の画像処理を含む受信処理の動作を示すフローチャートである。
図5と同様、制御部202内の画像生成部232は、撮像部214からの画像信号が入力される毎に、当該画像信号をデジタルデータに変換してフレームを生成する。制御部202内の復号部234は、生成されたフレーム内に白飛び領域があるか否かを判定する(ステップS201)。
【0041】
白飛び領域が存在する場合(ステップS201;YES)、復号部234は、画像のフィルタリング処理(光学ぼかしフィルタリング処理)を行うプログラムを実行する(ステップS202)。上述したように、このフィルタリング処理では、白飛び領域の色を、当該白飛び領域の周囲の色領域の色に置き換える処理が行われ、
図4(C)に示すように色領域のみとなる。
【0042】
ステップS202における光学ぼかしフィルタリング処理の後、又は、ステップS201において、白飛び領域が存在しないと判定された場合(ステップS201;NO)、ステップS203〜ステップS206の処理が行われる。ステップS203〜ステップS206の処理は、
図5のステップS103〜ステップS106の処理と同様であるので、その説明は省略する。
【0043】
以上説明したように、本実施形態に係る光通信システム1では、送信装置100から出力される光の輝度が高く、受信装置200における撮像により得られたフレーム内の送信部114(光源)の部分の明度が高いために白飛びという現象が発生する場合、受信装置200内の復号部234は、変化領域の判別、変化領域の色の判別、及び、ビット列データの復号に先立って、撮像部214内のレンズを移動させる等により、焦点をずらす第1の画像処理や、画像のフィルタリング処理(光学ぼかしフィルタリング処理)を行うプログラムを実行して、白飛び領域の色を、当該白飛び領域の周囲の色領域の色に置き換える処理を行う。
【0044】
これらの第1の画像処理及び第2の画像処理が行われることにより、フレーム内の白飛び領域の面積が減少し、光源の色である赤(R)、緑(G)、青(B)の領域(色領域)の面積が増加するため、変化領域の判別、変化領域の色の判別、及び、ビット列データの復号の精度を向上させることができる。
【0045】
なお、本発明は、上記実施形態に限定されず、様々な変形及び応用が可能である。例えば、上述した実施形態では、可視光である赤(R)、緑(G)、青(B)の光を通信に用いる場合について説明したが、他の色の可視光を用いてもよく、更には、赤外線等の可視光以外の光を用いてもよい。
【0046】
また、送信装置100内の送信部114は、例えば、表示部の一部に構成されていてもよい。
【0047】
また、受信装置200は、撮像が可能であれば、どのような装置でもよい。例えば、PHS(Personal Handy-phone System)、PDA(Personal Digital Assistant又はPersonal Data Assistance)、タブレットPC(Personal Computer)、ゲーム機器、携帯型音楽再生装置等であってもよい。
【0048】
また、受信装置200の機能と送信装置100の機能とを両方備える装置を用意し、場面に応じて、両機能を使い分けることができるようにしてもよい。
【0049】
また、上記各実施形態において、実行されるプログラムは、フレキシブルディスク、CD−ROM(Compact Disc Read-Only Memory)、DVD(Digital Versatile Disc)、MO(Magneto-Optical disc)等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行するシステムを構成することとしてもよい。
【0050】
また、プログラムをインターネット等のネットワークNW上の所定のサーバが有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。
【0051】
なお、上述の機能を、OS(Operating System)が分担して実現する場合又はOSとアプリケーションとの協働により実現する場合等には、OS以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。
【0052】
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【0053】
(付記1)
時系列的に変化する色が含まれる画像を連続的に取得する画像取得手段と、
前記画像取得手段によって連続的に取得された画像の白飛びしている画素領域について、前記色が含まれる画像の領域の面積を増加させるよう処理する処理手段と、
前記処理手段によって面積が増加した画像の色から情報へ復号する復号手段と、
を備えることを特徴とする復号装置。
【0054】
(付記2)
前記画像取得手段によって連続的に取得された画像に、所定値以上の明度値を有する画素領域と前記画素領域の周囲に隣接し前記所定値未満の明度値で時系列的に変化する色を有する画素領域とが含まれるか否かを判断する判断手段を更に備え、
前記処理手段は、前記判断手段により肯定と判断された場合に、前記時系列的に変化する色を有する画素領域の面積を増加させるよう処理することを特徴とする付記1に記載の復号装置。
【0055】
(付記3)
前記画像取得手段が取得する画像を光学的に調整する調整手段を更に備え、
前記処理手段は、前記調整手段による調整内容を制御する制御手段を含むことを特徴とする付記1又は2に記載の復号装置。
【0056】
(付記4)
前記画像取得手段が取得する画像にフィルタリング処理を行うフィルタリング手段を更に備え、
前記処理手段は、前記フィルタリング手段によるフィルタ処理を制御する制御手段を含むことを特徴とする付記1又は2に記載の復号装置。
【0057】
(付記5)
時系列的に変化する色が含まれる画像を連続的に取得する画像取得ステップと、
前記画像取得ステップにて連続的に取得された画像の白飛びしている画素領域について、前記色が含まれる画像の領域の面積を増加させるよう処理する処理ステップと、
前記処理ステップにて面積が増加した画像の色から情報へ復号する復号ステップと、
を含むことを特徴とする復号方法。
【0058】
(付記6)
コンピュータを、
時系列的に変化する色が含まれる画像を連続的に取得する画像取得手段、
前記画像取得手段によって連続的に取得された画像の白飛びしている画素領域について、前記色が含まれる画像の領域の面積を増加させるよう処理する処理手段、
前記処理手段によって面積が増加した画像の色から情報へ復号する復号手段、
として機能させることを特徴とするプログラム。