(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-05
(45)【発行日】2024-09-13
(54)【発明の名称】可視光通信システム
(51)【国際特許分類】
H04B 10/116 20130101AFI20240906BHJP
【FI】
H04B10/116
(21)【出願番号】P 2022078459
(22)【出願日】2022-05-11
(62)【分割の表示】P 2019128821の分割
【原出願日】2015-05-18
【審査請求日】2022-06-10
(31)【優先権主張番号】P 2014102863
(32)【優先日】2014-05-16
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】510216968
【氏名又は名称】株式会社GOCCO.
(74)【代理人】
【識別番号】100103023
【氏名又は名称】萬田 正行
(72)【発明者】
【氏名】小林 孝浩
(72)【発明者】
【氏名】森 誠之
(72)【発明者】
【氏名】渡邊 充哉
(72)【発明者】
【氏名】遠藤 孝則
【審査官】対馬 英明
(56)【参考文献】
【文献】国際公開第2013/175803(WO,A1)
【文献】特開2013-223047(JP,A)
【文献】特開平03-080719(JP,A)
【文献】特開2007-274580(JP,A)
【文献】特開2006-277552(JP,A)
【文献】特開2007-067920(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04B 10/00-10/90
H04J 14/00-14/08
(57)【特許請求の範囲】
【請求項1】
発光側装置と受光側装置とからなる可視光通信システムであって、
前記発光側装置は、
発光素子からなる光源と、
前記光源からの光を直接的にまたは間接的に所定の態様で出力するように制御する発光側制御手段とを備え、
前記受光側装置は、
前記光源の光を受光して、その受光イメージを経時的に位置をずらしながら異なる画素に露光して撮像し、その撮像データを出力する撮像素子と、
前記撮像素子からの撮像データを入力し、前記撮像データに基づき所定の制御を行う受光側制御手段とを備え、
前記発光側制御手段は、
前記光源からの光を直接的に又は間接的に使用して、所定の複数個の点滅光を出力すると共に、前記複数個の点滅光の周期である点滅間隔を、それぞれ、固有の点滅間隔とすることで、前記複数個の点滅光を符号化してその符号化データを出力し、
前記受光側制御手段は、
前記光源からの前記複数個の点滅光を前記撮像素子に入力して、前記撮像素子により、前記複数個の点滅光のそれぞれの固有の点滅間隔に対応するパターンを撮像し、そのパターンを出力して、そのパターンに基づき、前記点滅光からの符号化データを復号化し、
前記発光側制御手段は、更に、前記点滅光の各点灯時間及び各消灯時間が、前記撮像素子の複数画素にわたる露光時間以上の時間となるよう、前記点滅光の点滅間隔を設定して、前記点滅間隔の点滅光により所定の点滅光セットを構成し、
前記受光側制御手段では、所定の複数対数だけ連続する明部及び暗部の集合により、1組の明暗部のセットである明暗部セットを構成し、この明暗部セットを前記受光側制御手段の前記パターンの撮像データとして使用して、一つの明暗部セットにおいて連続する明部の寸法の相互の関係又は一つの明暗部セットにおいて連続する暗部の寸法の相互の関係又は一つの明暗部セットにおいて連続する明部の寸法と暗部の寸法の相互の関係のいずれかにより、前記符号化データに対応する一意の情報を表現することを特徴とする可視光通信システム。
【請求項2】
前記受光側制御手段は、前記撮像素子において隣接する複数の画素を1ブロックとして1つの画素ブロックを構成し、前記画素ブロックを単位として前記明部及び前記暗部を構成することで前記明暗部セットを構成することを特徴とする請求項1記載の可視光通信システム。
【請求項3】
発光側装置と受光側装置とからなる可視光通信システムであって、
前記発光側装置は、
発光素子からなる光源と、
前記光源からの光を直接的にまたは間接的に所定の態様で出力するように制御する発光側制御手段とを備え、
前記受光側装置は、
前記光源の光を受光して、その受光イメージを経時的に位置をずらしながら異なる画素に露光して撮像し、その撮像データを出力する撮像素子と、
前記撮像素子からの撮像データを入力し、前記撮像データに基づき所定の制御を行う受光側制御手段とを備え、
前記発光側制御手段は、
前記光源からの光を直接的に又は間接的に使用して、所定の複数個の点滅光を出力すると共に、前記複数個の点滅光の周期である点滅間隔を、それぞれ、固有の点滅間隔とすることで、前記複数個の点滅光を符号化してその符号化データを出力し、
前記受光側制御手段は、
前記光源からの前記複数個の点滅光を前記撮像素子に入力して、前記撮像素子により、前記複数個の点滅光のそれぞれの固有の点滅間隔に対応するパターンを撮像し、そのパターンを出力して、そのパターンに基づき、前記点滅光からの符号化データを復号化し、
前記発光側制御手段は、更に、前記点滅光の各点灯時間及び各消灯時間が、前記撮像素子の複数画素にわたる露光時間以上の時間となるよう、前記点滅光の点滅間隔を設定して、前記点滅間隔の点滅光により所定の点滅光セットを構成し、
前記受光側制御手段では、前記符号化データに対応する一意の情報を表現するための構成として、明暗線セット又は明暗部セットのいずれかを使用し、
前記受光側制御手段は、
前記明暗線セットとしては、所定の複数対数だけ連続する明暗線の集合により、1組の明暗線のセットである明暗線セットを構成し、この明暗線セットを前記受光側制御手段の前記パターンの撮像データとして使用して、一つの明暗線セットにおいて連続する明暗線の明線の幅の相互の関係又は一つの明暗線セットにおいて連続する明暗線の暗線の幅の相互の関係又は一つの明暗線セットにおいて連続する明暗線の明線の幅及び暗線の幅の相互の関係のいずれかにより、前記符号化データに対応する一意の情報を表現し、
前記明暗部セットとしては、所定の複数対数だけ連続する明部及び暗部の集合により、1組の明暗部のセットである明暗部セットを構成し、この明暗部セットを前記受光側制御手段の前記パターンの撮像データとして使用して、一つの明暗部セットにおいて連続する明部の寸法の相互の関係又は一つの明暗部セットにおいて連続する暗部の寸法の相互の関係又は一つの明暗部セットにおいて連続する明部の寸法と暗部の寸法の相互の関係のいずれかにより、前記符号化データに対応する一意の情報を表現することを特徴とする可視光通信システム。
【請求項4】
前記発光側制御手段は、
前記符号化データに対応する一意の情報を表現するための構成として前記明暗線セットを使用する場合、前記明暗線セットの明暗線の数と同一の複数だけ連続する点滅光の集合により、前記点滅光の1組のセットである点滅光セットを構成し、
前記符号化データに対応する一意の情報を表現するための構成として前記明暗部セットを使用する場合、前記明暗部セットの明暗部の数と同一の複数だけ連続する点滅光の集合により、前記点滅光の1組のセットである点滅光セットを構成し、
1組の点滅光セットが、前記撮像素子の1フレームを超える長さであるnフレームの長さの情報の場合、前記撮像素子の連続するn+1の長さのフレームを使用して前記撮像素子に撮像を行うよう制御を行うことを特徴とする請求項3に記載の可視光通信システム。
【請求項5】
前記発光側制御手段は、
前記符号化データに対応する一意の情報を表現するための構成として前記明暗線セットを使用する場合、前記明暗線セットの暗線の幅を認識して符号化するか、又は、前記明暗線セットの明線の幅を認識して符号化するものであり、
前記明暗線セットの暗線の幅を認識して符号化する場合、明線の両側に隣接する1対の暗線のそれぞれの幅方向中心位置の間の間隔を取得し、この間隔から、左右の明線のそれぞれの幅の1/2の間隔をそれぞれ減算することで、結果的に、中央の暗線の幅を取得し、
前記明暗線セットの明線の幅を認識して符号化する場合、暗線の両側に隣接する1対の明線のそれぞれの幅方向中心位置の間の間隔を取得し、この間隔から、左右の暗線のそれぞれの幅の1/2の間隔をそれぞれ減算することで、結果的に、中央の明線の幅を取得することを特徴とする請求項3に記載の可視光通信システム。
【請求項6】
発光側装置と受光側装置とからなる可視光通信システムであって、
前記発光側装置は、
発光素子からなる光源と、
前記光源からの光を直接的にまたは間接的に所定の態様で出力するように制御する発光側制御手段とを備え、
前記受光側装置は、
前記光源の光を受光して、その受光イメージを経時的に位置をずらしながら異なる画素に露光して撮像し、その撮像データを出力する撮像素子と、
前記撮像素子からの撮像データを入力し、前記撮像データに基づき所定の制御を行う受光側制御手段とを備え、
前記発光側制御手段は、
前記光源からの光を直接的に又は間接的に使用して、所定の複数個の点滅光を出力すると共に、前記複数個の点滅光の
周期である点滅間隔を、それぞれ、固有の点滅間隔とすることで、前記複数個の点滅光を符号化してその符号化データを出力し、
前記受光側制御手段は、
前記光源からの前記複数個の点滅光を前記撮像素子に入力して、前記撮像素子により、前記複数個の点滅光のそれぞれの固有の点滅間隔に対応するパターンを撮像し、そのパターンを出力して、そのパターンに基づき、前記点滅光からの符号化データを復号化し、
前記発光側制御手段は、更に、前記点滅光の各点灯時間及び各消灯時間が、前記撮像素子の複数画素にわたる露光時間以上の時間となるよう、前記点滅光の点滅間隔を設定して、前記点滅間隔の点滅光により所定の点滅光セットを構成し、
前記発光側装置は、シート状又はカード状の基体を備えると共に、前記基体の内部に、前記発光側制御手段としてのマイコンチップと、電源と、前記光源としてのLEDとを実装し、前記マイコンチップの発光制御により前記LEDを点滅発光制御することを特徴とする可視光通信システム。
【請求項7】
発光側装置と受光側装置とからなる可視光通信システムであって、
前記発光側装置は、
発光素子からなる光源と、
前記光源からの光を直接的にまたは間接的に所定の態様で出力するように制御する発光側制御手段とを備え、
前記受光側装置は、
前記光源の光を受光して、その受光イメージを経時的に位置をずらしながら異なる画素に露光して撮像し、その撮像データを出力する撮像素子と、
前記撮像素子からの撮像データを入力し、前記撮像データに基づき所定の制御を行う受光側制御手段とを備え、
前記発光側制御手段は、
前記光源からの光を直接的に又は間接的に使用して、所定の複数個の点滅光を出力すると共に、前記複数個の点滅光の
周期である点滅間隔を、それぞれ、固有の点滅間隔とすることで、前記複数個の点滅光を符号化してその符号化データを出力し、
前記受光側制御手段は、
前記光源からの前記複数個の点滅光を前記撮像素子に入力して、前記撮像素子により、前記複数個の点滅光のそれぞれの固有の点滅間隔に対応するパターンを撮像し、そのパターンを出力して、そのパターンに基づき、前記点滅光からの符号化データを復号化し、
前記発光側制御手段は、更に、前記点滅光の各点灯時間及び各消灯時間が、前記撮像素子の複数画素にわたる露光時間以上の時間となるよう、前記点滅光の点滅間隔を設定して、前記点滅間隔の点滅光により所定の点滅光セットを構成し、
前記発光側装置は、ソケット部及び電球部及び発光部からなる電球を備え、前記電球部及び発光部の内部に基板を配設すると共に、前記基板に前記光源としてのLEDと、前記発光側制御手段としてのマイコンチップを実装し、前記マイコンチップからの発光制御により前記LEDを点滅発光制御することを特徴とする可視光通信システム。
【請求項8】
発光側装置と受光側装置とからなる可視光通信システムであって、
前記発光側装置は、
発光素子からなる光源と、
前記光源からの光を直接的にまたは間接的に所定の態様で出力するように制御する発光側制御手段とを備え、
前記受光側装置は、
前記光源の光を受光して、その受光イメージを経時的に位置をずらしながら異なる画素に露光して撮像し、その撮像データを出力する撮像素子と、
前記撮像素子からの撮像データを入力し、前記撮像データに基づき所定の制御を行う受光側制御手段とを備え、
前記発光側制御手段は、
前記光源からの光を直接的に又は間接的に使用して、所定の複数個の点滅光を出力すると共に、前記複数個の点滅光の
周期である点滅間隔を、それぞれ、固有の点滅間隔とすることで、前記複数個の点滅光を符号化してその符号化データを出力し、
前記受光側制御手段は、
前記光源からの前記複数個の点滅光を前記撮像素子に入力して、前記撮像素子により、前記複数個の点滅光のそれぞれの固有の点滅間隔に対応するパターンを撮像し、そのパターンを出力して、そのパターンに基づき、前記点滅光からの符号化データを復号化し、
前記発光側制御手段は、更に、前記点滅光の各点灯時間及び各消灯時間が、前記撮像素子の複数画素にわたる露光時間以上の時間となるよう、前記点滅光の点滅間隔を設定して、前記点滅間隔の点滅光により所定の点滅光セットを構成し、
前記発光側装置は、基体及びレンズを有するプロジェクタを備え、前記基体の内部に前記発光側制御手段としてのマイコンチップを実装し、前記マイコンチップの発光制御により、前記プロジェクタに内装した前記光源からの光を点滅発光制御することを特徴とする可視光通信システム。
【請求項9】
前記発光側装置は、前記基体の所定位置にスロットを設け、所定形状の識別子提供装置を前記スロットに挿入することにより、前記識別子提供装置に固有の識別子を認識して、前記識別子に応じた発光制御態様でレンズから前記点滅光を出力することを特徴とする請求項8に記載の可視光通信システム。
【請求項10】
発光側装置と受光側装置とからなる可視光通信システムであって、
前記発光側装置は、
発光素子からなる光源と、
前記光源からの光を直接的にまたは間接的に所定の態様で出力するように制御する発光側制御手段とを備え、
前記受光側装置は、
前記光源の光を受光して、その受光イメージを経時的に位置をずらしながら異なる画素に露光して撮像し、その撮像データを出力する撮像素子と、
前記撮像素子からの撮像データを入力し、前記撮像データに基づき所定の制御を行う受光側制御手段とを備え、
前記発光側制御手段は、
前記光源からの光を直接的に又は間接的に使用して、所定の複数個の点滅光を出力すると共に、前記複数個の点滅光の
周期である点滅間隔を、それぞれ、固有の点滅間隔とすることで、前記複数個の点滅光を符号化してその符号化データを出力し、
前記受光側制御手段は、
前記光源からの前記複数個の点滅光を前記撮像素子に入力して、前記撮像素子により、前記複数個の点滅光のそれぞれの固有の点滅間隔に対応するパターンを撮像し、そのパターンを出力して、そのパターンに基づき、前記点滅光からの符号化データを復号化し、
前記発光側制御手段は、更に、前記点滅光の各点灯時間及び各消灯時間が、前記撮像素子の複数画素にわたる露光時間以上の時間となるよう、前記点滅光の点滅間隔を設定して、前記点滅間隔の点滅光により所定の点滅光セットを構成し、
前記発光側装置は、コイン型の基体の内部に、前記発光側制御手段としてのマイコンチップと、電源と、前記光源としてのLEDとを実装し、前記マイコンチップの発光制御により前記LEDを点滅発光制御することを特徴とする可視光通信システム。
【請求項11】
前記マイコンチップの記憶部に、所定の通貨情報を格納し、前記点滅光は、この通貨情報に対応したコード情報を提供するような点滅光セットとして出力されることを特徴とする請求項10に記載の可視光通信システム。
【請求項12】
発光側装置と受光側装置とからなる可視光通信システムであって、
前記発光側装置は、
発光素子からなる光源と、
前記光源からの光を直接的にまたは間接的に所定の態様で出力するように制御する発光側制御手段とを備え、
前記受光側装置は、
前記光源の光を受光して、その受光イメージを経時的に位置をずらしながら異なる画素に露光して撮像し、その撮像データを出力する撮像素子と、
前記撮像素子からの撮像データを入力し、前記撮像データに基づき所定の制御を行う受光側制御手段とを備え、
前記発光側制御手段は、
前記光源からの光を直接的に又は間接的に使用して、所定の複数個の点滅光を出力すると共に、前記複数個の点滅光の
周期である点滅間隔を、それぞれ、固有の点滅間隔とすることで、前記複数個の点滅光を符号化してその符号化データを出力し、
前記受光側制御手段は、
前記光源からの前記複数個の点滅光を前記撮像素子に入力して、前記撮像素子により、前記複数個の点滅光のそれぞれの固有の点滅間隔に対応するパターンを撮像し、そのパターンを出力して、そのパターンに基づき、前記点滅光からの符号化データを復号化し、
前記発光側制御手段は、更に、前記点滅光の各点灯時間及び各消灯時間が、前記撮像素子の複数画素にわたる露光時間以上の時間となるよう、前記点滅光の点滅間隔を設定して、前記点滅間隔の点滅光により所定の点滅光セットを構成し、
前記発光側装置は、把持部及び鍵部を備え、前記把持部の内部に、電源と、前記発光側制御手段としてのマイコンチップとを実装すると共に、前記鍵部の先端に、前記光源としてのLEDを実装し、前記マイコンチップの発光制御により前記LEDを点滅発光制御することを特徴とする可視光通信システム。
【請求項13】
携帯端末装置のカメラレンズ部分に対応する位置に嵌合部を設け、前記嵌合部の鍵孔に、前記発光側装置の鍵部の先端を差し込んで嵌合することで、情報端末装置が前記発光側装置のLEDからの点滅光パターンを認識して、その点滅光パターンに応じた動作を行うよう構成されていることを特徴とする請求項12に記載の可視光通信システム。
【請求項14】
発光側装置と受光側装置とからなる可視光通信システムであって、
前記発光側装置は、
発光素子からなる光源と、
前記光源からの光を直接的にまたは間接的に所定の態様で出力するように制御する発光側制御手段とを備え、
前記受光側装置は、
前記光源の光を受光して、その受光イメージを経時的に位置をずらしながら異なる画素に露光して撮像し、その撮像データを出力する撮像素子と、
前記撮像素子からの撮像データを入力し、前記撮像データに基づき所定の制御を行う受光側制御手段とを備え、
前記発光側制御手段は、
前記光源からの光を直接的に又は間接的に使用して、所定の複数個の点滅光を出力すると共に、前記複数個の点滅光の
周期である点滅間隔を、それぞれ、固有の点滅間隔とすることで、前記複数個の点滅光を符号化してその符号化データを出力し、
前記受光側制御手段は、
前記光源からの前記複数個の点滅光を前記撮像素子に入力して、前記撮像素子により、前記複数個の点滅光のそれぞれの固有の点滅間隔に対応するパターンを撮像し、そのパターンを出力して、そのパターンに基づき、前記点滅光からの符号化データを復号化し、
前記発光側制御手段は、更に、前記点滅光の各点灯時間及び各消灯時間が、前記撮像素子の複数画素にわたる露光時間以上の時間となるよう、前記点滅光の点滅間隔を設定して、前記点滅間隔の点滅光により所定の点滅光セットを構成し、
前記発光側装置は、球状の基部を備え、前記基部の内部に、電源と、前記発光側制御手段としてのマイコンチップと、前記光源としてのLEDとを実装し、前記マイコンチップの発光制御により前記LEDを点滅発光制御することを特徴とする可視光通信システム。
【請求項15】
前記基部の内部には、近距離無線通信装置が内蔵され、
任意の位置に前記発光側装置を隠蔽状態で配置し、
携帯端末装置を使用して、前記携帯端末装置のGPS機能又は近距離無線通信技術を使用して探索し、前記携帯端末装置に実装した所定のアプリにより、前記携帯端末装置のディスプレイに表示した探索画面の探索領域上に、探索した発光側装置の位置を表示するよう構成されている請求項14に記載の可視光通信システム。
【請求項16】
探索された発光側装置のLEDから、その発光側装置に固有のパターンの点滅光セットを出力することで、前記携帯端末装置がその点滅光セットに対応するコードを取得し、そのコードに応じた動作を実行するよう構成されている請求項15に記載の可視光通信システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、可視光通信システムに関し、特に、撮像素子として(CMOSイメージセンサ等の)受光イメージを一定時間ごとに位置をずらしながら走査して撮像するタイプの撮像素子を使用した可視光通信システムに関する。
【背景技術】
【0002】
[従来の可視光通信]
近年、可視光通信なる通信方式が提案されている。この可視光通信は、発光素子から出力する可視光を変調(即ち、強度変調)することにより、可視光に所望の情報を付与して出力し、受光素子で受光した可視光を復調して前記所望の情報を読み出すことにより、所望のデータを送受信する通信方式である。可視光通信は、信号出力装置として特別な装置を用意しなくても、照明器具、誘導灯、交通信号機等の身近な発光装置を利用して情報伝送を行うことができることから、光の直進性による制約がない環境(即ち、発光側と受光側との間に障害物がない環境)で、従来の無線通信方式を代替する、或いは、従来の無線通信方式と競合する通信技術として期待されている。なお、可視光通信で使用される発光素子としては、LED(発光ダイオード)や有機EL等の高速点滅可能な半導体素子が一般的である。また、可視光通信の受光素子としては、フォトダイオードが一般的であるが、CCDイメージセンサやCMOSイメージセンサ等の固体撮像素子の使用も提案されている。なお、受光素子として固体撮像素子を使用した可視光通信は、イメージセンサ通信とも呼ばれている。
【0003】
[従来の可視光通信に関する特許文献]
ここで、可視光通信に関する発明として、特許文献1に記載の表示装置及びプログラムが提案されている。この発明は、可視光による情報送信を好適に行なえるようにすることを目的とし、携帯端末において、制御部が、他の携帯端末へ送信すべき情報であるタグIDを可視光通信に用いるマーカーに変換するようにしている。更に、制御部及びドライバが、変換されたマーカーを表示部に表示させる制御を行うようにしている。また、制御部及びドライバが、表示部に表示されるマーカーの表示態様を調整する制御を行うようにしている。
【0004】
特許文献1に記載の可視光通信装置は、受光素子としてCCDイメージセンサを使用するため、上記したイメージセンサ通信技術に関するものであるが、一般に、イメージセンサ通信技術では、データ処理の高速化が難しいという課題があり、データ処理の高速化を図るためには構成が複雑化するという更なる課題がある。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
そこで、本発明は、撮像素子として(CMOSイメージセンサ等の)受光イメージを経時的に位置をずらしながら走査して撮像するタイプの撮像素子を使用すると共に、そのような撮像素子に特有の現象を利用して、全体の構成を複雑化することなくデータ処理の高速化を実現することができる可視光通信システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明に係るコンピュータ装置用の可視光通信システムは、発光側装置と受光側装置とからなる可視光通信システムである。前記発光側装置は、発光素子からなる光源と、前記光源からの光を直接的にまたは間接的に所定の態様で出力するように制御する発光側制御手段とを備える。前記受光側装置は、前記光源の光を受光して、その受光イメージを撮像し、その撮像データを出力する撮像素子と、前記撮像素子からの撮像データを入力し、前記撮像データに基づき所定の制御を行う受光側制御手段とを備える。前記発光側制御手段は、前記光源からの光を直接的に又は間接的に使用して、所定の複数個の点滅光を出力すると共に、前記複数個の点滅光の周期である点滅間隔を、それぞれ、固有の点滅間隔とすることで、前記複数個の点滅光を符号化してその符号化データを出力する。前記受光側制御手段は、前記光源からの前記複数個の点滅光を前記撮像素子に入力して、前記撮像素子により、前記複数個の点滅光のそれぞれの固有の点滅間隔に対応するパターンを撮像し、そのパターンを出力して、そのパターンに基づき、前記点滅光からの符号化データを復号化する。前記発光側制御手段は、更に、前記点滅光の各点灯時間及び各消灯時間が、前記撮像素子の複数画素にわたる露光時間以上の時間となるよう、前記点滅光の点滅間隔を設定して、前記点滅間隔の点滅光により所定の点滅光セットを構成する。前記受光側制御手段では、所定の複数対数だけ連続する明暗線の集合により、1組の明暗線のセットである明暗線セットを構成し、この明暗線セットを前記受光側制御手段の前記パターンの撮像データとして使用して、一つの明暗線セットにおいて連続する明暗線の明線の幅及び/又は暗線の幅の相互の関係により、前記符号化データに対応する一意の情報を表現する。
【発明の効果】
【0008】
本発明は、上記のように構成したことにより、撮像素子として(CMOSイメージセンサ等の)受光イメージを経時的に位置をずらしながら走査して撮像するタイプの撮像素子を使用すると共に、そのような撮像素子に特有の現象を利用して、全体の構成を複雑化することなくデータ処理の高速化を実現することができる。
【図面の簡単な説明】
【0009】
【
図1】
図1は本発明の実施の形態1に係る可視光通信システムの全体構成を概略的に示す機能ブロック図である。
【
図2】
図2は本発明の実施の形態1に係る可視光通信システムの骨子となる構成を説明するための説明図である。
【
図3】
図3は本発明の実施の形態1に係る可視光通信システムの特に受光部側制御ユニットのカメラモジュールの詳細構成を概略的に示す機能ブロック図である。
【
図4】
図4は本発明の実施の形態1に係る可視光通信システムの使用例を示す説明図である。
【
図5】
図5は本発明の実施の形態1に係る可視光通信システムの発光部側制御ユニットによる発光パターンの一例を示すタイミングチャートである。
【
図6】
図6は本発明の実施の形態1に係る可視光通信システムの受光部側制御ユニットによる撮像パターンの一例(実施の形態1)を示す説明図である。
【
図7】
図7は本発明の実施の形態1に係る可視光通信システムの受光部側制御ユニットによる撮像パターンの一例(実施例1)について、異なる撮像タイミングでの撮像例を対比して示す説明図である。
【
図8】
図8は本発明の実施の形態1に係る可視光通信システムの受光部側制御ユニットによる撮像パターンの他の例(実施例2)を示す説明図である。
【
図9】
図9は本発明の実施の形態1に係る可視光通信システムの受光部側制御ユニットによる撮像パターンの他の例(実施例2)について、異なる撮像タイミングでの撮像例を対比して示す説明図である。
【
図10】
図10は本発明の実施の形態1に係る可視光通信システムの受光部側制御ユニットによる撮像パターンによって構成される制御符号の具体例を示す説明図である。
【
図11】
図11は本発明の実施の形態1に係る可視光通信システムの受光部側制御ユニットによる撮像パターンの更に別の例(実施例3、実施例4、実施例5)を示す説明図である。
【
図12】
図12は本発明の実施の形態1に係る可視光通信システムによる複数フレームにわたる撮像パターンの撮像例(実施例6)を示す説明図である。
【
図13】
図13は本発明の実施の形態1に係る可視光通信システムにより中央部が強い発光を受光した場合の撮像イメージの一例を示す説明図である。
【
図14】
図14は本発明の実施の形態1に係る可視光通信システムによる撮像データの画像処理による明暗線の幅認識処理の一例(実施例7)を示す説明図である。
【
図15】
図15は本発明の実施の形態1に係る可視光通信システムの受光側制御手段の処理の一例(実施例8)を示すフローチャートである。
【
図16】
図16は本発明の実施の形態1に係る可視光通信システムの受光側制御手段の発光制御処理の一例(実施例8)におけるコード復号化用の情報を格納するテーブルを示す説明図である。
【
図17】
図17は本発明の実施の形態1に係る可視光通信システムの受光側制御手段の処理の一例(実施例8)におけるチェックデジット用の情報を格納するテーブルを示す説明図である。
【
図18】
図18は本発明の実施の形態2に係る可視光通信システムの発光部の一例を示す説明図である。
【
図19】
図19は本発明の実施の形態3に係る可視光通信システムの発光部の一例を示す説明図である。
【
図20】
図20は本発明の実施の形態4に係る可視光通信システムの発光部の一例を示す説明図であり、(a)は発光部本体を示し、(b)は点滅光セット設定手段を示す。
【
図21】
図21は本発明の実施の形態5に係る可視光通信システムの発光部の一例を示す説明図である。
【
図22】
図22は本発明の実施の形態6に係る可視光通信システムの一例を示す説明図であり、(a)は発光部を示し、(b)は受光部を示す。
【
図23】
図23は本発明の実施の形態7に係る可視光通信システムの一例を示す説明図であり、(a)は発光部を示し、(b)は受光部を示す。
【発明を実施するための形態】
【0010】
以下、本発明を実施するための形態(以下、実施の形態という)を説明する。なお、各実施の形態を通じ、同一の部材、要素または部分には同一の符号を付して、その説明を省略する。なお、以下の説明における「・・・手段」とは、所定の電気・電子部品や電子素子等により対応する所定の機能を実現するよう構成されたハードウエア資源による構成を指す場合もあり、また、コンピュータ装置のCPU、ROM、RAM、外部記憶装置、入力装置、出力装置等のハードウエア資源を、所定のプログラムによる指令によって動作させることで、対応する所定の機能を実現するように構成されたソフトウエア資源による構成を指す場合もあり、更には、ハードウエア資源とソフトウエア資源との組み合わせによる構成を指す場合もある。いずれにしても、ある「手段」について、ハードウエア資源による構成をソフトウエア資源による構成で置換できる場合は、そのようなソフトウエア資源による構成も発明の範囲内にあり、また、ソフトウエア資源による構成をハードウエア資源による構成で置換できる場合は、そのようなハードウエア資源による構成も発明の範囲内にある。
【0011】
[実施の形態1:可視光通信システム]
本発明は、
図1~
図3に示す実施の形態1の可視光通信システムとして具体化することができる。以下、この可視光通信システムの全体構成について、まず、
図1を参照して概略的に説明する。本実施の形態の可視光通信システムは、
図1に示すように、発光側装置(発光部)10と、受光側装置(受光部)50とから構成されている。発光側装置10は、発光素子からなる光源11と、発光部側制御ユニット20と、入力装置25とを備えている。一方、受光側装置50は、カメラモジュール60と、受光部側制御ユニット90と、出力装置93とを備えている。カメラモジュール60は、筐体61と、筐体61の前面開口部に装着した絞り部62と、絞り部62と同軸状に配設したレンズ63と、デジタルシグナルプロセッサ(DSP)70と、受光素子としてのCMOSイメージセンサ80とを備える構成である。
【0012】
[可視光通信システムの骨子]
本実施の形態の可視光システムの各部の詳細について説明する前に、本発明に係る可視光通信システムの骨子となる構成について概略的に説明する。まず、本実施の形態を含む本発明に係る可視光通信システムは、後述するように、CMOSイメージセンサ80からなる撮像素子の1回分の走査時間(動画の場合、1フレーム分の走査時間)内に、(点滅駆動手段から出力される)所定の点滅周期による点滅光が光源11からCMOSイメージセンサ80に入力されると、CMOSイメージセンサ80には、光源11からの1つの点滅光に対応して1対の明暗線(1本の明線と1本の暗線との対)が撮像されるという本発明者らの新規な知見に基づき完成されたものである。例えば、CMOSイメージセンサ80の1回分の走査時間内に、光源11から10個の点滅光が出力されてCMOSイメージセンサ80に入力されると、CMOSイメージセンサ80には、対応する10対の明暗線が点滅光の周期(即ち、点滅間隔)に相当する間隔を置いて連続的に平行に配置された状態で撮像され、ストライプ状のパターン(縞模様)の撮像イメージがCMOSイメージセンサ80から出力される。本発明に係る可視光通信システムは、かかる本発明者らの新規な知見に係る現象を前提として創作されたものであり、このようなCMOSイメージセンサ80に撮像された明暗線のパターンを、コンピュータ装置を制御するための(例えば、コンピュータ装置に所定のイベント等の処理を実行させるための)制御用データ又は制御符号(制御コード)として使用する。
【0013】
詳細には、本実施の形態を含む本発明の可視光通信システムでは、典型的には、所定の複数対数だけ連続する明暗線の集合(セット)により1組の明暗線のセット(本願では、「明暗線セット」と称する。)を構成し、この明暗線セットを前記CMOSイメージセンサ80の撮像データ(即ち、制御用データ又は制御符号)として使用する。このとき、この可視光通信システムでは、明暗線セットを構成する各明暗線の明線の幅及び暗線の幅のうち、少なくともいずれか一方の幅(明線若しくは暗線の幅、又は、両方の幅)を所定幅に設定し、一つの明暗線セットにおいて連続する明暗線の幅(明線及び/又は暗線の幅)の相互の関係により、一意の情報を表現している。
【0014】
一方、この可視光通信システムでは、前記明暗線セットをCMOSイメージセンサ80に撮像するため、前記明暗線セットの明暗線の数に対応して(明暗線セットの明暗線の数と)同一の複数だけ連続する点滅光の集合(セット)により1組の点滅光のセット(本願では、「点滅光セット」と称する。)を構成し、この点滅光セットを前記発光部側制御ユニット20の制御によって光源11から出力する。このとき、この可視光通信システムでは、点滅光セットを構成する各点滅光の点灯間隔(オン時間間隔)及び消灯間隔(オフ時間間隔)の時間間隔のうち、少なくともいずれか一方の時間間隔(点灯間隔若しくは消灯間隔、又は、両方の時間間隔)を(前記明暗線の幅に対応する)所定時間間隔に設定し、一つの点滅光セットにおいて連続する点滅光の時間間隔(点灯間隔及び/又は消灯間隔)の相互の関係が、前記明暗線の幅の相互の関係と一致するようにしている。即ち、1組の点滅光セットの点滅光は、明暗線セットの明暗線の数と同一の複数だけ連続すると共に、明暗線セットの各明暗線の幅に対応する周期で点滅(オンオフ)する点滅光の集合により構成され、この点滅光セットが、前記発光部側制御ユニット20の制御によって光源11から出力される。
【0015】
そして、本実施の形態を含む本発明の可視光通信システムでは、前記発光部側制御ユニット20の制御によって光源11から出力された点滅光セットの点滅光パターンを、カメラモジュール60によりCMOSイメージセンサ80に撮像し、前記明暗線パターンを撮像データとして取得する。その後、受光部側制御ユニット90が、CMOSイメージセンサ80から出力された明暗線セットのパターンの態様(即ち、明暗線の数と明暗線の幅とにより決定される一意の情報)を認識して読解し、その明暗線セットに対応する所定の信号を出力することで、その明暗線セットに対応する所定の処理をコンピュータ装置に実行させる。
【0016】
<点滅光セット及び明暗線セットの具体例1(モノクロ態様)>
次に、前記点滅光セット及び明暗線セットの具体例について説明する。例えば、本実施の形態の可視光通信システムでは、
図2に示すように、発光部側制御ユニット20の制御により、光源11から、前記点滅光セットとして、合計6つの連続する点滅光(即ち、連続する6つのオン時間及びオフ時間の対)から構成する。この場合、
図2中の光源11からの点滅光のタイミングチャート(
図2中の左下側)に示すように、6つの点滅光を光源11から順次出力すると共に、6つの点滅光の消灯部分(オフ部分)L1,L2,L3,L4,L5,L6の消灯間隔(オフ時間間隔)を、所定の時間間隔(時間幅)W1,W2,W3,W4,W5,W6に設定する。この場合、例えば、6つの点滅光の消灯部分L1,L2,L3,L4,L5,L6の消灯間隔W1,W2,W3,W4,W5,W6として、最大の時間間隔(最大間隔)、最小の時間間隔(最小間隔)、及び、それらの中間的な時間間隔(中間間隔)の3つの相対的な間隔を設定し、これら最大間隔、中間間隔及び最小間隔のいずれかを前記6つの点滅光の消灯部分L1,L2,L3,L4,L5,L6の消灯間隔W1,W2,W3,W4,W5,W6として割り当てることができる。具体的には、6つの点滅光の最初の2つの消灯部分L1,L2(開始部)の消灯間隔W1,W2をいずれも中間間隔の対として同一間隔とすると共に、次の2つの消灯部分(データ部の最初の2つの消灯部分)L3,L4を最小間隔及び最大間隔の対として異なる間隔とし、更に、次の2つの消灯部分(データ部の最後の2つの消灯部分)L5,L6を最小間隔及び最大間隔の対として異なる間隔とすることができる。
【0017】
前記点滅光セットの構成に対応して、明暗線セットにおいては、明暗線セットを合計6対の連続する明暗線(即ち、連続する6つの明線及び暗線の対)から構成する。この場合、それらの明暗線のうち、最初の2対の明暗線(2つの明線及び暗線の対)を、その明暗線セットの開始位置を(受光部側制御ユニット90が)認識するための開始位置認識用明暗線又は同期信号用明暗線(いわゆるスタートビットに対応する開始部又はプリコード)として設定し、残りの4対の明暗線を、前記制御用データ又は制御符号となるデータ部として設定することができる。また、この場合、明暗線セットの各明暗線の明線及び暗線のうち、暗線を前記開始部及びデータ部を構成する信号又はデータとして使用することができる。即ち、この場合、
図2中のCMOSイメージセンサ80における撮像イメージの概念図(
図2中の右下側)に示すように、光源11からの点滅光セットの6つの点滅光に対応して、6対の明暗線がCMOSイメージセンサ80に撮像される。このとき、6対の明暗線の暗線S1,S2,S3,S4,S5,S6の幅(CMOSイメージセンサ80の走査方向における間隔)を、所定の間隔W1,W2,W3,W4,W5,W6に設定する。なお、この明暗線セットの暗線S1,S2,S3,S4,S5,S6の幅W1,W2,W3,W4,W5,W6の値は、点滅光セットの点滅光の消灯部分L1,L2,L3,L4,L5,L6の消灯間隔W1,W2,W3,W4,W5,W6の値にそれぞれ対応している。
【0018】
即ち、6対の明暗線の暗線S1,S2,S3,S4,S5,S6の幅W1,W2,W3,W4,W5,W6は、点滅光セットの点滅光の消灯部分L1,L2,L3,L4,L5,L6の消灯間隔W1,W2,W3,W4,W5,W6に対応して、最大の間隔(最大間隔)、最小の間隔(最小間隔)、及び、それらの中間的な間隔(中間間隔)の3つの相対的な間隔に設定され、これら最大間隔、中間間隔及び最小間隔のいずれかが前記6対の明暗線の暗線S1,S2,S3,S4,S5,S6の幅W1,W2,W3,W4,W5,W6として割り当てられる。具体的には、6つの点滅光の最初の2つの消灯部分L1,L2(開始部)の消灯間隔W1,W2をいずれも中間間隔の対として同一間隔とすると共に、次の2つの消灯部分(データ部の最初の2つの消灯部分)L3,L4を最小間隔及び最大間隔の対として異なる間隔とし、更に、次の2つの消灯部分(データ部の最後の2つの消灯部分)L5,L6を最小間隔及び最大間隔の対として異なる間隔とした場合、6対の明暗線の最初の2本の暗線S1,S2(開始部)の幅W1,W2のいずれも中間間隔の対として同一間隔となると共に、次の2本の暗線(データ部の最初の2本の暗線)S3,S4も最小間隔及び最大間隔の対として異なる間隔となり、更に、次の2本の暗線(データ部の最後の2本の暗線)S5,S6も最小間隔及び最大間隔の対として異なる間隔となる。
【0019】
なお、かかる点滅光セットの点滅光の消灯間隔の設定、及び、これに対応する明暗線セットの暗線の幅の設定については、より具体的な事例を後述する。また、点滅光セットの他の態様、及び、これに対応する明暗線セットの他の態様についても、より具体的な事例を後述する。
【0020】
<1フレーム内の明暗線の最低包含数>
ここで、本実施の形態を含む本発明の可視光通信システムでは、CMOSイメージセンサ80では、前記明暗線セットによるパターンを取得するためには、1フレーム分の走査時間内に、最低でも前記点滅光セットの点滅光の数以上の点滅光が入力されて撮像される必要がある。即ち、上記のとおり、CMOSイメージセンサ80による1フレーム分の走査時間(即ち、1フレーム分の撮像時間)内に、例えば6個の点滅光を1セットとするデータセットである点滅光セットが、少なくとも1セットは(点滅光セット内のどの点滅光も欠けることなく)全て含まれるようにする必要がある(即ち、CMOSイメージセンサ80により全て撮像されるようにする必要がある)。こうすると、CMOSイメージセンサ80には、光源11からの1つの点滅光に対応して1対の明暗線(1本の明線と1本の暗線との対)が撮像される。即ち、1セットの点滅光セットを構成する6個の点滅光については、6対の明暗線が点滅光の周期(即ち、点滅間隔)に相当する間隔を置いて連続的に平行に配置された状態で撮像され、ストライプ状のパターン(縞模様)の撮像イメージがCMOSイメージセンサ80から出力される。
【0021】
しかし、このとき、光源11からCMOSイメージセンサ80への点滅光セットの点滅光の入力開始のタイミングと、CMOSイメージセンサ80による走査開始のタイミングとがずれると、点滅光セットの最初の点滅光が、CMOSイメージセンサ80の走査時間の途中から入力されて、対応する明暗線セットの明暗線が、CMOSイメージセンサ80の走査方向の途中から撮像開始されることになる。この場合、CMOSイメージセンサ80の1フレーム分の走査時間内に撮像される点滅光の数(本願書類において、「フレーム内点滅光数」と称する。)が、少なくとも、1組の点滅光セットの点滅光の総数の2倍より1少ない数だけあれば、即ち、光源11からの点滅光を連続的に撮像する場合において、CMOSイメージセンサ80に撮像される明暗線の数(本願書類において、「フレーム内明暗線数」と称する。)が、少なくとも、1組の明暗線セットの明暗線の総数の2倍より1少ない数だけあれば、CMOSイメージセンサ80における点滅光の入力タイミングと走査タイミングとの時間的ずれに関係なく、少なくとも1組の点滅光セットの全ての点滅光をCMOSイメージセンサに撮像できるとの新規な知見を、本発明者らは鋭意の試験研究により得ている。したがって、この知見に基づき、本発明者らは、使用するCMOSイメージセンサ80の特性(解像度や走査速度等)に応じて、前記フレーム内点滅数が、少なくとも、1組の点滅光セットの点滅光の総数の2倍より1少ない数(本願書類において、「最小フレーム内点滅光数」と称する。)となり、前記フレーム内明暗線が、少なくとも、1組の明暗線セットの明暗線の総数の2倍より1少ない数(本願書類において、「最小フレーム内明暗線数」と称する。)となるよう、発光部側制御ユニット20により、光源11から出力される点滅光の周期を設定するようにしている。例えば、1組の点滅光セットの点滅光の総数が6つで、1組の明暗線セットの明暗線の総数が6対の場合、前記フレーム内点滅数が、少なくとも、1組の点滅光セットの点滅光の総数(6個)の2倍(12個)より1少ない数(11個)となり、前記フレーム内明暗線が、少なくとも、1組の明暗線セットの明暗線の総数(6対)の2倍(12対)より1少ない数(11対)となるよう、発光部側制御ユニット20により、光源11から出力される点滅光の周期を設定するようにしている。無論、使用するCMOSイメージセンサ80の特性(解像度や走査速度等)に応じて、前記フレーム内点滅数が、1組の点滅光セットの点滅光の総数の2倍以上の数となり、前記フレーム内明暗線が、1組の明暗線セットの明暗線の総数の2倍以上の数となるよう、発光部側制御ユニット20により、光源11から出力される点滅光の周期を設定することもできる。
【0022】
[発光側装置]
次に、本実施の形態の発光側装置(発光部10)について詳細に説明すると、前記光源11の発光素子としては、発光ダイオード(LED)を好適に使用することができるが、後述するような点滅動作が可能な限りにおいて、有機EL等の他の光源を使用することもできる。また、LEDとしては、白色LED等の特定色の可視光LEDを使用することができるが、赤色、緑色及び青色の三原色を発光自在なフルカラーLEDを使用することもできる。また、光源は、LED等の発光素子を1個のみ配設した構成とすることもできるが、後述するような所定の発光パターン(点滅パターン)での発光駆動が可能な限りにおいて、複数個の発光素子を集合的に配置した構成(例えば、複数個のLEDを集合配置したLEDモジュールの構成)とすることもでき、或いは、LEDチップを基板上に複数又は多数実装したチップLEDモジュールを使用することもできる。更には、後述するような所定の発光パターン(点滅パターン)での発光駆動が可能な限りにおいて、一般的な照明器具を光源として使用することもできる。
【0023】
<発光部側制御ユニット>
前記発光部側制御ユニット20は、光源11を所定の態様で発光するように(即ち、上記のような点滅光セットを出力するための所定の点滅パターンで発光するように)制御する発光制御手段を構成する。詳細には、発光部側制御ユニット20は、点滅駆動手段を構成する点滅駆動回路21、点滅周期調整手段22、点滅セット設定手段23、変調回路24、及び、発光駆動回路25を備える構成とすることができる。発光部側制御ユニット20は、本実施の形態の発光側装置の特徴的な構成であるが、ハードウエア資源による構成としての各種のマイコン(マイクロコンピュータ)に対して、後述するような所定の機能を当該マイコンに実現させる(各種プログラム等の)ソフトウエア資源による構成を組み合わせて構成することができる。
【0024】
<点滅駆動回路>
点滅駆動手段としての点滅駆動回路21は、光源11を所定の点滅周期で連続的に点滅駆動する点滅駆動機能を実現するものである。典型的には、点滅駆動回路21からなる点滅駆動手段は、連続する所定幅のパルスにより光源11の発光素子(典型的にはLED)をパルス駆動するパルス駆動機能を実現するものであり、パルス発振器から出力するパルスの幅を任意に増減調節して、パルスを一定周期で連続的に出力すると共に、PWM制御によりデューティー比(1周期に対するパルスのオン時間の比)を制御して出力するPWM駆動回路より構成することができる。ここで、点滅駆動回路21は、一例として、1周期2000マイクロ秒(T=2000μs/周期)のパルスを出力するよう構成することができ、この場合、所定の点滅周波数(500Hz)でLED等の発光素子を連続的に点滅駆動するものである。即ち、本実施の形態では、点滅駆動回路21からなる点滅駆動手段は、PWM駆動回路等の点滅駆動回路からなるハードウエア資源による構成として実現することができ、パルスを、一定周期で(即ち、一定間隔で)、かつ、一定のデューティー比で連続的に(即ち、回路の駆動開始時から回路の駆動停止時まで連続して)出力する機能を実現するものである。
【0025】
<点滅周期調整手段>
ここで、上記のように、本実施の形態を含む本発明の可視光通信システムでは、CMOSイメージセンサ80の1回分の走査時間(動画の場合、1フレーム分の走査時間)内に、前記点滅光セットの全ての点滅光が必ずCMOSイメージセンサ80内に入力されて撮像されるよう(即ち、前記明暗線セットの全ての明暗線が撮像されるように)、前記光源11からの点滅光の周期が設定されている必要がある。即ち、発光部側制御ユニット20において、点滅駆動回路21による点滅光の周期が、CMOSイメージセンサ80の1回分の走査時間内に前記点滅光セットの全ての点滅光が包含される周期となる必要がある(即ち、全点滅光の個数分の時間間隔が、前記1回分の走査時間内となる必要がある)。この場合、発光部側制御ユニット20の点滅駆動回路21による点滅光の周期の初期設定値において、全点滅光の個数分の時間間隔が前記1回分の走査時間内となるような周期である場合、発光部側制御ユニット20による点滅光の周期の調整は不要である。しかし、発光部側制御ユニット20の点滅駆動回路21による点滅光の周期の初期設定値において、全点滅光の個数分の時間間隔が前記1回分の走査時間を超えるような周期である場合、発光部側制御ユニット20による点滅光の周期の調整が必要となる。
【0026】
これに加え、上記のとおり、本実施の形態を含む本発明の可視光通信システムでは、CMOSイメージセンサ80の撮像動作における1フレーム内の明暗線の最低包含数が、前記最小フレーム内明暗線(明暗線セットの明暗線の総数の2倍より1少ない数以上の数)となるよう、光源11からの点滅光の周期を設定することが望ましい。
【0027】
そこで、本実施の形態では、発光部側制御ユニット20は、かかる点滅光の周期の調整のために、点滅周期調整手段22を設けている。詳細には、点滅周期調整手段22は、前記点滅駆動回路21の設置値の点滅周期による光源11からの点滅光の点滅数が、前記最小フレーム内点滅光数に満たない場合に、前記点滅駆動回路21から出力されるパルスの周期を、点滅光数が前記最小フレーム内点滅光数以上の数となる所定の周期へと調整するものであり、本実施の形態では、上記ソフトウエア資源による構成として実現されている。なお、点滅駆動回路21の設定値において、前記点滅駆動回路21の設置値の点滅周期による光源11からの点滅光の点滅数が、前記最小フレーム内点滅光数以上の数となっている場合は、点滅周期調整手段22は省略することもできる。
【0028】
詳細には、点滅周期調整手段22は、CMOSイメージセンサ80の1回分の走査時間内に点滅駆動回路21から出力される(その際の設定値である)点滅周期の点滅光の数が、前記最小フレーム内点滅光数未満の数となっている場合(例えば、最小フレーム内点滅光数が11個の場合において、1回分の走査時間内に入力されている点滅光の数が10個以下の数となっている場合)、点滅駆動回路21による点滅駆動用の信号の周期を短くする(例えば、PWM制御におけるパルスの周期を短くする)ことにより、CMOSイメージセンサ80の1回分の走査時間内に点滅駆動回路21から出力される(新たな設定値である)点滅周期の点滅光の数が、前記最小フレーム内点滅光数以上の数になるように、点滅駆動回路21を制御する(即ち、点滅駆動回路21に対応する制御信号を出力して制御する)。例えば、最小フレーム内点滅光数が11個の場合において、1回分の走査時間内に入力されている点滅光の数が10個以下の数となっている場合、点滅周期調整手段22は、1回分の走査時間内に入力されている点滅光の数が11個以上の数となるように、点滅光の周期を早める。このように、例えば、1組の点滅光セットの点滅光数を6個とした場合に、フレーム内点滅光数を11個以上(即ち、最小フレーム内点滅光数以上の数)とすれば、点滅光セットを複数セット連続的にCMOSイメージセンサ80に入力したときに、CMOSイメージセンサ80に撮像されたイメージには、必ず、1セット分の点滅光セットの点滅光が完全に含まれる(即ち、いずれの点滅光も欠けることなく、全ての点滅光が含まれる)ことになり、データセットとしての点滅光セットの情報を欠けることなく読み出すことができるようになる。したがって、例えば、1組の点滅光セットの点滅光数を6個とした場合、フレーム内点滅光数は、少なくとも11個とすることが好ましい。
【0029】
このとき、CMOSイメージセンサ80の1回分の走査時間内に光源11からの点滅光が何個撮像されるかは、例えば、実機としての光源11から実機としてのカメラモジュール60に点滅光を入力することで実験的に確認することもできる。即ち、この場合、
図4に示すように、光源11からの点滅光を、スマートフォンや通信機能付デジカメ等のコンピュータ装置からなる情報端末装置100のカメラモジュール60により撮影し、それらの点滅光を、レンズ63を介してCMOSイメージセンサ80に入射して実際に撮像して、情報端末装置100のディスプレイ110に表示することにより、その撮像イメージからなる受信データ111に何対の明暗線が含まれるかを目視により確認する。そして、実際に撮像された明暗線の数が11対未満の場合は、11対以上となるように、点滅駆動回路21によるパルス出力の周期を調節して設定することで、前記フレーム内点滅数を前記最小フレーム内点滅数以上の数に設定することができる。
【0030】
<点滅光セット設定手段>
また、上記のように、本実施の形態を含む本発明の可視光通信システムでは、CMOSイメージセンサ80に(所定複数の明暗線からなると共に、各明暗線の幅が所定幅となる)明暗線セットからなるパターンを撮像するために、光源11から対応する点滅光セットの点滅光を出力する(即ち、明暗線セットと同一数の点滅光からなり、かつ、各点滅光の暗線の幅を各明暗線の所定幅と対応させた点滅光を出力する)必要がある。そこで、本実施の形態では、発光部側制御ユニット20は、かかる点滅光セットの設定のために、点滅光セット設定手段23を設けている。詳細には、点滅光設定手段23により点滅光セットを設定していない状態では、点滅駆動回路21から出力される信号(パルス)は、一定周期であり、点滅周期調整手段22による周期調整を受けた後でも、やはり、点滅駆動回路21は、調整後の一定周期の信号を出力している。そこで、点滅光セット設定手段23は、前記点滅駆動回路21から出力される信号を、1周期単位及びパルス単位で変調することにより、点滅駆動回路21からの信号が前記点滅光セットの信号となるように変調する機能を実現するものであり、上記のソフトウエア資源による構成として実現されている。
【0031】
例えば、点滅光セットを合計6個の点滅光から構成し、かつ、各点滅光の周期をそれぞれ異なる値に設定する場合、点滅光セット設定手段23は、点滅駆動回路21から一定周期で連続して出力される信号を、6個単位で1セットとして設定し、かつ、各セットの各信号の周期を前記各点滅光の周期と一致する周期に設定し、その設定値を変調回路24に出力する。具体的には、
図5に示すように、点滅光セットが、6つの点滅光の消灯部分L1,L2,L3,L4,L5,L6について、それぞれ、固有の(一定幅ではない)消灯間隔W1,W2,W3,W4,W5,W6を有する場合、各消灯部分L1,L2,L3,L4,L5,L6の間隔がそのような消灯間隔W1,W2,W3,W4,W5,W6とするための制御信号(即ち、変調回路24が点滅駆動回路21からの信号をそのような態様に変調するための制御信号)を変調回路24に出力する。即ち、例えば、ある点滅光セットについて、6つの点滅光の最初の2つの消灯部分L1,L2(開始部)の消灯間隔W1,W2が、いずれも中間間隔の対として同一間隔に設定されると共に、次の2つの消灯部分(データ部の最初の2つの消灯部分)L3,L4が、最小間隔及び最大間隔の対として異なる間隔に設定され、更に、次の2つの消灯部分(データ部の最後の2つの消灯部分)L5,L6が、最小間隔及び最大間隔の対として異なる間隔に設定されている場合、点滅駆動回路21からの信号をそのような消灯部分L1~L6の間隔W1~W6とそれぞれ一致するように変調するための制御信号を、変調回路24に出力する。
【0032】
<変調回路>
変調回路24は、点滅駆動回路21からの信号を入力すると共に、前記点滅光セット設定手段23からの制御信号を受けて、点滅駆動回路21から一定周期で連続して出力される信号を、6個単位で1セットとして、各セットの各信号の周期を前記各点滅光の周期と一致する周期に変調し、その変調後の信号を出力するものであり、ハードウエア資源による構成として実現されている。例えば、変調回路24は、ある点滅光セットの6つの点滅光の最初の2つの消灯部分L1,L2(開始部)の消灯間隔W1,W2がいずれも中間間隔の対として同一間隔に設定されると共に、次の2つの消灯部分(データ部の最初の2つの消灯部分)L3,L4が最小間隔及び最大間隔の対として異なる間隔に設定され、更に、次の2つの消灯部分(データ部の最後の2つの消灯部分)L5,L6が最小間隔及び最大間隔の対として異なる間隔に設定されている場合、点滅駆動回路21からの信号をそのような消灯部分L1~L6の間隔W1~W6とそれぞれ一致するように変調して出力する。
【0033】
<発光駆動回路>
発光駆動回路25は、変調回路24からの信号を入力し、その信号にしたがって光源11を発光駆動するものであり、上記ハードウエア資源により構成されている。詳細には、発光駆動回路25は、変調回路24から前記点滅光セットに対応する信号(6個単位で1セットとされ、各セットの各信号の周期が前記各点滅光の周期と一致する周期に変調された変調後の信号)を受けて、その変調後の信号を増幅等した駆動信号を光源11に出力する。これにより、光源は、発光駆動回路25からの駆動信号にしたがって点滅発光し、例えば、上記のように、6個の点滅光を1セットとした点滅光セットであって、最初の2つの消灯部分L1,L2(開始部)の消灯間隔W1,W2がいずれも中間間隔の対として同一間隔に設定されると共に、次の2つの消灯部分(データ部の最初の2つの消灯部分)L3,L4が最小間隔及び最大間隔の対として異なる間隔に設定され、更に、次の2つの消灯部分(データ部の最後の2つの消灯部分)L5,L6が最小間隔及び最大間隔の対として異なる間隔に設定されている点滅光セットを出力する。
【0034】
<入力装置>
入力装置26は、前記点滅周期調整手段22及び前記点滅光セット調整手段24への入力インターフェースを提供するものであり、上記ハードウエア資源による構成として実現されている。詳細には、入力装置は、点滅周期調整手段22に対して、前記点滅周期を調整して調整後の点滅周期を設定するための入力機能を提供すると共に、点滅光セット調整手段24に対して、所望の各種の点滅光セットを設定するための入力機能を提供する。
【0035】
[受光側装置]
次に、本実施の形態の受光側装置(受光部50)について詳細に説明する。まず、前記カメラモジュール60自体は、公知の構成であり、上記のとおり、筐体61の前面開口部に絞り部62を装着し、絞り部62と同軸状にレンズ63を配設している。そして、絞り部62を介してレンズ63から受光されたイメージが、デジタルシグナルプロセッサ(DSP)70の制御により、CMOSイメージセンサ80により撮像されて出力される。なお、
図3に示すように、DSP70は、メモリコントロールユニット(MCU)、クロック発生手段、RGB補完処理手段、色再現調整手段、ノイズ除去手段、ホワイトバランス手段、γ補正手段、スケーラ手段、色差信号生成手段、輪郭補正手段、出力インターフェース等の公知の構成を備えている。また、CMOSイメージセンサ80自体も、公知の構成であり、駆動回路によりフォトダイオードアレイを駆動して撮像動作を行い、その撮像データ(アナログデータ)をA-Dコンバータによりデジタルデータへと変換して出力するモノであり、CDS(相関二重サンプリング)によるノイズ低減機能を備えたものもある。
【0036】
<CMOSイメージセンサによる撮像イメージ>
上記のように、CMOSイメージセンサ80には、光源11からの所定の点滅光セットの点滅光が、上記所定の固有の周期で連続的に入力され、それらの点滅光に対応する周期の明暗線が、ストライプ状のパターンとなる撮像イメージとして記録される。具体的には、
図5に示す点滅光セットを入力した場合、CMOSイメージセンサ80には、その点滅光セットに対応して、
図6に示すような明暗線セットが撮像される。即ち、
図5に示すように、点滅光セットが、6つの点滅光の消灯部分L1,L2,L3,L4,L5,L6について、それぞれ、固有の(一定幅ではない)消灯間隔W1,W2,W3,W4,W5,W6を有する場合、CMOSイメージセンサ80には、これに対応して、6対の明暗線から明暗線セットが撮像される。このとき、この撮像パターンである明暗線セットの暗線S1,S2,S3,S4,S5,S6は、それぞれ、点滅光セットの消灯部分L1,L2,L3,L4,L5,L6に相当し、かつ、各暗線S1,S2,S3,S4,S5,S6の幅W1,W2,W3,W4,W5,W6は、各点滅光の消灯間隔W1,W2,W3,W4,W5,W6に相当する値となり、固有の(一定幅ではない)値となる。
【0037】
具体的には、点滅光セットについて、6つの点滅光の最初の2つの消灯部分L1,L2(開始部)の消灯間隔W1,W2が、いずれも中間間隔の対として同一間隔に設定されると共に、次の2つの消灯部分(データ部の最初の2つの消灯部分)L3,L4が、最小間隔及び最大間隔の対として異なる間隔に設定され、更に、次の2つの消灯部分(データ部の最後の2つの消灯部分)L5,L6が、最小間隔及び最大間隔の対として異なる間隔に設定されている場合を例にとる。この場合、CMOSイメージセンサ80に撮像される明暗線セットについては、6本の暗線の最初の2本の暗線S1,S2(開始部)の幅W1,W2は、消灯部L1,L2の消灯間隔W1,W2に対応して、いずれも中間間隔の対として同一間隔となる。また、次の2つの暗線(データ部の最初の2本の暗線)S3,S4の幅W3,W4は、消灯部分L3,L4の消灯間隔W3.W4に対応して、最小間隔及び最大間隔の対として異なる間隔となる。更に、次の2つの暗線(データ部の最後の2本の暗線)S5,S6は、消灯部分L5,L6の消灯間隔W5,W6に対応して、最小間隔及び最大間隔の対として異なる間隔となる。
【0038】
<撮像タイミングと撮像イメージ(1フレーム12本の暗線撮像の場合)>
ここで、例えば、光源11から、6個の点滅光からなる点滅光セットを連続的に出力して、その点滅光をCMOSイメージセンサ80により1フレーム分撮像した場合、CMOSイメージセンサ80のフレームの走査開始タイミングと光源11からの点滅光セットの開始位置とが同期して一致している場合は、
図6及び
図7(a)に示すように、フレームの読取り方向(走査方向)における始端から明暗線セットの1本目の暗線が順番に連続して撮像されることになる。そして、例えば、CMOSイメージセンサ80の1フレーム内に12対の明暗線(即ち、12本の暗線)が撮像される場合は、1フレーム内に2セット分の明暗線セットが完全な態様で(即ち、各明暗線セットが6対の明暗線を含む態様で)撮像されることになる。一方、CMOSイメージセンサ80のフレームの走査開始タイミングと光源11からの点滅光セットの開始位置とが同期していない場合は、
図7(b)及び
図7(c)に示すように、明暗線セットの1本目の暗線が、フレームの読取り方向における途中位置から順番に連続して撮像されることになる。そして、例えば、CMOSイメージセンサ80の1フレーム内に12対の明暗線が撮像される場合は、1フレーム内に2セット分の明暗線セットは完全な態様で撮像されず、1セット分の明暗線セットのみが完全な態様で撮像されることになる。いずれにしても、明暗線セットの1本目の暗線が、フレームの読取り方向におけるどの位置から開始しても、少なくとも、1セット分の明暗線セットが完全な態様で撮像されることになる。
【0039】
<撮像タイミングと撮像イメージ(1フレーム11本の暗線撮像の場合)>
また、
図8に示すように、6個の点滅光からなる点滅光セットを連続的に出力する場合において、CMOSイメージセンサ80の1フレーム内に11対の明暗線(即ち、11本の暗線)が撮像されるようにした場合、かかる11対の明暗線は、前記フレーム内最低明暗線数となるため、上記のとおり、CMOSイメージセンサ80における点滅光の入力タイミングと走査タイミングとの時間的ずれに関係なく、少なくとも1組の点滅光セットの全ての点滅光をCMOSイメージセンサに撮像して、1組の明暗線セットを完全な態様で撮像することができる。例えば、光源11から、6個の点滅光からなる点滅光セットを連続的に出力して、その点滅光をCMOSイメージセンサ80により1フレーム分撮像した場合、CMOSイメージセンサ80のフレームの走査開始タイミングと光源11からの点滅光セットの開始位置とが同期して一致している場合は、
図8及び
図9(a)に示すように、フレームの読取り方向(走査方向)における始端から明暗線セットの1本目の暗線が順番に連続して撮像されることになる。この場合、1フレーム内に1セット分の明暗線セットが完全な態様で撮像されることになる。一方、CMOSイメージセンサ80のフレームの走査開始タイミングと光源11からの点滅光セットの開始位置とが同期していない場合は、
図9(b)及び
図9(c)に示すように、明暗線セットの1本目の暗線が、フレームの読取り方向における途中位置から順番に連続して撮像されることになる。そして、この場合も、1セット分の明暗線セットが完全な態様で撮像されることになる。いずれにしても、明暗線セットの1本目の暗線が、フレームの読取り方向におけるどの位置から開始しても、少なくとも、1セット分の明暗線セットが完全な態様で撮像されることになる。
【0040】
<明暗線撮像の機序>
ここで、本実施の形態を含む本発明の可視光通信システムでは、CMOSイメージセンサ80には、光源11自体のイメージやその周囲の風景等のイメージが撮像されるのではなく、上記のとおり、入力された点滅光の点滅周期に対応する明暗線からなるストライプ状のパターン(即ち、所定の点滅光セットを入力した場合は所定の明暗線セットからなるパターン)のみが撮像される。これは、CMOSイメージセンサの動作機序(特に、蓄積した電化を順次走査方向に走査して読み出すという機序)に起因するものと予想される。即ち、例えば、CMOSイメージセンサと共に固体撮像素子の典型例となるCCDイメージセンサでは、グローバル露光と呼ばれる動作方式を採用し、同一期間中に各画素のフォトダイオードに入射した光(撮影イメージを反映した光)を、信号電荷として各画素のフォトダイオードに同時に蓄積し、全ての画素の電荷を同時に垂直CCDに読み出している。そのため、CCDイメージセンサは、電子シャッターと組み合わせることで、高速に移動する物体(即ち、高速動体)もその瞬間を止めて撮像することができ、撮像イメージに歪みが生じることはない。即ち、CCDイメージセンサの場合、全ての画素の信号電化の蓄積動作は同一期間に行われるため、いわゆる蓄積の同時性が維持される。
【0041】
一方、CMOSイメージセンサの場合、ライン露光又はローリングシャッターと呼ばれる動作方式を採用しており、同一期間中に各画素のフォトダイオードに入射した光(撮影イメージを反映した光)を、信号電荷として各画素のフォトダイオードに蓄積する際に、各画素のフォトダイオードにおける電荷の蓄積期間が走査方向における走査タイミングに依存し、走査線単位でみると、走査する時間差分だけ信号電荷の蓄積期間が走査方向にずれることになる。したがって、CMOSイメージセンサの場合、高速動体を撮像すると、その撮像イメージに走査方向への歪み(いわゆる動体歪み)が生じる。
【0042】
本発明の可視光通信システムにおいて、CMOSイメージセンサ80に、所定の点滅光セットを入力した場合に所定の明暗線セットからなるパターンのみが撮像されるのは、このCMOSイメージセンサ80に固有の動作方式によるものと推定される。即ち、CMOSイメージセンサ80の特性(解像度に応じた画素数、特に、走査方向の画素数、及び、1フレームの走査に要する走査時間等)に基づき、CMOSイメージセンサ80に入射した点滅光セットの各点滅光の点滅間隔(点滅周期)に対応する時間間隔の信号電荷が、CMOSイメージセンサ80の走査タイミングに応じて、順次、CMOSイメージセンサ80の走査方向(
図6中の読取り方向)における対応画素に蓄積されることで、点滅光の点滅順序にしたがって、各点滅光の点滅周期に対応する固有の幅を有する明暗線が、CMOSイメージセンサ80の走査方向に順次撮像され、最終的に、点滅光セットに対応する明暗線セットのパターンが撮像イメージとして出力されると推定される。
【0043】
[制御符号の具体例]
ここで、CMOSイメージセンサ80に撮像された明暗線セットを所定の制御用データ又は制御符号として利用する場合の具体例について説明する。まず、この場合、1個の点滅光がCMOSイメージセンサ80で占める画素数について算出し、その画素数に基づき、点滅光の周期(特に、消灯部分の消灯間隔の値)を設定する。詳細には、まず、点滅光セットについて、例えば、光源11としてLEDを使用し、(必要に応じて点滅周期調整手段22により周期を調整した)点滅駆動回路21によって、2000マイクロ秒で1周期となる波長の点滅光又はパルス光を光源11から出力する場合において、デューティー比を50とすると、各パルス光のオン時間間隔は1000マイクロ秒となり、オフ時間間隔は1000マイクロ秒となる。そして、この周期の点滅光を光源11から出力した場合において、CMOSイメージセンサ80に11対の明暗線が撮像される場合、CMOSイメージセンサの解像度に基づき、1対の明暗線が占める画素数を算出できる。即ち、この場合において、例えば、CMOSイメージセンサの走査方向の画素数が1080ピクセルである場合、1フレームの撮像イメージにおいて1対の明暗線が占める走査方向の画素数(ピクセル数)は、1080/11=約98(1対の明暗線当たり約98ピクセル)となる。即ち、2000マイクロ秒/周期の点滅光は、CMOSイメージセンサ80において約98ピクセル分の幅を有することになり、その暗線部分は、約49ピクセル(約98/2=約49)分の幅を有することになる。
【0044】
そこで、本実施の形態の可視光通信システムでは、点滅光の消灯部分の消灯間隔(1周期のオフ部分の時間間隔)を所定の調整単位で増減調整することで、結果的に、CMOSイメージセンサ80に撮像される明暗線の暗線の幅を調整し、その調整幅の値をID化することで、制御用データ又は制御符号として使用する。具体的には、点滅光の消灯部分の消灯間隔の調整単位は、1単位100マイクロ秒とする(即ち、消灯部分の時間間隔である1000マイクロ秒の10分の1の間隔とする)。この場合、点滅光の消灯部分の時間間隔について1単位分の増減調整を行うと、対応する明暗線の暗線の幅は、CMOSイメージセンサ80の約5ピクセル分の幅となる(約49/10=約5)。そして、上記のように、点滅光セットを6個の点滅光から構成し、明暗線セットに6本の暗線S1~S6を含むようにした場合において、各点滅光の消灯部分L1~L6の消灯間隔W1~W6を、基準値としての1000マイクロ秒に対して100マイクロ秒単位で増減調整すると、各暗線S1~S6の幅W1~W6は、基準値である約49ピクセルに対して約5ピクセル単位で増減調整される。なお、各明線の幅は、増減調整されず、(点滅光の点灯部分の時間間隔の設定値である1000マイクロ秒に対応する)約49ピクセル分の同一幅となる。また、点滅光の消灯部分の消灯間隔の増減調整は、例えば、発光部側制御ユニット20を構成するマイコン等のdelay関数(又は、delayMicroseconds関数)を使用して実現することができる。
【0045】
<制御符号の具体例1>
この場合について更に詳細に説明すると、まず、6個の点滅光の消灯部分L1~L6について、以下のように消灯間隔W1~W6を前記調整単位で増減調整することができる。
消灯部分L1(プリコード)の間隔W1:0(ゼロ調整、即ち、増減なし)
消灯部分L2(プリコード)の間隔W2:0(ゼロ調整、即ち、増減なし)
消灯部分L3(コード)の間隔W3:-100(100マイクロ秒減少)
消灯部分L4(コード)の間隔W4:100(100マイクロ秒増加)
消灯部分L5(コード)の間隔W5:-400(400マイクロ秒減少)
消灯部分L6(コード)の間隔W6:400(400マイクロ秒増加)
【0046】
したがって、制御符号の具体例1の場合、6本の明暗線における暗線S1~S6の幅W1~W6は、上記点滅光の消灯部分L1~L6の幅W1~W6の増減に対応する値となる。即ち、
図10に示すように、プリコードとなる暗線S1及び暗線S2の幅は、共に、(点滅光の暗線部分の基準値である100マイクロ秒に対応する)基準値である約5ピクセル分を1単位として、10単位分の幅となる。また、コードとなる暗線S3及び暗線S4の幅は、基準値である約5ピクセル分を1単位として、それぞれ、9単位分の幅及び11単位分の幅となる。また、コードとなる暗線S5及び暗線S6の幅は、基準値である約5ピクセル分を1単位として、それぞれ、6単位分の幅及び14単位分の幅となる。なお、
図10では、説明の便宜上、(実際は
図9等に示すように走査方向に連続する)暗線S1~S6を、暗線単位で分割して描画し、かつ、暗線S1~S6を基準値である約5ピクセル分を1単位として分割するよう描画しているが、実際は、単位間の直線が表れるものではない。
【0047】
<制御符号の具体例2>
また、6個の点滅光の消灯部分L1~L6について、以下のように消灯間隔W1~W6を前記調整単位で増減調整することもできる。
消灯部分L1(プリコード)の間隔W1:0(ゼロ調整、即ち、増減なし)
消灯部分L2(プリコード)の間隔W2:0(ゼロ調整、即ち、増減なし)
消灯部分L3(コード)の間隔W3:-400(400マイクロ秒減少)
消灯部分L4(コード)の間隔W4:400(400マイクロ秒増加)
消灯部分L5(コード)の間隔W5:-200(200マイクロ秒減少)
消灯部分L6(コード)の間隔W6:200(200マイクロ秒増加)
【0048】
<制御符号の具体例3>
また、6個の点滅光の消灯部分L1~L6について、以下のように消灯間隔W1~W6を前記調整単位で増減調整することもできる。
消灯部分L1(プリコード)の間隔W1:0(ゼロ調整、即ち、増減なし)
消灯部分L2(プリコード)の間隔W2:0(ゼロ調整、即ち、増減なし)
消灯部分L3(コード)の間隔W3:400(400マイクロ秒増加)
消灯部分L4(コード)の間隔W4:-400(400マイクロ秒減少)
消灯部分L5(コード)の間隔W5:200(200マイクロ秒増加)
消灯部分L6(コード)の間隔W6:-200(200マイクロ秒減少)
【0049】
また、上記点滅光セットによりCMOSイメージセンサ80に撮像される明暗線セットの例を、
図11(a)~(c)に示す。
図11(a)の例は、点滅光のデューティー比を50とした場合の例を示す。即ち、
図11(a)の例では、基準値と同一幅となる暗線S1,S2の幅W1,W2が、(全て同一幅となる)明線の幅と同一となっている。また、
図11(b)の例は、点滅光のデューティー比を50より小さくとした場合の例を示す。即ち、
図11(b)の例では、デューティー比の減少にしたがって暗線の幅の基準値が相対的に小さくなり、かつ、明線の幅の設定値が相対的に大きくなるため、暗線S1,S2の幅W1,W2が、明線の幅よりも小さくなっている。また、
図11(c)の例は、点滅光のデューティー比を50より小さくとした場合の例を示す。即ち、
図11(c)の例でも、デューティー比の減少にしたがって暗線の幅の基準値が相対的に小さくなり、かつ、明線の幅の設定値が相対的に大きくなるため、暗線S1,S2の幅W1,W2が、明線の幅よりも小さくなっている。このように、点滅光のデューティー比を50以外の値として点滅光セットを構成することもできるが、いずれの場合も、上記制御符号の具体例のように、点滅光の消灯間隔を増減調整して明暗線の暗線の幅を増減調整することで、所望の制御用データ又は制御符号を得ることができる。
【0050】
<受光部側制御ユニット>
次に、受光部側制御ユニット90は、上記のように所定の明暗線セットからなる撮像イメージを出力するCMOSイメージセンサ80に接続され、CMOSイメージセンサ80の出力を受けて所定の制御動作を行うものであり、本実施の形態の受光側装置の特徴的な構成である。受光部側制御ユニット90は、ハードウエア資源による構成としての各種のマイコン(マイクロコンピュータ)に対して、後述するような所定の機能を当該マイコンに実現させる(各種プログラム等の)ソフトウエア資源による構成を組み合わせて構成することができる。詳細には、受光部側制御ユニット90は、パターン認識手段91、マッチング手段92、及び、指令手段93を備える構成とすることができる。
【0051】
<パターン認識手段>
パターン認識手段91は、CMOSイメージセンサ80の出力した撮像イメージを入力して、その撮像イメージのパターンを認識するものであり、例えば、上記ソフトウエア資源による構成として実現することができる。即ち、パターン認識手段91は、CMOSイメージセンサ80の出力した明暗線セットのパターンにおいて走査方向(読取り方向)に連続する各明暗線(制御符号として暗線を使用した場合は各暗線)と、各明暗線の幅(制御符号として暗線を使用した場合は暗線の幅)とを認識し、その認識結果に応じた制御信号を出力する。例えば、上記制御符号の具体例1(
図10参照)のように制御符号を校正した場合、パターン認識手段91は、まず、プリコードとしての暗線S1,S2を、その幅W1,W2により認識し(即ち、暗線S1,S2の幅W1,W2が基準値と同一値であることを認識し)、これに続くコードである一対の暗線S3,S4及び一対の暗線S5,S6を認識する。このとき、パターン認識手段91は、一対の暗線S3,S4の幅W3,W4の基準値からの増減幅、及び、一対の暗線S5,S6の幅W5,W6の基準値からの増減幅を認識し、それらの増減幅をID情報として利用する。具体的には、前記制御符号の具体例1では、パターン認識手段91は、
図10に示すように、暗線S1~S6の幅W1~W6の基準値からの増減幅が、「0_0_-100_100_-400_400」からなる配列であると認識し、この配列(特に、コード部分の配列である「-100_100_-400_400」)を一意のコード情報又は識別子(即ち、ID)として、対応する信号を出力する。
【0052】
<マッチング手段>
マッチング手段92は、パターン認識手段91からの信号を入力し、パターン認識手段91の認識結果を、所定の処理とマッチングするものであり、例えば、上記ソフトウエア資源による構成として実現することができる。詳細には、前記明暗線セットのパターンに応じた特定の処理をコンピュータ装置に実行させるための特定の指令情報が、異なる明暗線セットごとに対応付けて用意されている(例えば、データベースに格納されている)。よって、マッチング手段92は、パターン認識手段91から入力された(明暗線セットの制御符号の内容に対応する)一意のコード情報を表す信号に基づき、CMOSイメージセンサ80に撮像された明暗線セットのパターンを、特定の指令情報とマッチングし、そのマッチング情報に対応する信号を出力する。
【0053】
<指令手段>
指令手段93は、マッチング手段92からの信号を入力し、その信号に対応する指令情報を出力するものであり、例えば、上記ソフトウエア資源による構成として実現することができる。例えば、指令手段93は、マッチング手段92からのマッチング情報に基づき、コンピュータ装置に特定の処理を実行させるための指令情報を出力することができ、この指令情報に応答して、コンピュータ装置が、例えば、その出力装置94に、所定の情報(映像、画像、音声等)を出力するよう構成することができる。
【0054】
[使用方法]
本実施の形態の可視光通信システムは、例えば、以下のようにして使用することができる。即ち、
図4に示すように、まず、カメラ装置(例えば、情報端末装置100のカメラモジュール60)をオンする一方で、光源11から所定の点滅光セットからなる点滅光を出力し、この点滅光をカメラモジュール60のレンズ63を介して撮影し、CMOSイメージセンサ80の1フレームに撮像する。このときの撮像は、静止画により行ってもよく、動画により行ってもよい。動画による撮像とすると、制御符号の情報量を多く確保することができる。いずれにしても、1フレーム内に少なくとも1つの明暗線セットが過不足なく撮像されればよい。そして、CMOSイメージセンサ80の撮像パターンをパターン認識手段91により認識してID等の制御符号に変換し、マッチング手段92によりその認識結果に応じたマッチング情報を出力して、指令手段93によりそのマッチング情報に対応する指令をコンピュータ装置に出力する。なお、パターン認識手段91により認識した明暗線セットの撮像パターンは、情報端末装置100のディスプレイ110等にそのまま表示してもよいが、表示しないよう構成することもできる(即ち、プログラムの仕様により任意の設定とすることができる)。
【0055】
[作用効果]
上記実施の形態を含む本発明の可視光通信装置によれば、光源11の明るさ(即ち、輝度)の変化によってもCMOSイメージセンサ80における撮像イメージのパターン(明暗線の周期や幅)は影響されず、光源11からの点滅光セットに常に対応する明暗線セットを得ることができるため、安定した動作が可能となる。また、光源11からの距離に関係なく(即ち、光源11からカメラモジュール60等のカメラ装置までの距離が遠くても近くても)、撮影によりCMOSイメージセンサ80に撮像される明暗線セットの明暗線の幅は変わることがなく、常に、点滅光セットの点滅間隔に対応する幅となる。即ち、明暗線の(幅調製される)暗線の幅は、点滅光の消灯部分の時間間隔にのみ依存して決定される。更に、カメラモジュール60等のカメラ装置を光源11に対して傾斜させて撮影しても、CMOSイメージセンサに撮像される明暗線セットの明暗線が傾斜することはなく、常に、走査方向に直交する直線状となる。よって、このような場合に対処するための補正機能が不要となり、カメラ装置をどの角度として撮影しても所期の良好な結果を得ることができる。また、光源11は、点滅光を出力するが、この点滅動作は(上記のように、周期2000マイクロ秒等の)高速点滅動作となるため、通常の点灯状態と同様に視認され、点滅光にIDが含まれているにもかかわらず、人には認識できないものとなっている。また、従来の可視光通信は、「0」及び「1」のビット情報からなるタイムラインの信号を読み取るが、本発明は、撮像イメージをストライプ状の縞模様としてID化すると共に、CMOSイメージセンサの1フレームを撮像する間に一つのIDが含まれる構成であるため、非常に高速動作が可能となる。なお、この動作速度は、使用するカメラ装置やスマートフォン等に実装したカメラモジュールのCMOSイメージセンサの性能に応じた1秒間のフレーム数に依存し、CMOSイメージセンサの精度やリフレッシュレートに依存する。
【0056】
[撮像パターンの使用例]
上記実施の形態を含む本発明の可視光通信装置によれば、明暗線セットからなる撮像パターンの制御符号は、IDとして使用することができるが、制御符号をコード化して文字データとしたり、制御符号をURLを表す情報として使用することもでき、或いは、エラー訂正のための符号として使用することもできる。URLとして実現する場合、そのURLを送信して対応するウエブページを取得する等の処理をコンピュータ装置に実行させることもできる。なお、制御符号をID化する場合は、明暗線セットは、上記のようにCMOSイメージセンサ80の1フレーム内に収まる情報量ですむが、文字コード化する場合、2~3フレーム分の情報量が必要となる。また、URL化する場合も、同様に、2~3フレーム分の情報量が必要となる。
【0057】
[本発明の範囲]
[別例1(RGB出力による情報量増大)]
上記実施の形態の可視光通信システムで説明した構成以外に、本発明の可視光通信システムは、各部の構成を変更して実施することもできる。例えば、上記実施の形態では、光源11から白色光等の同一色又は単色の点滅光を出力し、この点滅光からなる点滅光セットの各消灯部分の消灯間隔を増減調整することで、CMOSイメージセンサ80に撮像する明暗線セットの各暗線の幅を増減調整して符号化している。即ち、明暗線セットをモノクロ情報として撮像している。しかし、光源11からRGB(赤、緑、青)の3原色の光からなる点滅光を選択的に出力し、この3原色の点滅光からなる点滅光セットの各消灯部分の消灯間隔を増減調整することで、CMOSイメージセンサ80に撮像する明暗線セットの各暗線の幅を増減調整して符号化することもできる。この場合、明暗線セットの明線の色を認識することにより、明暗線セットによる符号化の際の情報量を、モノクロ情報として撮像する場合の情報量の3乗の情報量を確保することができる。更に、RGBの3原色以外の色を使用して、色数を増やすことも可能である。ただし、色数を増やすと、それに応じてエラーが増加するので、エラーが増加しないよう、色数を所定数以下に抑える必要がある。また、CMOSイメージセンサの1フレーム分のスペースの制約もあるため、色数を大きく増加することは好ましくない。
【0058】
[別例2(明暗線セット)]
また、上記実施の形態では、明暗線セットの最初の2本の暗線を同一幅の暗線としてプリコードとして使用しているが、プリコードとしては、他の本数及び/又は幅(例えば、異なる幅)の暗線を使用することもできる。また、上記実施の形態では、明暗線セットは、6本の暗線からなる構成としているが、これを他の本数からなる構成とすることもできる。更に、明暗線セットの明線の幅を認識して符号化する構成としたり、明暗線セットの明線の幅及び暗線の幅を共に認識して符号化する構成とすることも理論上は可能である。
【0059】
[別例3(左右一対の構成)]
また、上記実施の形態を含む本発明の可視光通信装置において、左右一対の光源を用意すると共に、左側の光源からの点滅光セットを音声出力用とし、右側の光源からの点滅光セットを映像(動画)出力用とすることもできる。
【0060】
[別例4(CMOSイメージセンサ)]
まず、本発明の可視光通信システムの全体構成において、前記受光素子としての撮像素子としてCMOSイメージセンサを使用する場合、CMOSイメージセンサとしては、直線状の構成のものに加え、直線状でない構成のもの(例えば、曲線状の構成のもの等、非直線形状の構成のもの)も理論上は製作可能であり、将来的に開発されるこのようなCMOSイメージセンサも含め、任意のCMOSイメージセンサを使用することもできる。
【0061】
[別例5(受光素子)]
また、上記実施の形態を含む本発明の可視光通信システムの全体構成においては、前記受光素子としての撮像素子(イメージセンサ)としては、CMOSイメージセンサを典型的な撮像素子として使用しているが、CMOSイメージセンサ以外にも、CMOSイメージセンサと同等の撮像動作を行うイメージセンサを使用することもできる。即ち、本発明の受光素子は、CCDイメージセンサのように同時にイメージを取得する撮像方式(グローバル露光方式又は同時撮像方式)ではなく、CMOSイメージセンサのようにずれたタイミングでイメージを取得する撮像方式(ライン露光方式又は順次撮像方式)と同等の撮像方式による撮像を行うものであれば、将来的に開発されるイメージセンサも含め、任意のイメージセンサを使用することができる。即ち、本発明の受光側装置に必要な本質的性質は、「同時にイメージを取得するものではない(ずれたタイミングで取得する)」構造であることであり、このような構造を備える限り、任意の構成を採用することができる。
【0062】
[別例6(変調手段)]
上記実施の形態では、変調手段は、電気回路によるハードウエア構成からなる変調回路により実現され、光源に供給する発光駆動用の電力を制御する構成とされているが、光源から前記点滅光セットを出力できる限りにおいて、電力での変調以外の構成も採用することができ、例えば、液晶シャッターによる構成等、任意の構成を採用することができる。
【0063】
[別例7(本発明の本質的特徴に関する別例)]
可視光通信システムに具体化される本発明の本質的特徴は、大きく、以下の二点にある。即ち、(1)使用する撮像素子の「非同時のイメージ取得」という特性を用いることで、フレームレートを上回る転送レートを出す仕組み、及び、(2)この撮像素子に載せるコード及びデコード手法又は符号化・復号化手法(なお、今回の実装に係るコード・デコード手法はごく一例を示すにすぎない)。例えば、本発明の可視光通信システムは、光源の明るさの変化にできるだけ追従する工夫も盛り込んでいる(以下、この工夫に係る機能実現手段を「明度変化追従手段」という)。更には、本発明の可視光通信システムは、「ゆっくり明滅する光源」にも安定してデータを載せられる(任意に、即時に、データが得られる)工夫をしている(以下、この工夫に係る機能実現手段を「低速点滅光源用データ安定化手段」という)。また、本発明の可視光通信システムは、光源にフルカラーLEDを使用する場合は、フルカラーLEDの各色のLEDを個別に駆動することで(同期しつつも独立した情報を載せることで)、単位時間あたりに送信できる容量を増やせるという大変重要な性質を備えている(以下、この性質を達成するための機能実現手段を「データ送信容量増大手段」という)。
【0064】
[別例7(撮像動作の時間間隔)]
上記実施の形態を含む本発明の可視光通信システムでは、CMOSイメージセンサ等の撮像素子は、光源からの点滅光セットを経時的に入力し、(CMOSイメージセンサ等のローリングシャッター機能又はそれに相当する機能を利用して)一定時間間隔ごとに入力データとしての点滅光セットの各点滅光を撮像する構成であるが、この入力データの撮像のための時間間隔は、一定時間間隔でなくともよい。例えば、その時間間隔が既知であればその非一定の時間間隔を既知の情報に基づいて調整することで(或いは、未知であっても、事前校正することで)、本発明の可視光通信システムを構成することができる。また、この時間間隔が仮にランダムであったとしても、その揺らぎが一定範囲以内であれば、その揺らぎ範囲を考慮した制御を行うことで、本発明の可視光通信システムを構成することができる。即ち、撮像素子の撮像動作における前記時間間隔の要件としては、時間がずれていること(また、更には、ある時間間隔以下であること)だけが必要である。即ち、本発明の可視光通信システムは、入力データの撮像のための時間間隔が非一定である一方で既知の場合においてその非一定の時間間隔を既知の情報(即ち、既知の非一定時間間隔)に基づいて調整するための機能実現手段(以下、「非一定時間間隔調整手段」という)、入力データの撮像のための時間間隔が非一定である一方で既知の場合においてその非一定の時間間隔が未知の場合においてその非一定の時間間隔を事前校正するための機能実現手段(以下、「非一定時間間隔事前校正手段」という)、及び、入力データの撮像のための時間間隔が仮にランダムである一方でその揺らぎが一定範囲以内である場合においてその揺らぎ範囲を考慮した制御を実行するための機能実現手段(以下、「揺らぎ範囲に基づく非一定時間間隔制御手段」という)を設けることで、入力データの撮像のための時間間隔が非一定又はランダムである場合においても、上記と同様に所定の点滅光セットに応じた所定の明暗線セットを復元可能である。
【0065】
[別例8(撮像動作の方向)]
上記実施の形態を含む本発明の可視光通信システムでは、CMOSイメージセンサ等の撮像素子は、光源からの点滅光セットを経時的に入力し、(CMOSイメージセンサ等のローリングシャッター機能又はそれに相当する機能を利用して)所定の方向(又は一定方向)に入力データとしての点滅光セットの各点滅光を撮像する構成であるが、この入力データの撮像のための方向は、一定方向でなくともよい。例えば、その方向が一定でなくても、その撮像順序が既知であればその非一定の方向を既知の情報に基づいて調整することで(或いは、未知であっても、事前校正することで)本発明の可視光通信システムを構成することができる。即ち、本発明の可視光通信システムは、入力データの撮像方向又は撮像順序が非一定方向である一方で既知の場合においてその非一定方向を既知の撮像順序に基づいて調整するための機能実現手段(以下、「非一定撮像順序調整手段」という)、入力データの撮像方向が非一定である一方で未知の場合においてその非一定の時間間隔を事前校正するための機能実現手段(以下、「非一定撮像順序事前校正手段」という)を設けることで、入力データの撮像順序が非一定又はランダムである場合においても、上記と同様に所定の点滅光セットに応じた所定の明暗線セットを復元可能である。
【0066】
[別例9(撮像素子における撮像動作の位置)]
上記実施の形態を含む本発明の可視光通信システムでは、CMOSイメージセンサ等の撮像素子は、光源からの点滅光セットを経時的に入力し、(CMOSイメージセンサ等のローリングシャッター機能又はそれに相当する機能を利用して)所定の方向(又は一定方向、或いは、上記のような非一定の方向)に入力データとしての点滅光セットの各点滅光の位置をずらして(位置をシフトして)撮像する構成であるが、この入力データの撮像のための位置のシフトは、下記のように、一定の条件を満たせば、必ずしも必要ではない。即ち、上記実施の形態を含む本発明の可視光通信システムでは、撮像素子は、1フレーム分の走査時間内に1セット分の点滅光セットの点滅光を撮像している。これにより、この可視光通信システムは、1フレーム分の走査時間内で一つの点滅光セット(即ち、一つのコード情報)を処理することができ、(従来のように一つのコード情報を処理するために多数のフレームを必要とする場合と比較して)情報処理を大幅に高速化することができる。しかし、本発明の可視光通信システムは、撮像素子における1フレーム分の走査時間を分割して(例えば、1フレーム分の1/5に分割して)撮像し、その分割した時間範囲内で1セットの点滅光セットを撮像するように構成する動作方式を採用することもできる。即ち、この動作方式は、撮像素子のフレームを走査方向に分割して使用する動作方式と考えることもできる。こうすると、1フレームを更に複数に分割した短い走査時間内で一つの点滅光セットを処理することができ、情報処理を更に大幅に高速化することができる。更には、この動作方式を更に押し進めて、撮像素子の一素子だけを超高速で動作する光センサとして使用することも理論上は可能であり、この場合、「位置をずらして」撮影することを必要とせず、本発明の可視光通信システムを構成することができる。即ち、この場合、撮像素子の特定のアドレスの単一のフォトダイオードのみにより、光源からの点滅光セットを受光して、その受光した点滅光のタイミングに基づいて(即ち、点滅光の点滅間隔に基づいて)所定のパターン(即ち、点滅間隔のパターン)を読取り、点滅光セットのコード情報(符号化データ)を読解することも可能である。
【0067】
[別例10(光源からの光による点滅光セット)]
上記実施の形態では、光源として、能動的に発光するLED等の能動的光源を使用したが、本発明の可視光通信システムは、他の光源からの光を反射して前記点滅光セットを出力するように構成することもでき、本発明の可視光システムにおける「光源」には、このような受動的光源も含む。また、本発明の可視光通信システムは、上記実施の形態では、発光側制御手段により、光源自体の発光動作を制御して、光源から直接的に所定の点滅光セットを出力する構成の機能実現手段(以下、「直接的点滅光出力手段」という)を採用しているが、光源からの発光を点滅光ではなく連続光とする一方で、光源と受光側装置との間に、前記光源からの連続光を所定の点滅光セットに変換して間接的に出力する構成の機能実現手段(以下、「間接的点滅光出力手段」という)を採用してもよい。例えば、このような間接的点滅光出力手段としては、光源からの連続光を機械式シャッター構造等によってオンオフ動作(開閉動作)するシャッター装置がある。また、このような間接的点滅光出力手段は、光源と受光側装置との間に配設して光源から直接入射する連続光(即ち、直接光)をオンオフ動作するよう構成してもよいが、光源からの連続光を一旦反射手段により反射した反射光を間接的点滅光出力手段によりオンオフ動作するよう構成してもよい。この場合、間接的点滅光出力手段は反射手段と受光側装置との間に配設する。なお、上記の場合、本発明の可視光通信システムにおいて、間接的点滅光出力手段や反射手段は、発光側装置に含まれる。
【0068】
[別例11(可視光通信システムの応用)]
本発明の可視光通信システムは、上記実施の形態のように、発光側装置からの符号化データを受光側装置により復号化し、その復号化データに基づき、所定の処理をコンピュータ装置に実行させるための指令を出力するように構成する以外にも、出力側にコンピュータ装置を使用しない場合(即ち、出力側のコンピュータ装置に何らかの処理を指令する指令信号を出力しない場合)にも適用できる。例えば、本発明の可視光通信システムは、復号化データを指令信号として出力するのではなく、データとして表示したり、データとして活用するだけのアプリケーションにも適用することができる。また、本発明の可視光通信システムは、コンピュータ装置で利用する識別子や一意の情報(ID、パスワード、アカウント情報等)を表現するよう符号化データ及び複合化データを構成し、コンピュータ装置で利用する識別子や一意の情報を出力する構成として具体化することもできる。
【0069】
[別例12(コード化)]
本発明の可視光通信システムでは、撮影のシャッタースピードが落ちると、明線が「太くなる」現象が生じるとの知見を本発明者らは得ている。即ち、この現象により、光源からの点滅光におけるオン時間間隔とオフ時間間隔とが同一である場合でも、撮像素子に撮像される明線の幅が異なることがあるとの知見を、本発明者らは得ている。したがって、本発明の可視光通信システムを実現するための(所定のプログラムの)アルゴリズムでは、この現象を軽減するための手段(工夫)が施されている(以下、この工夫に係る機能実現手段を「低シャッタースピード用コード化手段」という)。
【0070】
[別例13(走査方向又は走査順序)]
本発明の実施の形態1では、(CMOSイメージセンサ等の)受光イメージを一定時間ごとに一定方向に位置をずらしながら走査して撮像するタイプの撮像素子を使用することを想定して、撮像素子は、従来のパソコン用ディスプレイにおける走査方式であるプログレッシブ方式(ノンインターレース方式)と同様に、撮像素子の各露光ラインを一定方向に順次走査して撮像する構成となっている。したがって、この場合、発光側装置からの所定の点滅光セットに応じて撮像素子が撮像するのは、上記実施の形態1で述べたような明暗線セットのパターンとなる。なお、上記の場合における撮像素子の「露光ライン」とは、例えば、撮像素子の水平方向に隣接配置されて左右方向に延びる1列の画素ブロック(以下、「水平列ライン」という)の各々により構成され、或いは、撮像素子の垂直方向に隣接配置されて上下方向に延びる1列の画素ブロック(以下、「垂直列ライン」という)の各々により構成される。そして、この場合、撮像素子は、露光ラインの延びる方向と直交する方向、即ち、水平列ラインの場合は撮像素子の垂直方向となる上下方向(例えば、上端から下端に向かう方向)、垂直列ラインの場合は撮像素子の水平方向となる左右方向(例えば、左端から右端に向かう方向)に位置をずらしながら走査して、点滅光セットの点滅光を経時的に順次撮像することになる。具体的には、この場合、例えば、上記のように、撮像素子において垂直列ラインの画素ブロックを左右方向に(即ち、最も左端の垂直列ラインから右端の垂直列ラインに向かって、又は、最も右端の垂直列ラインから左端の垂直列ラインに向かって)位置をずらしながら走査して撮像する場合、点滅光セットのパターンに応じて、撮像素子の垂直方向に延びる明暗線からなる明暗線セットのパターンが撮像されることになる。
【0071】
一方、上記別例8(撮像動作の方向)で述べたように、本発明のコンピュータ装置用の可視光通信システムでは、撮像素子において、一定方向ではない任意の方向に経時的に順次位置をずらしながら走査して撮像することにより、点滅光セットのパターンに応じたパターンの(前記明暗線パターンに相当する)明暗部パターンを出力することもできる。例えば、撮像素子は、従来のNTSC方式のテレビにおける走査方式であるインターレース方式と同様に、撮像素子の各露光ラインを1本置きに(又は複数本置きに)順次走査して撮像する構成とすることができる。発光側装置からの所定の点滅光セットに応じて撮像素子が撮像する明暗部のパターンは、上記実施の形態1で述べたような明暗線セットの各明暗線が、露光ラインの1本置きに(又は複数本置きに)隙間を置いて平行となるよう配置されたパターンとなる。なお、上記実施の形態1のようないわゆるプログレッシブ方式による撮像の場合も、上記インターレース方式による撮像の場合も、撮像素子の1回の露光単位が同列上の連続する画素からなる1本の直線帯状の画素ラインである露光ラインとなるため、明暗部パターンは、実施の形態1の明線及び暗線から構成されるパターン(即ち、点滅光の点灯間隔に相当する幅の明線と、点滅光の消灯間隔に相当する幅の暗線とが、プログレッシブ方式の場合は互いに隣接して、インターレース方式の場合は単位本数だけの画素列を飛ばした隙間間隔を置いて平行に配置されるパターン)となる。
【0072】
一方、撮像素子及び/又は発光制御手段を適宜構成することにより、撮像素子の1回の露光単位を、1本の直線帯状の露光ラインではなく、撮像素子の1個の画素単位(即ち、各画素単位)、或いは、隣接する複数個の画素を1ブロックとして1つの画素ブロックを構成した場合における各画素ブロック単位とすると共に、撮像方向又は撮像順序を、撮像素子の全画素単位又は全画素ブロック単位を、最初の画素単位又は画素ブロック単位から最後の画素単位又は画素ブロック単位まで、一つずつ、かつ、重複しないよう、任意の順番で経時的に移動しながら撮像する構成とすることもできる。好ましくは、撮像方向又は撮像順序については、撮像素子の全画素ブロック単位を、最初の画素ブロック単位から最後の画素ブロック単位まで、一ブロックずつ、かつ、画素ブロックが重複しないよう、任意の順番で経時的に移動しながら撮像する構成とする。こうすれば、露光単位を画素単位とする場合と比較して、より大面積の画素ブロックにより明部及び暗部を判別できるため、撮像素子のダイナミックレンジが低く明暗の差の表現能力が低い等、ハードウエア資源の性能が低い場合であっても、点滅光セットの符号化データに対応する完全な複合化データを正確に復元することができる。また、この場合、撮像素子における全画素ブロックの各々を同一数で同一寸法(及び同一外形)とすることもできるが(即ち、全ての画素ブロックの各々を同一数のn個の画素により構成し、かつ、例えば同一の矩形状等に形成することもできるが)、理論上は、一部の画素ブロックを他の画素ブロックと異なる画素数の画素ブロックとしたり、一部の画素ブロックを他の画素ブロックと異なる寸法(及び外形)の画素ブロックとしたりすることも可能である。なお、撮像素子における露光単位を画素ブロック単位とする場合、(撮像素子における露光単位を画素ライン単位とする場合の)前記明暗線の明線及び暗線に対応する明部及び暗部が、撮像素子の対応する画素ブロックに撮像され、これら明部及び暗部の対からなる明暗部の所定数の組(例えば、6つの点滅光からなる点滅光セットを撮像する場合、6組の明暗部)により、前記明暗線パターンに対応する明暗部パターンが生成される。このとき、明部及び暗部のそれぞれの外形及び寸法は、対応する画素ブロックのそれぞれの外形及び寸法に対応するものとなる。
【0073】
[別例14(撮像素子)]
本発明の可視光通信システムは、撮像素子としてCMOSイメージセンサを使用する以外にも、発光側装置からの所定の点滅光セットの点滅光を、その点滅光の順序に応じた所定の順序で、経時的に撮像位置をずらしながら撮像する(即ち、画素ライン単位、画素単位又は画素ブロック単位で位置をずらしながら撮像する)ことにより、点滅光セットの符号化データに対応する完全な複合化データを正確に復元することができる限りにおいて、任意の撮像素子を使用することができる。例えば、CCDイメージセンサであっても、オンオフリレーにより、点滅光セットの点滅光を、その点滅光の順序に応じた所定の順序で、経時的に撮像位置をずらしながら撮像することも可能である。
【0074】
[別例15(点滅光セットの点滅光の点滅間隔及び点滅タイミング)]
本発明の可視光通信システムは、前記発光制御手段により生成する点滅光セットは、得るべき符号化データに応じて、点滅光セットを構成する点滅光の点滅間隔が非均一となることもあるが、符号化データにより表現する情報の種類が少なく、情報間の区別のための符号化データの種類が少なくなるような場合は、均一な点滅間隔の点滅光により点滅光セットを生成することも可能である。即ち、本発明の可視光通信システムは、前記発光制御手段により生成する点滅光セットの点滅光の点滅間隔が特定のパターンとなる限りにおいて、点滅光の点滅間隔を任意の間隔とすることができる。また、本発明の可視光通信システムは、前記発光制御手段により生成する点滅光セットは、所定の周期で点滅する所定の複数個の点滅光により構成する以外に、所定の点滅タイミングで点滅する所定の複数個の点滅光により構成することもできる。即ち、点滅光セットにより所定のパターンの点滅光を表現できる限りにおいて、点滅光セットの点滅光の点滅間隔は、周期性を有するもの以外に、任意の点滅タイミングとなる点滅間隔とすることもできる。
【0075】
[別例16(点滅光セットの時間間隔)]
本発明の可視光通信システムは、実施の形態1では、一つの点滅光セットの時間間隔が、撮像素子の1回の走査時間間隔(及び、シャッタースピード)よりも短い時間間隔となるよう、発光制御手段により点滅光セットを生成し、これにより、点滅光セットのパターンに応じた明暗部のパターンを撮像素子に撮像して生成し、その結果、撮像素子の1フレームに相当する時間間隔内に所定の情報を表現する符号化データを包含させることで、撮像素子のフレームレートを超える高速な情報処理を可能としている。換言すれば、本発明の可視光通信システムは、撮像素子の1フレーム内で所定の情報処理を完結することができるが、表現すべき情報量が増大した場合、撮像素子の複数フレーム(2フレーム以上)にわたって1つの点滅光セットのパターンが撮像されるよう、発光制御手段により点滅光を発光制御すると共に、これにより撮像素子の複数フレームにわたって撮像された明暗部のパターンに基づき、点滅光セットのパターンが表現する符号化データに対応する複合化データを復元するよう、受光制御手段によって撮像素子による撮像データを処理することも可能である。
【0076】
[別例17(情報処理速度)]
本発明の可視光通信システムは、上記のとおり、少なくとも1セットの点滅光セットの点滅光を、撮像素子の画素ライン単位や画素ブロック単位で一定方向又は任意の方向又はランダムに位置をずらしながら走査して撮像するため、各点滅光セットの時間間隔は、上記のとおり、撮像素子の1回分の走査時間以下の時間間隔となり、撮像素子のシャッタースピード以下の時間間隔となる。例えば、撮像素子のシャッタースピードが1/30秒の場合は、各点滅光セットの時間間隔は、1/30秒以下となり、撮像素子のシャッタースピードが1/60秒の場合は、各点滅光セットの時間間隔は、1/60秒以下となる。また、本発明の可視光通信システムは、上記のとおり、撮像素子における点滅光の入力タイミングと走査タイミングとの時間的ずれに関係なく、少なくとも1組の点滅光セットの全ての点滅光を撮像素子により完全に撮像できるよう、撮像素子の1回の走査時間内に撮像される点滅光セットの点滅光の数である1走査時間内点滅光数が、少なくとも、1組の点滅光セットの点滅光の総数の2倍より1少ない数となるよう、発光側制御手段による点滅光セットの点滅制御を行うことで、前記1組の点滅光セットの点滅光に対応して撮像素子の1操作時間内に撮像素子により撮像される明暗部の数である1走査時間内明暗部数が、少なくとも、1組の明暗部セットの明暗部の総数の2倍より1少ない数となるようにすることが好ましい。なお、この場合のシャッタリングは、撮像のラインごとに行われる。この場合、シャッターの開始時間が、フレームレートをライン数で割っただけずれているものと予想される。この場合、シャッターが閉じるタイミングについては、それぞれスタートからの経過時間(開放時間)で閉じられることとなる。(「開放時間」は、一フレーム内では、通常、同じ時間と思われる。)開放時間が、「ずれ」の時間より遅い場合は、線が太く写る。短い場合は、露出が抑えられるだけと考えられる。(被写体の動きが激しい場合は別であり、ラインごとの像が、とぎれとぎれになることがある。)
【0077】
[実施例6(複数フレームにわたる点滅光セットの処理)]
本発明の可視光通信システムは、実施の形態1では、1セットの点滅光セットの全体を1フレーム内に撮像することで、情報処理の高速化を図っているが、1セットの点滅光セットの符号長が1フレームを超えるような情報の場合、
図12に示すような処理が可能である。具体的には、例えば、1セットの点滅光セットの符号長が1.5フレームに相当する長さとなる情報の場合、このままこの点滅光セットを撮像素子により撮像すると、この点滅光セットの点滅光は、2フレームにわたって撮像されることになる。このとき、フレーム間のタイミングで点滅光セットの点滅光が撮像素子に入射することがあるが、この場合、フレーム間の時間間隔を正確に予測して補完を行うことは容易でない。したがって、本実施例の可視光通信システムは、
図12に示すように、例えば、1セットの点滅光セットの符号長が1フレームを越える長さで2フレーム未満の長さとなる情報の場合、撮像素子の連続する3フレームを使用してその撮像を行うよう、発光制御手段による制御を行う構成としている。例えば、1セットの点滅光セットの符号長が1.5フレームに相当する長さとなる情報の場合、撮像素子の連続する3フレームを使用してイメージを撮像素子に撮像させるよう、発光制御手段は、撮像素子のフレームレート(及び/またはシャッタースピード)に応じて、点滅光セットの符号長のうち、前半2/3の長さの符号部分の点滅光を1番目のフレームF1の時間間隔の範囲内で出力し(例えば、フレームF1の走査開始と同期して前半2/3の点滅光の最初の点滅光を出力すると共に、フレームF1の走査終了直前に前半2/3の点滅光の最後の点滅光を出力し)、次に、2番目のフレームF2に対応する時間間隔を置いて(即ち、2番目のフレームF2の時間間隔内では、残りの1/3の点滅光を出力せずに消灯動作を維持して待機し)、残りの後半1/3の長さの符号部分の点滅光を3番目のフレームF3の時間間隔の範囲内で出力する(例えば、フレームF3の走査開始と同期して後半1/3の点滅光の最初の点滅光を出力する)。こうすると、点滅光セットの符号長のうち、前半2/3の長さの符号部分の点滅光が3フレーム中の1番目のフレームF1に撮像され、次の2番目のフレームF2は点滅光は撮像されることなく空白フレームとなり、後半1/3の長さの符号部分の点滅光が3番目のフレームF3に撮像される。したがって、1セットの点滅光セットの撮像に撮像素子の3フレームを必要とし、上記実施の形態1のように撮像素子の1フレーム内に1セットの点滅光セットを撮像する場合と比較すると、情報処理速度は低下する(情報処理時間が3倍になる)が、それでも、フレームレートが30fpsの場合でも、1単位の点滅光セットの符号データの撮像時間は1/10秒となり、従来の可視光通信装置と比較して大幅に高速な情報処理が可能となる。また、複数フレームに渡る信号を載せる場合は、一連の情報のスタート、一連の情報のエンド、個別のデータの区切り(ダブったり抜けたりしないため)のマーカーが必要である。
【0078】
[実施例7(明暗部セットの明暗線の幅認識処理)]
本発明の可視光通信システムは、実施の形態1のように、点滅光セットのパターンに対応して撮像素子に明暗線セットのパターンを撮像する場合において、明暗線セットの明線の幅及び暗線の幅は、点滅光の点灯時間(オン時間)及び消灯時間(オフ時間)に対応する幅、即ち、同一又は比例する幅となるが、明線の場合、撮像素子の走査特性に依存して、撮像素子においてより高い明度の光を撮像した部分(即ち、輝度の大きい部分)において、明線の幅方向端縁が外方に膨出する傾向にあることを本発明者らは実験結果により確認している。例えば、
図13に示すように、光源からの点滅光の強度が撮像素子の(露光ラインの長さ方向中央部で大きくなり、撮像素子の垂直方向中央部の輝度が他の部分より大きくなるような場合、明線の長さ方向中央部の両端縁が外方に張り出すように撮像される傾向にある。この場合、明線の幅及び暗線の幅の比率が、実際の点滅光の点灯間隔及び消灯間隔の比率と異なる比率になる(例えば、実際は6:4の比率が7:3として撮像される)可能性がある。
【0079】
このような事態に対処し、撮像素子の撮像(特に明線)が入射光の強度によって部分的又は全体的に膨張した場合にも、撮像データを復号化する際に明線及び暗線の比率を誤認識しないよう、本発明の可視光通信システムは、
図14に示すような構成を採用することができる。詳細には、本発明の可視光通信システムは、撮像素子に撮像される明線の幅が一定となり、暗線の幅の大小により情報を表現するよう、発光制御手段により、点滅光セットの点灯部分の時間間隔を一定とし、消灯部分の時間間隔を基準値から所定単位で増減して設定し、かかる点滅光セットを出力するようになっている。また、本発明の可視光通信システムは、
図14に示すように、明線の両側に隣接する1対の暗線のそれぞれの幅方向中心位置の間の間隔THを取得し、この間隔THから、(幅が一定である)左右の明線のそれぞれの幅の1/2の間隔をそれぞれ減算することで、結果的に、中央の暗線の幅を取得している。こうすると、撮像素子に撮像された明線の幅が、点滅光の点灯時間に対応する本来の幅よりも幅方向に拡大して撮像される場合に(例えば、明線の幅が、本来は
図14中に実線で示す位置であるにもかかわらず、破線で示す位置まで拡大して撮像された場合に)、両明線の中心位置間の間隔THから、拡大した左側の明線の幅の中心位置までの寸法1/2WH1と、拡大した右側の明線の幅の中心位置までの寸法1/2WH1とを減算すると、両明線の中心位置間の間隔THから、本来の左側の明線の幅の中心位置までの寸法1/2WH2と、本来の右側の明線の幅の中心位置までの寸法1/2WH2とを減算した値と同一となり、明線の幅の拡大いかんにかかわらず、常に本来の暗線の幅BW2を取得することができる。即ち、TH-(1/2WH1-1/2WH1)=TH-(1/2WH2-1/2WH2)=BH2となる。なお、上記のように明線を固定長とし暗線を可変長とする構成とは逆に、暗線を固定長とし明線を可変長とする場合にも、上記の明線及び暗線を暗線及び明線として取り扱うことで、上記発光制御手段により制御を適用することができる。
【0080】
[実施例8(発光制御処理)]
本発明の可視光通信システムは、発光性制御手段により、例えば、
図15に示すような発光制御処理を行う。詳細には、
図15に示すように、STEP1で、撮像素子の垂直方向(縦方向)の画素における輝度の平均化を行う(即ち、露光ラインの上の画素を縦方向に全て同じ平均輝度にする)。詳細には、STEP1では、露光ラインの長さ方向(上下方向)に沿って、中心付近の所定画素数文(例えば、50px分)の輝度を取得して、これらの輝度値に基づき1つの平均値を算出する。ここで、露光ラインの画素数が縦方向に768pxであるとすると、768個の全ての画素の輝度を取得して、それらの輝度の合計値に基づき(合計値/768)1つの平均値を算出することもできるが、処理量軽減等の観点から、また、撮像素子においては中心部では光強度が大きくなる傾向にあることから、中心部の所定画素数文の輝度を取得して、平均値を算出するようにしている。なお、撮像素子の特性として、露光ラインの長さ方向(縦方向)において入射光の輝度に差が生じることから、STEP1のように、縦方向においても輝度差を平均化する処理を実行するようにしている。
【0081】
次に、STEP2で、撮像素子の水平方向の撮像領域(有効画素範囲)をn分割してそれらの撮像領域について、それぞれ、(平均値-標準偏差/2)を閾値の候補(仮閾値)として設定する。この場合、例えば、n=3に設定する。即ち、撮像素子に明暗線(ストライプ)を生成する場合、撮像素子の横方向(水平方向、走査方向)において、中心付近と周辺での輝度の差があるため、これを平均化して標準化する。例えば、撮像素子の画素数が水平方向1080pxの場合、1080pxを3つの領域に分けて3つの値を算出する。なお、上記n分割は例えば3分割とすることができるが、その他の分割数としてもよい。そして、n領域の各領域において、平均値-標準偏差/2を仮閾値として設定する。
【0082】
次に、STEP3で、STEP2で得た閾値の最大値が画面の中心となり、最小値が画面の外側になるように線形に補完し、閾値を画素分(例えば、水平方向1080pxの場合は1080個)求める。このとき、STEP2の仮閾値の最大値と最小値を使用する(中間値は使用しない)。即ち、撮像素子の特性として、画面中央の方が光の強度が相対的に大きくなるため、画面中央の閾値を最大値とし、画面の周辺は光の強度が想定的に小さくなるため、画面周辺の閾値を最小値とする。このようにして、画面の左右前置にわたって等分に閾値が変わるようにする。なお、このとき、処理量の軽減等の理由により、まず、水平方向の全ての画素ではなく中央部分の所定数の画素(例えば、100px分の画素)について計算を行う。そして、その後、線形補完により、全ピクセル分(1080)について閾値を出す。
【0083】
次に、STEP4で、STEP3で求めた値を閾値にして、各画素について2値化を行う。即ち、画素を水平方向に走査して全ピクセルの輝度を閾値と比較し、閾値より大きければ白(1)、小さければ黒(0)と判断する。
【0084】
次に、STEP5で、2値化した画像の1列を走査して(黒+白)の幅を数列化する。このとき、任意の水平方向の一列の画素を走査して、黒が何個あるかを数え、数列化する(数列として保持する)。なお、白は一定間隔に設定されているため、白に対応する画素の数は一定数となる。例えば、黒5、白、黒6、白、黒3、白・・・のように連続する場合、(5,2,6,2,3,2,・・・)のような数列化を行う。
【0085】
次に、STEP6において、STEP5で得られた数列が送信コードかどうか判定する。この場合、数列の最小値から2つの数が6つおきに配置されるかどうかを判定する。詳細には、数列の最小値から2つの数、即ち、プリコードとして最初に表れる最小値の黒(200ms分)と、その次の白の組合せからなるストライプ(黒白2本の線)が、6つおきに表れるかどうか判断し、6つおきの場合、送信コードと判定する。異なる数値の場合、送信コードを正常に読取れなかったと判断する。
【0086】
次に、STEP7において、STEP6で得られたコードの候補の6つの数字を時間に置き換える。(黒の最小値が200usであるため。)例えば、1ピクセル分の時間がt=20μs/pxである場合、各数字の数値にt=20を乗算して、点灯時間及び消灯時間として算出する。
【0087】
次に、STEP8において、STEP7で得られた時間を分解能に対応する所定数(例えば、「50」)で割って送信数列にする。なお、この所定数は「50」以外の数とすることができるが、本発明者らが現在の送信数列の分解能を実験結果により確認した結果、50μsが最小値となることが判明したため、分解能として設定している。また、この分解能に対応する所定数は、カメラや撮像素子の性能によって相違する数値となる。
【0088】
次に、STEP9において、STEP8でのチェックデジットを計算する。即ち、送信コードの最終ビットに基づきチェックデジットを計算する。
【0089】
次に、STEP10で、チェックデジットが正しかったらテーブルから対応するコードをを探す。なお、このテーブルは、コードと数列との対応表である。
【0090】
STEP7及びSTEP10で、「NO」の場合、STEP12及びSTEP13の例外処理に移行する。
【0091】
なお、本発明では、コードとしては、ON時間(白)、OFF時間(黒)とし、白+黒をストライプと称している。また、白の間隔は一定に設定し(固定長とし)、黒の最小値は200μsに設定している。また、6ストライプで1つのコードを表す(先頭+コード部(4本)+チェックデジット(1本))ようにしている。更に、最初のストライプは、最小値(200us)としている。また、黒は600usを基準にして、
図16の表のように時間的なずらしを加えている。具体的には、コードを、50us区切りで16段階作成すると、OFF時間は200us(最小)及び1000us(最大)となる。また、データ部分の単位合計が「50」になるようにしている(明るさが一定になるようにしている)。これは、1つの数字あたりが16通りの場合、4つの数字の合計の組み合わせが一番多い場合が「50(2736通り)」となるためである。
【0092】
送信する数列は、送信時は5から20までの16種類である。また、5つの数字をセットにし(X1,X2,X3,X4,CD)、(X1+X2+X3+X4=50)になるものをコードとして採用している(全2736種類)。また、誤り検出のためにチェックデジット(CD)を計算している。CDの計算に関しては、便宜上、X1,X2,X3,X4を0から15として扱う(コードの値から5を引いたもの)。また、計算式は、CD=(X1-X2+16)%4+((X3-X4+16)%4)*4である。また、この計算式で得られるCDの分布は、
図17の表の左側部に示すとおりであり、更にCDの2進数表記を(d3,d2,d1,d0)とした時にd0が「0」になるようにしている。これにより、d3,d2=(0,1)又は(1,1)のときにd0を反転させることで、
図17の表の左側部に示すとおりとなる。
【0093】
[実施の形態2:カード型発光装置]
本発明の可視光通信システムは、
図18に示す実施の形態2の発光部としての発光装置として具体化することができる。詳細には、発光装置200は、シート状又はカード状の基体201の内部に、(上記発光制御手段に相当する)マイコンチップ202と、電源203と、光源としてのLED204とを実装し、マイコンチップ202からの発光制御によりLED204を上記した所定の態様で点滅発光制御する。また、LED204の表面側には拡散層がLED204を覆うように設けられ、LED204からの点滅光を拡散して放射するようになっている。
【0094】
[実施の形態3:電球型発光装置]
本発明の可視光通信システムは、
図19に示す実施の形態3の発光部としての発光装置として具体化することができる。詳細には、発光装置300は、通常の電球と同様の構成のソケット部301、電球部302及び発光部303を備え、電球部302及び発光部303の内部に、基板304を配設すると共に、基板304に、光源としてのLED305と、(上記発光制御手段に相当する)マイコンチップ306とを実装し、マイコンチップ306からの発光制御によりLED305を上記した所定の態様で点滅発光制御する。
【0095】
[実施の形態4:プロジェクタ型発光装置]
本発明の可視光通信システムは、
図20に示す実施の形態4の発光部としての発光装置として具体化することができる。詳細には、発光装置400は、通常のプロジェクタと同様の構成の基体401及びレンズ402を備え、基体401の内部に、(上記発光制御手段に相当する)マイコンチップ(図示略)を実装し、マイコンチップからの発光制御によりプロジェクタに内装した光源からの光を、上記した所定の態様で点滅発光制御する。また、発光装置400は、基体401の所定位置にスロット403を設け、所定形状(例えば、コイン型又はメダル型)の識別子提供装置410をスロット403に挿入することにより、識別子提供装置410に固有の識別子411を認識して、識別子411に応じた発光制御態様でレンズ402から前記点滅光セットに対応する点滅光を出力するようになっている。
【0096】
[実施の形態5:コイン型発光装置]
本発明の可視光通信システムは、
図21に示す実施の形態5の発光部としての発光装置として具体化することができる。詳細には、発光装置500は、コイン型の基体501の内部に、(上記発光制御手段に相当する)マイコンチップ502と、電源503と、光源としてのLED504とを実装し、マイコンチップ502からの発光制御によりLED504を上記した所定の態様で点滅発光制御する。また、マイコンチップ502の記憶部に、所定の通貨情報を格納しており、前記点滅光は、この通貨情報に対応したコード情報を提供するような点滅光セットとして出力される。
【0097】
[実施の形態6:鍵型発光装置]
本発明の可視光通信システムは、
図22に示す実施の形態6の発光部としての発光装置として具体化することができる。詳細には、発光装置600は、把持部601及び鍵部602を備え、把持部601の内部に、電源603と、(上記発光制御手段に相当する)マイコンチップ604とを実装すると共に、鍵部602の先端にLED606を実装し、マイコンチップ603からの発光制御によりLED606を、上記した所定の態様で点滅発光制御する。また、タブレットやスマートフォン等の携帯端末装置620のカメラレンズ部分に対応する位置には(3Dプリンタ等で製作した)嵌合部610が装着され、嵌合部610の鍵孔611に、発光装置600の鍵部602の先端を差し込んで嵌合することで、タブレット620がLED606からの点滅光パターンを認識して、その点滅光パターンに応じた動作を行うようになっている。
【0098】
[実施の形態7:ボール型発光装置]
本発明の可視光通信システムは、
図23に示す実施の形態7の発光部としての発光装置として具体化することができる。詳細には、発光装置700は、球状の基部701を備え、基部701の内部に、電源702と、(上記発光制御手段に相当する)マイコンチップ703と、LED705とを実装し、マイコンチップ703からの発光制御によりLED705を、上記した所定の態様で点滅発光制御する。また、基部701の内部には、図示はしないが、近距離無線通信装置が内蔵されている。更に、任意の位置に隠蔽状態で配置した発光装置700を、タブレットやスマートフォン等の携帯端末装置710が、そのGPS機能や近距離無線通信技術を使用して探索し、所定のアプリによりディスプレイ711に表示した探索画面720の探索領域721上に、探索した発光装置700の位置722を表示する。そして、探索された発光装置700のLED705から、その発光装置700に固有のパターンの点滅光セットを出力することで、携帯端末装置701がその点滅光セットに対応するコードを取得し、そのコードに応じた動作を実行する。
【符号の説明】
【0099】
10:発光部(発光側装置)
11:光源
20:発光部側制御ユニット(発光部側制御手段)
50:受光部(受光側装置)
60:カメラモジュール
80:CMOSイメージセンサ(撮像素子)
90:受光部側制御ユニット(受光部側制御手段)