IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社JVCケンウッドの特許一覧

<>
  • 特許-記憶装置、記憶方法、およびプログラム 図1A
  • 特許-記憶装置、記憶方法、およびプログラム 図1B
  • 特許-記憶装置、記憶方法、およびプログラム 図2
  • 特許-記憶装置、記憶方法、およびプログラム 図3
  • 特許-記憶装置、記憶方法、およびプログラム 図4
  • 特許-記憶装置、記憶方法、およびプログラム 図5
  • 特許-記憶装置、記憶方法、およびプログラム 図6
  • 特許-記憶装置、記憶方法、およびプログラム 図7A
  • 特許-記憶装置、記憶方法、およびプログラム 図7B
  • 特許-記憶装置、記憶方法、およびプログラム 図8A
  • 特許-記憶装置、記憶方法、およびプログラム 図8B
  • 特許-記憶装置、記憶方法、およびプログラム 図9
  • 特許-記憶装置、記憶方法、およびプログラム 図10
  • 特許-記憶装置、記憶方法、およびプログラム 図11
  • 特許-記憶装置、記憶方法、およびプログラム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-16
(45)【発行日】2024-07-24
(54)【発明の名称】記憶装置、記憶方法、およびプログラム
(51)【国際特許分類】
   G06F 21/62 20130101AFI20240717BHJP
   G06F 21/32 20130101ALI20240717BHJP
【FI】
G06F21/62 345
G06F21/32
【請求項の数】 5
(21)【出願番号】P 2020159527
(22)【出願日】2020-09-24
(65)【公開番号】P2022052972
(43)【公開日】2022-04-05
【審査請求日】2023-06-30
(73)【特許権者】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】諏訪 哲也
(72)【発明者】
【氏名】菅原 隆幸
【審査官】土谷 慎吾
(56)【参考文献】
【文献】特開2020-077237(JP,A)
【文献】特開2020-108112(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 21/62
G06F 21/32
(57)【特許請求の範囲】
【請求項1】
ユーザの生体情報を検出する生体センサと、
前記ユーザの周辺を撮影した画像を撮像部から取得する画像取得部と、
前記ユーザの周辺の画像のうち、前記ユーザの視線方向の画像に関する視線方向画像と、前記視線方向画像以外の画像に関する周辺画像とを分離する画像処理部と、
前記ユーザの生体情報に基づいて、前記視線方向画像を暗号化するための暗号鍵を生成し、前記暗号鍵を用いて前記視線方向画像を暗号化する暗号化部と、
前記暗号化部が暗号化した前記視線方向画像を記憶部に記憶する記憶制御部と、
を備える、記憶装置。
【請求項2】
前記周辺画像にプライバシー情報が含まれているか否かを判定する画像判定部と、
前記周辺画像にプライバシー情報が含まれている場合、前記プライバシー情報を判別不可に加工する画像加工部と、
をさらに備えた請求項1に記載の記憶装置。
【請求項3】
前記画像処理部は、前記視線方向画像と、前記周辺画像との時間を同期させ、
前記記憶制御部は、前記視線方向画像を前記記憶部に記憶し、前記周辺画像を、通信部を介して外部装置に記憶する、
請求項1または2に記載の記憶装置。
【請求項4】
ユーザの生体情報を検出するステップと、
前記ユーザの周辺を撮影した画像を撮像部から取得するステップと、
前記ユーザの周辺の画像のうち、前記ユーザの視線方向の画像に関する視線方向画像と、前記視線方向画像以外の画像に関する周辺画像とを分離するステップと、
前記ユーザの生体情報に基づいて、前記視線方向画像を暗号化するための暗号鍵を生成し、前記暗号鍵を用いて前記視線方向画像を暗号化するステップと、
暗号化した前記視線方向画像を記憶部に記憶するステップと、
を含む、記憶方法。
【請求項5】
ユーザの生体情報を検出するステップと、
前記ユーザの周辺を撮影した画像を撮像部から取得するステップと、
前記ユーザの周辺の画像のうち、前記ユーザの視線方向の画像に関する視線方向画像と、前記視線方向画像以外の画像に関する周辺画像とを分離するステップと、
前記ユーザの生体情報に基づいて、前記視線方向画像を暗号化するための暗号鍵を生成し、前記暗号鍵を用いて前記視線方向画像を暗号化するステップと、
暗号化した前記視線方向画像を記憶部に記憶するステップと、
をコンピュータに実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
ユーザに装着されるウェアラブルデバイスは、HMD(Head Mounted Display)タイプであったり、眼鏡タイプであったりと多種多様な形態で身に着けるものが出てきている。このようなウェアラブルデバイスには、ユーザの視線方向の動画像をカメラで撮影し、撮影した映像を記録する機能を有するものがある。
【0003】
例えば、特許文献1には、耳や頭に装着する撮像装置において、撮影者の見ている場所と、撮影している場所とを一致させる技術が記載されている。特許文献2には、デジタルで記録される画像データの盗み見や改ざんを防止する機能を備えた装置が記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2003-184351号公報
【文献】特開2000-341632号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、ユーザが装着したウェアラブルデバイスで撮像した画像のうち、ユーザの視線方向の画像は、ユーザのプライバシーと、対象のプライバシーの保護とを保護するために、容易にアクセスできないように適切に記憶する必要がある。
【0006】
本発明は、ユーザの視線方向の映像を適切に記憶することのできる記憶装置、記憶方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様に係る記憶装置は、ユーザの生体情報を検出する生体センサと、前記ユーザの周辺を撮影した画像を撮像部から取得する画像取得部と、前記ユーザの周辺の画像のうち、前記ユーザの視線方向の画像に関する視線方向画像と、前記視線方向画像以外の画像に関する周辺画像とを分離する画像処理部と、前記ユーザの生体情報に基づいて、前記視線方向画像を暗号化するための暗号鍵を生成し、前記暗号鍵を用いて前記視線方向画像を暗号化する暗号化部と、前記暗号化部が暗号化した前記視線方向画像を記憶部に記憶する記憶制御部と、を備える。
【0008】
本発明の一態様に係る記憶方法は、ユーザの生体情報を検出するステップと、前記ユーザの周辺を撮影した画像を撮像部から取得するステップと、前記ユーザの周辺の画像のうち、前記ユーザの視線方向の画像に関する視線方向画像と、前記視線方向画像以外の画像に関する周辺画像とを分離するステップと、前記ユーザの生体情報に基づいて、前記視線方向画像を暗号化するための暗号鍵を生成し、前記暗号鍵を用いて前記視線方向画像を暗号化するステップと、暗号化した前記視線方向画像を記憶部に記憶するステップと、を含む。
【0009】
本発明の一態様に係るプログラムは、ユーザの生体情報を検出するステップと、前記ユーザの周辺を撮影した画像を撮像部から取得するステップと、前記ユーザの周辺の画像のうち、前記ユーザの視線方向の画像に関する視線方向画像と、前記視線方向画像以外の画像に関する周辺画像とを分離するステップと、前記ユーザの生体情報に基づいて、前記視線方向画像を暗号化するための暗号鍵を生成し、前記暗号鍵を用いて前記視線方向画像を暗号化するステップと、暗号化した前記視線方向画像を記憶部に記憶するステップと、をコンピュータに実行させる。
【発明の効果】
【0010】
本発明によれば、ユーザの視線方向の映像を適切に記憶することができる。
【図面の簡単な説明】
【0011】
図1A図1Aは、第1実施形態に係る記憶装置の第1の例を示す模式図である。
図1B図1Bは、第1実施形態に係る記憶装置の第1の例を示す模式図である。
図2図2は、第1実施形態に係る記憶装置の第2の例を示す模式図である。
図3図3は、第1実施形態に係る記憶装置の構成例を示すブロック図である。
図4図4は、第1実施形態に係る記憶装置の処理の流れの一例を示すフローチャートである。
図5図5は、第2実施形態に係る記憶装置の処理の流れの一例を示すフローチャートである。
図6図6は、第3実施形態に係る記憶装置の構成例を示すブロック図である。
図7A図7Aは、ECBモードにおける暗号化を説明するための図である。
図7B図7Bは、ECBモードにおける復号化を説明するための図である。
図8A図8Aは、OFBモードにおける暗号化を説明するための図である。
図8B図8Bは、OFBモードにおける復号化を説明するための図である。
図9図9は、第3実施形態に係る記憶装置の処理の流れを示すフローチャートである。
図10図10は、記憶装置が所定距離以上移動したか否かを判定する方法を説明するための図である。
図11図11は、第4実施形態に係る記憶装置の構成例を示す図である。
図12図12は、第4実施形態に係る記憶装置の処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、添付図面を参照して、本発明に係る実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含む。また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【0013】
[第1実施形態]
図1Aと、図1Bとは、第1実施形態に係る記憶装置の第1の例を示す模式図である。図1Aは、ユーザUの正面を示し、図1Bは、ユーザUの後面を示す。図1Aおよび図1Bに示すように、記憶装置10は、ユーザUの体に装着されるウェアラブルデバイスである。図1Aおよび図1Bに示すように、記憶装置10は、ユーザUの目に装着される装置10Aと、装置10Aに設けられる装置10Bと、ユーザUの左耳に装着される装置10Cと、ユーザUの右耳に装着される装置10Cと、ユーザUの後頭部に装着される装置10Dと、を含む。装置10Aは、映像を表示する眼鏡型の表示部である。装置10Bは、ユーザUの視線方向の映像を撮影するカメラである。装置10Cは、ユーザUの左方向からの音声を収音するマイクである。装置10Cは、ユーザUの右方向からの音声を収音するマイクである。装置10Cと、装置10Cとは、バイノーラルマイクであり得る。装置10Dは、ユーザUの後方の映像を撮影するカメラである。
【0014】
図2は、第1実施形態に係る記憶装置の第2の例を示す模式図である。図2は、ユーザUの正面を示す。図2に示すように、記憶装置10は、ユーザUの目に装着される装置10Eと、装置10Dに設けられる装置10Bと、ユーザUの左耳に装着される装置10Cと、ユーザUの右耳に装着される装置10Cと、ユーザUの頭上に装着される装置10Fと、を含む。装置10Dは、映像を表示するゴーグル型の表示部であり、いわゆるHMDである。装置10Fは、ユーザUを中心に360度の画像を撮影する魚眼レンズ付きのカメラである。装置10Fは、いわゆる全天周カメラであり得る。
【0015】
[記憶装置]
図3を用いて、第1実施形態に係る記憶装置の構成例について説明する。図3は、第1実施形態に係る記憶装置の構成例を示すブロック図である。
【0016】
図3に示すように、記憶装置10は、マイク12と、カメラ14と、生体センサ16と、入力部18と、出力部20と、通信部22と、記憶部24と、制御部26と、を含む。
【0017】
マイク12は、記憶装置10(ユーザU)の周辺の音声(音波情報)を検出するマイクである。マイク12は、例えば、左マイク12Aと、右マイク12Bと、を含む。
【0018】
左マイク12Aは、例えば、ユーザUの左耳に装着される。左マイク12Aは、記憶装置10(ユーザU)の左方向の音声を検出する。右マイク12Bは、例えば、ユーザUの右耳に取り付けられる。右マイク12Bは、記憶装置10(ユーザU)の右方向の音声を検出する。左マイク12Aと、右マイク12Bとは、例えば、バイノーラルマイクであり得る。なお、マイク12が備えるマイクは、左マイク12Aと、右マイク12Bとに限定されない。記憶装置10において設けられるマイク12の位置、および数などは任意であってよい。例えば、マイク12と指向性を有する指向性マイクを用いることで、記憶装置10(ユーザU)を中心に前方、後方、左方、右方の音を多重化して記憶することができる。
【0019】
カメラ14は、撮像装置であり、記憶装置10(ユーザU)の周辺の可視光を検出することで、記憶装置10の周辺を撮像する。カメラ14は、所定のフレームレートごとに撮像するビデオカメラであってよい。カメラ14は、視線方向カメラ14Aと、周辺カメラ14Bと、を含む。
【0020】
視線方向カメラ14Aは、ユーザUの視線方向を撮像する。視線方向カメラ14Aは、例えば、出力部20の表示部20Aにおいて、ユーザUの視線方向を撮像可能に設けられる。視線方向カメラ14Aは、出力部20の表示部20A以外の場所に設けられてもよい。
【0021】
周辺カメラ14Bは、記憶装置10(ユーザU)の周辺において、ユーザUの視線方向以外の範囲を撮像する。周辺カメラ14Bは、例えば、ユーザUの後頭部に装着され、ユーザUの後方を撮像する。
【0022】
視線方向カメラ14Aと、周辺カメラ14Bとは、記憶装置10において設けられる位置、および数などは任意であってよい。視線方向カメラ14Aと、周辺カメラ14Bとは、一体に構成されてもよい。この場合、カメラ14は、ユーザUの頭上に装着される全天周カメラであり得る。全天周カメラは、記憶装置10(ユーザU)を中心に、360度の範囲を撮像する。カメラ14は、複数のカメラで構成され、複数のカメラによって、記憶装置10(ユーザU)を中心に、360度の範囲を撮像してもよい。カメラ14は、例えば、ジンバル機構などを有し、ジンバル機構により回転しながら記憶装置10(ユーザU)を中心に360度の範囲を撮像してもよい。
【0023】
生体センサ16は、ユーザUの生体情報を検出するセンサである。生体センサ16は、ユーザUの生体情報を検出可能であれば、任意の位置に設けられてよい。生体センサ16が取得する生体情報は、ユーザUの固有の普遍的な情報であり得る。本実施形態では、生体情報として、例えば、指紋、眼の虹彩模様、および指および手などの静脈形状などの個人を特定できる情報が挙げられるが、これらに限定されない。生体情報は、指紋などの情報と顔の特徴との情報の組み合わせでもよい。生体情報は、ユーザUの遺伝子情報であってもよい。生体センサ16は、例えば、指紋センサ、静脈センサ、カメラなどで実現される。
【0024】
入力部18は、記憶装置10に対する各種の操作を受け付ける。入力部18は、例えば、ボタン及びタッチパネルなどで実現される。
【0025】
出力部20は、各種の情報を出力する。出力部20は、例えば、表示部20Aと、音声出力部20Bとを備える。表示部20Aは、各種の映像を表示する。本実施形態では、表示部20Aは、例えば、眼鏡型のディスプレイまたはHMDなどである。音声出力部20Bは、各種の音声を出力する。音声出力部20Bは、スピーカである。
【0026】
通信部22は、他の外部装置と通信を実行する。通信部22は、例えば、Wi-Fi(登録商標)およびBluetooth(登録商標)などの通信モジュールで実現される。通信部22は、例えば、有線で他の外部装置と通信を実行する機能を有していいてもよい。
【0027】
記憶部24は、制御部26の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、RAM(Random Access Memory)と、ROM(Read Only Memory)のような主記憶装置と、HDD(Hard Disk Drive)などの外部記憶装置とのうち、少なくとも1つ含む。
【0028】
記憶部24には、学習モデル24Aと、生体情報24Bとが記憶されている。学習モデル24BA、画像に基づいて、画像に含まれる特定の対象を認識するために用いられるAIモデルである。学習モデル24Aは、例えば、CNN(Convolutional Neural Network)を用いた学習済みモデルであり得る。学習モデル24Aは、例えば、人物の顔、車のナンバープレート、住宅の表札などプライバシーに関するプライバシー情報を認識するために用いられる。学習モデル24Aは、例えば、著作権で保護された著作物を認識できるように学習されていてもよい。生体情報24Bは、例えば、例えば、ユーザUの指紋、眼の虹彩模様、および指および手などの静脈形状などを含む生体情報である。すなわち、生体情報24Bは、記憶装置10の使用を許可された人物の生体情報であり得る。
【0029】
制御部26は、記憶装置10の各部の動作を制御する。制御部26は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、図示しない記憶部に記憶されたプログラムがRAM等を作業領域として実行されることにより実現される。制御部26は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。制御部26は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。
【0030】
制御部26は、音声取得部30と、画像取得部32と、生体情報取得部34と、認証部36と、音声処理部38と、画像処理部40と、画像認識部42と、画像加工部44と、多重化部46と、暗号化部48と、記憶制御部50と、出力制御部52と、通信制御部54と、を備える。
【0031】
音声取得部30は、マイク12を制御して、記憶装置10(ユーザU)の周辺の音声を検出させる。音声取得部30は、マイク12が検出した音声を取得する。音声取得部30の処理の詳細は後述する。
【0032】
画像取得部32は、カメラ14を制御して、記憶装置10(ユーザU)の周辺を撮像させる。画像取得部32は、カメラ14が撮像した画像を取得する。画像取得部32の処理の詳細は後述する。
【0033】
生体情報取得部34は、生体センサ16を制御して、記憶装置10(ユーザU)の生体情報を検出させる。生体情報取得部34は、生体センサ16が検出した生体情報を取得する。生体情報取得部34の処理の詳細は後述する。
【0034】
認証部36は、ユーザUの認証を行う。認証部36は、生体情報取得部34が取得した生体情報に基づいて、ユーザUに記憶装置10に使用を許可するか否かの認証を行う。認証部36の処理の詳細は後述する。
【0035】
音声処理部38は、音声取得部30がマイク12から取得した音声に対して、各種の音声信号処理を行う。音声処理部38の処理の詳細は後述する。
【0036】
画像処理部40は、画像取得部32がカメラ14から取得した画像に対して、各種の画像処理を行う。画像処理部40の処理の詳細は後述する。
【0037】
画像認識部42は、画像取得部32が取得した画像から、特定の対象を認識する。画像認識部42の処理の詳細は後述する。
【0038】
画像加工部44は、画像取得部32が取得した画像に対して各種の加工処理を行う。画像加工部44は、画像認識部42が認識した特定の対象に対して、加工処理を行う。画像加工部44の処理は後述する。
【0039】
多重化部46は、音声取得部30が取得した音声と、画像取得部32が取得した音声とを多重化する。多重化の方法は任意であってよい。多重化部46の処理の詳細は後述する。
【0040】
暗号化部48は、多重化部46により多重化されたデータを暗号化する。暗号化部48は、所定の暗号方式と暗号鍵とを用いて、多重化部46により多重化されたデータを暗号化する。暗号化部48の処理の詳細は後述する。
【0041】
記憶制御部50は、各種の情報を記憶部24に記憶させる。記憶制御部50の処理の詳細は後述する。
【0042】
出力制御部52は、出力部20を制御して、各種の情報を出力させる。出力制御部52は、表示部20Aを制御して、各種の映像を表示させる。出力制御部52は、音声出力部20Bを制御して、各種の音声を出力させる。
【0043】
通信制御部54は、通信部22を制御する。通信制御部54は、通信部22を制御して、外部の装置と各種の情報の送受信を行う。
【0044】
[記憶装置の処理]
図4を用いて、第1実施形態に係る記憶装置の処理について説明する。図4は、第1実施形態に係る記憶装置の処理の流れの一例を示すフローチャートである。
【0045】
制御部26は、記憶装置10(ユーザU)の周辺の音声に関する音声情報を取得する(ステップS10)。具体的には、音声取得部30は、音声取得部30は、左マイク12Aが検出した記憶装置10(ユーザU)の左方向の音声を取得する。音声取得部30は、右マイク12Bが検出した記憶装置10(ユーザU)の右方向の音声を取得する。そして、ステップS12に進む。
【0046】
制御部26は、音声取得部30が取得した音声情報に対して音声圧縮処理を行う(ステップS12)。具体的には、音声処理部38は、例えば、音声取得部30が左マイク12Aから取得した音声と、右マイク12Bから取得した音声とに対して、音声圧縮信号処理を行いMP3形式などのステレオ信号を生成する。そして、ステップS14に進む。
【0047】
制御部26は、記憶装置10(ユーザU)の周辺の画像に関する画像情報を取得する(ステップS14)。具体的には、画像取得部32は、視線方向カメラ14Aが撮像したユーザUの視線方向の画像に関する視線方向画像を取得する。画像取得部32は、周辺カメラ14Bが撮像したユーザUの視線方向以外の周辺の画像に関する周辺画像を取得する。そして、ステップS16に進む。
【0048】
制御部26は、処理の対象となる画像は視線方向画像であるか否かを判定する(ステップS16)。具体的には、画像処理部40は、視線画像方向と、周辺方向画像とに対して独立に画像処理を行うために、画像取得部32が取得した画像を視線画像方向と、周辺方向画像とに分離する。視線方向画像であると判定された場合(ステップS16;Yes)、ステップS18に進む。周辺画像であると判定された場合(ステップS16;No)、ステップS32に進む。すなわち、本実施形態では、ステップS16でYesと判定された場合には視線画像方向に対する画像処理が行われ、ステップS16でNoと判定された場合には周辺画像に対する画像処理を行われる。
【0049】
ステップS16でYesと判定された場合、制御部26は、視線方向画像に対して、画像圧縮処理を行う(ステップS18)。具体的には、画像処理部40は、例えば、視線方向画像に対して、MPEG-4(Moving Picture Experts Group)やH.264などの任意の方式のコーデックで圧縮し、MP4形式などの任意のファイル形式に変換する。そして、ステップS20に進む。
【0050】
制御部26は、音声と画像とを多重化する(ステップS20)。具体的には、多重化部46は、ステップS18で圧縮処理された画像と、それに対応するステップS12で圧縮処理された音声とを多重化して1つの圧縮データを生成する。より具体的には、多重化部46は、画像と音声の圧縮データをそれぞれ所定の大きさにパッキングする。多重化部46は、例えば、90kHzまたは27MHzなどの図示しないカウンターの同期タイマー信号に基づいて、同時刻に再生すべきパックには同時刻のタイムスタンプをつけるMPEG多重化方式により多重化処理を行う。そして、ステップS22に進む。
【0051】
制御部26は、ユーザUの生体情報を取得する(ステップS22)。具体的には、生体情報取得部34は、生体センサ16からユーザUの指紋などの生体情報を取得する。そして、ステップS24に進む。
【0052】
制御部26は、ユーザUを認証するか否かを判定する(ステップS24)。具体的には、認証部36は、ステップS22で取得されたユーザUの生体情報と、記憶部24に記憶された生体情報24Bとを比較して一致する場合、ユーザUを認証すると判定する。ユーザUを認証すると判定された場合(ステップS24;Yes)、ステップS26に進む。ユーザUを認証しないと判定された場合(ステップS24;No)、ステップS42に進む。
【0053】
ステップS24でYesと判定された場合、制御部26は、暗号鍵を生成する(ステップS26)。具体的には、暗号化部48は、管理無しで本人認証ができるように、ユーザUの生体情報に基づいて、ユーザUの固有の暗号鍵を生成する。すなわち、本実施形態では、本人さえ自覚できない生体情報から暗号鍵を生成するため、鍵自体の情報を第三者によって盗まれることははい。そして、ステップS28に進む。
【0054】
制御部26は、圧縮データを暗号化する(ステップS28)。具体的には、暗号化部48は、ステップS20で多重化された圧縮データを、例えば、数倍と単位で暗号化する。暗号化には、DES(Data Encryption Standard)またはAES(Advanced Encryption Standard)と呼ばれる暗号方式を用いる。DESおよびAESは、共通鍵暗号方式によるデータ暗号化のアルゴリズムである。DESは、64bit単位にデータを区切り、それをまとめて暗号化するブロック暗号である。DESは、鍵長が56bitであり、パリティチャック用の8bitを加えて64bitとして扱う。AESは、共通鍵暗号方式である点はDESで同じである。AESの鍵長は、128bit、192bit、および252bitから選択可能であり、DESの鍵長よりも長い。そのため、AESの方が、DESよりも安全性が高い。本実施形態では、暗号化部48は、256bitのAESを用いて、圧縮データを暗号化する。そして、ステップS30に進む。
【0055】
制御部26は、暗号化された圧縮データを記憶する(ステップS30)。具体的には、記憶制御部50は、ステップS28で暗号化された圧縮データを記憶部24に記憶する。そして、ステップS42に進む。
【0056】
ステップS16でNoと判定された場合、制御部26は、周辺画像に含まれる特定の対象を認識する(ステップS32)。具体的には、画像認識部42は、学習モデル24Aを用いて、周辺画像に含まれる、人の顔、車のナンバープレート、住宅の表札などのプライバシーに関するプライバシー情報を認識する。画像認識部42は、その他のプライバシー情報を認識してもよい。ステップS32では、画像認識部42は、例えば、学習モデル24Aを用いて、周辺画像に含まれる著作物に関する著作権情報を認識してもよい。そして、ステップS34に進む。
【0057】
制御部26は、認識された特定の対象に対して加工処理を行う(ステップS34)。具体的には、画像加工部44は、周辺画像から認識されたプライバシー情報を認識不可に加工を行う。画像加工部44は、例えば、プライバシー情報が含まれている領域に対して、プライバシー情報が特定できない程度に識別性を低減させる画像処理を施す。識別性を低減させる画像処理は、例えば、モザイク処理である。モザイク処理は、所定の画像領域をその平均値のデータに置き換える処理である。画像加工部44は、例えば、ガウシアンフィルタやメディアンフィルタを含む各種のフィルタ処理をプライバシー情報が含まれている領域に対して施してもよい。画像加工部44は、例えば、プライバー情報が含まれている領域に対して、色調変更処理、明るさ変更処理など、対象の改造道や特定の色相変化を伴う変換を行ってもよい。画像加工部44は、例えば、ぼかし処理、ポイントクラウド化、および一部分を削除するような処理を行ってもよい。そして、ステップS36に進む。
【0058】
制御部26は、加工処理後の周辺画像に対して、画像圧縮処理を行う(ステップS36)。具体的には、画像処理部40は、例えば、加工後の周辺画像に対して、やH.264などの任意の方式のコーデックで圧縮し、MP4形式などの任意のファイル形式に変換する。そして、ステップS38に進む。
【0059】
制御部26は、音声と画像とを多重化する(ステップS38)。具体的には、多重化部46は、ステップS36で圧縮処理された画像と、それに対応するステップS12で圧縮処理された音声とを多重化して1つの圧縮データを生成する。より具体的には、多重化部46は、画像と音声の圧縮データをそれぞれ所定の大きさにパッキングする。多重化部46は、例えば、90kHzまたは27MHzなどの図示しないカウンターの同期タイマー信号に基づいて、同時刻に再生すべきパックには同時刻のタイムスタンプをつけるMPEG多重化方式により多重化処理を行う。そして、ステップS40に進む。
【0060】
制御部26は、暗号化された圧縮データを記憶する(ステップS40)。具体的には、記憶制御部50は、ステップS38で圧縮された圧縮データを記憶部24に記憶する。そして、ステップS42に進む。
【0061】
制御部26は、処理を終了するか否かを判定する(ステップS42)。具体的には、制御部26は、処理を終了する旨の操作を受け付けた場合や、電源をオフする操作を受け付けた場合に、処理を終了すると判定する。処理を終了すると判定された場合(ステップS42;Yes)、図4の処理を終了する。処理を終了しないと判定された場合(ステップS42;No)、ステップS10に進む。
【0062】
上述のとおり、第1実施形態は、ユーザUの視線方向の画像は、ユーザUの生体情報に基づいて生成された暗号鍵を用いて、記憶装置10の内部の記憶部24に記憶される。これにより、第1実施形態は、ユーザUの注目した事実を含むプライバシー情報、およびユーザUの視線方向の対象も暗号化されて記憶されるので、双方のプライバシーを保護しつつ適切に画像を記憶することができる。
【0063】
また、第1実施形態は、ユーザUの周辺画像については、周辺画像に含まれるプライバシー情報を認識し、プライバシー情報に対して画像処理を施して、周辺画像に含まれるプライバシー情報を判別不可に記憶装置10の内部の記憶部24に記憶される。これにより、第1実施形態は、ユーザUの周辺画像を自分の行動履歴として記憶するともに、周辺画像に含まれるプライバシー情報を保護しつつ適切に画像を記憶することができる。
【0064】
また、第1実施形態は、ユーザUの視線方向の画像のみを暗号化しているため、記憶処理におけるバッファメモリの増加および記憶処理の遅延が発生してしまうことを抑制できる。これにより、第1実施形態は、プライバシー情報を保護しつつ、記憶された視線方向画像および周辺画像を高速で再生することが可能となる。
【0065】
[第2実施形態]
次に第2実施形態について説明する。第2実施形態に係る記憶装置の構成は、図3に示す記憶装置10と同一の構成なので、説明を省略する。
【0066】
第2実施形態に係る記憶装置10は、ユーザUの視線方向の画像と、周辺画像との時間を同期させる点で、第1実施形態とは異なる。また、第2実施形態は、周辺画像を記憶装置10とは異なる外部の装置に記憶する点で、第1実施形態とは異なる。
【0067】
[記憶装置の処理]
図5を用いて、第2実施形態に係る記憶装置の処理について説明する。図5は、第2実施形態に係る記憶装置の処理の流れの一例を示すフローチャートである。
【0068】
ステップS50からステップS54の処理は、それぞれ、図4に示すステップS10からステップS14の処理と同一なので、説明を省略する。
【0069】
制御部26は、視線方向画像と、周辺画像との時間を同期させる(ステップS56)。具体的には、画像取得部32は、視線方向画像と、周辺画像とのについて、タイムスタンプを付加することにより、同一時間に撮影された視線方向画像と、周辺画像とを判別可能にする。そして、ステップS58に進む。
【0070】
ステップS58からステップS80の処理は、それぞれ、図4に示すステップS16からステップS38の処理と同一なので、説明を省略する。
【0071】
制御部26は、暗号化された圧縮データを外部装置に記憶する(ステップS82)。具体的には、記憶制御部50は、ステップS80で圧縮された圧縮データを、通信部22を介して、記憶装置10とは異なる外部装置に記憶する。そして、ステップS84に進む。
【0072】
ステップS84の処理は、図4に示すステップS42の処理と同一なので、説明を省略する。
【0073】
上述のとおり、第2実施形態は、視線方向画像と、周辺方向画像とにタイムスタンプを付加してそれぞれの画像を記憶する。これにより、第2実施形態は、視線方向画像と、周辺方向画像との対応関係が明確になるので、より適切に画像を記憶することができる。
【0074】
また、第2実施形態は、周辺画像を記憶装置10とは異なる外部の装置に記憶する。これにより、第2実施形態は、周辺画像のセキュリティがより強固となるので、より適切に画像を記憶することができる。
【0075】
[第3実施形態]
次に、第3実施形態について説明する。第3実施形態は、ユーザUが場所を移動しながら画像を撮像して時系列で記憶する記憶装置において、所定距離を移動するごとに、ブロック暗号の暗号化チェーンをリセットする処理を実行する。
【0076】
図6を用いて、第3実施形態に係る記憶装置の構成について説明する。図6は、第3実施形態に係る記憶装置の構成例を示すブロック図である。
【0077】
図6に示すように、記憶装置10aは、記憶部24aが地図情報24Cを記憶している点で、図3に図示の記憶装置10とは異なる。記憶装置10aは、GNSS(Global Navigation Satellite System)受信部28を備える点で、図3に図示の記憶装置10とは異なる。記憶装置10aは、制御部26aが位置情報取得部56を備える点で、図3に図示の記憶装置10とは異なる。なお、記憶部24aが地図情報24Cを記憶しているとしたがこれに限定されない。記憶部24aは、通信部22を介して、地図情報24Cを取得し、これを記憶すればよい。つまり、記憶部24aは、地図情報24Cを予め記憶しなくてもよく、必要に応じて地図情報24Cを記憶すればよい。
【0078】
GNSS受信部28は、記憶装置10a(ユーザU)の位置情報を検出する装置である。ここでの位置情報とは、地球座標である。本実施形態では、GNSS受信部28は、いわゆるGNSSモジュールであり、衛星からの電波を受信して、記憶装置10aの位置情報を検出する。
【0079】
地図情報24Cは、実在の建造部や自然物などの位置情報を含んだデータであり、地球座標と実在の建造物および自然物などの位置情報を含んだデータといえる。
【0080】
位置情報取得部56は、GNSS受信部28から位置情報を取得する。位置情報取得部56は、GNSS受信部28が取得した位置情報と、地図情報30Bとに基づいて、記憶装置10a(ユーザ)Uが所定のエリア内に位置しているか否かを判定する。本実施形態では、位置情報の精度は、100m程度以内であることが好ましい。
【0081】
第2実施形態では、暗号化部48aは、ユーザの周辺を撮影した画像をブロック暗号で暗号化する。ブロック暗号は、画像を所定のブロックに分割し暗号化を行う手法であり、このブロック暗号には、暗号処理以外のブロックデータの取り扱いルールとして2つの方式がある。1つは、ECB(Electric CodeBook)モードであり、もう1つはOFB(Output FeedBack)モードである。本実施形態では、OFBモードを用いる。
【0082】
OFBモードを説明する前に、図7Aと、図7Bとを用いて、ECBモードについて説明する。図7Aは、ECBモードにおける暗号化を説明するための図である。図7Bは、ECBモードにおける復号化を説明するための図である。
【0083】
図7Aに示すように、ECBモードでは、平文ブロックデータ100を所定の暗号鍵を用いて暗号化することにより、暗号文ブロックデータ102を得ることができる。暗号文ブロックデータ102を復号化する際には、図7Bに示すように、暗号文ブロックデータ102に対して、平文ブロックデータ100を暗号化する際に用いた暗号鍵と同じ暗号鍵を用いて復号化することにより、平文ブロックデータ100を得ることができる。ECBモードでは、平文ブロックデータ100が同じデータであれば同じ結果が得られる。ECBモードは、全てのブロックデータに対して同じ暗号化を適用するため、シンプルでわかりやすく、かつ実装が簡単であり高速であるので、暗号データのどのブロックデータに対してもランダムアクセスして復号を開始することができる。しかしながら、ECBモードは、平文ブロックデータ100と、暗号文ブロックデータ102を比較することで第三者からパターンが解析され、暗号文を不正に復号されやすく、データをブロックデータ単位で入れ替えをされると改善ができてしまうというデメリットもある。
【0084】
図8Aと、図8Bとを用いて、OFBモードについて説明する。図8Aは、OFBモードにおける暗号化を説明するための図である。図8Bは、OFBモードにおける復号化を説明するための図である。
【0085】
図8Aを用いて、第1平文ブロックデータ120と、第2平文ブロックデータ122と、第3平文ブロックデータ124の3つの平文ブロックデータを暗号化する方法について説明する。図8Aに示すように、OFBモードでは、初期ベクトル110を所定の暗号鍵で暗号化することにより、第1暗号化ベクトル112を生成する。第1平文ブロックデータ120と、第1暗号化ベクトル112の排他的論理和を演算することにより、第1暗号文ブロックデータ130が得られる。OFBモードでは、第2平文ブロックデータ122を暗号化するために、第1暗号化ベクトル112を所定の暗号鍵でさらに暗号化し、第2暗号化ベクトル114を生成する。第2平文ブロックデータ122と、第2暗号化ベクトル114の排他的論理和を演算することにより、第2暗号文ブロックデータ132が得られる。OFBモードでは、第3平文ブロックデータ124を暗号化するために、第2暗号化ベクトル114を所定の暗号鍵でさらに暗号化し、第3暗号化ベクトル116を生成する。第3平文ブロックデータ124と、第3暗号化ベクトル116との排他的論理和を演算することにより、第3暗号文ブロックデータ134が得られる。初期ベクトル110と、第1暗号化ベクトル112と、第2暗号化ベクトル114と、第3暗号化ベクトル116とは、鍵ストリームと呼ばれる。初期ベクトル110と、第1暗号化ベクトル112と、第2暗号化ベクトル114と、第3暗号化ベクトル116とは、暗号化チェーンとも呼ばれる。
【0086】
図8Bを用いて、第1暗号文ブロックデータ130と、第2暗号文ブロックデータ132と、第3暗号文ブロックデータ134の3つの暗号文ブロックデータを復号化する方法について説明する。図8Bに示すように、OFBモードでは、初期ベクトル110を所定の暗号鍵で暗号化することにより、第1暗号化ベクトル112を生成する。第1暗号文ブロックデータ130と、第1暗号化ベクトル112の排他的論理和を演算することにより、第1平文ブロックデータ120が得られる。OFBモードでは、第2暗号文ブロックデータ132を復号化するために、第1暗号化ベクトル112を所定の暗号鍵でさらに暗号化し、第2暗号化ベクトル114を生成する。第2暗号文ブロックデータ132と、第2暗号化ベクトル114の排他的論理和を演算することにより、第2平文ブロックデータ122が得られる。OFBモードでは、第3暗号文ブロックデータ134を暗号化するために、第2暗号化ベクトル114を所定の暗号鍵でさらに暗号化し、第3暗号化ベクトル116を生成する。第3暗号文ブロックデータ134と、第3暗号化ベクトル116との排他的論理和を演算することにより、第3平文ブロックデータ124が得られる。初期ベクトル110と、第1暗号化ベクトル112と、第2暗号化ベクトル114と、第3暗号化ベクトル116とは、鍵ストリームと呼ばれる。初期ベクトル110と、第1暗号化ベクトル112と、第2暗号化ベクトル114と、第3暗号化ベクトル116とは、暗号化チェーンとも呼ばれる。
【0087】
[記憶装置の処理]
図9を用いて、第3実施形態に係る記憶装置の処理について説明する。図9は、第3実施形態に係る記憶装置の処理の流れを示すフローチャートである。
【0088】
制御部26aは、記憶装置10a(ユーザU)の現在の位置情報を取得する(ステップS90)。具体的には、位置情報取得部56は、GNSS受信部28が取得した位置情報と、地図情報30Bとに基づいて、記憶装置10a(ユーザU)の現在の位置情報を取得する。そして、ステップS92に進む。
【0089】
ステップS92からステップS100の処理は、それぞれ、図4に示すステップS10からステップS18の処理と同一なので、説明を省略する。
【0090】
制御部26aは、音声と画像とを多重化する(ステップS102)。具体的には、多重化部46aは、ステップS18で圧縮処理された画像と、それに対応するステップS12で圧縮処理された音声とを多重化し。かつステップS90で取得した位置情報を付加して1つの圧縮データを生成する。より具体的には、多重化部46aは、位置情報が対応付けられた画像と音声の圧縮データをそれぞれ所定の大きさにパッキングする。多重化部46aは、例えば、90kHzまたは27MHzなどの図示しないカウンターの同期タイマー信号に基づいて、同時刻に再生すべきパックには同時刻のタイムスタンプをつけるMPEG多重化方式により多重化処理を行う。そして、ステップS104に進む。
【0091】
ステップS104と、ステップS106との処理は、図4に示すステップS22と、ステップS24との処理と同一の処理なので、説明を省略する。
【0092】
ステップS106でYesと判定された場合、制御部26aは、暗号鍵を生成する(ステップS108)。具体的には、暗号化部48aは、予め用意された初期ベクトルに基づいて、暗号化チェーンに含まれる各暗号化ブロックの暗号鍵の鍵ストリームを生成する。そして、ステップS110に進む。
【0093】
制御部26aは、圧縮データを暗号化する(ステップS110)。具体的には、暗号化部48aは、ステップS106で生成された鍵ストリームを用いて、圧縮データと、鍵ストリームとの排他的論理を演算することで、複数の暗号化ブロックデータが連なる暗号化チェーンにより圧縮データを暗号化する。そして、ステップS112に進む。
【0094】
ステップS112の処理は、図3に示すステップS30の処理と同一なので、説明を省略する。
【0095】
制御部26aは、所定距離以上移動したか否かを判定する(ステップS114)。具体的には、位置情報取得部56は、GNSS受信部28が取得した位置情報と、地図情報24Cとに基づいて、記憶装置10a(ユーザU)が所定距離以上移動した否かを判定する。
【0096】
図10は、記憶装置10a(ユーザU)が所定距離以上移動したか否かを判定する方法を説明するための図である。図10は、記憶装置10a(ユーザU)の地図上の軌跡を示している。記憶装置10aは、地点P1から地点P5まで移動するとする。記憶装置10aは、ユーザUが地点P1から地点P5までの間の観光地を巡っている間、ユーザUの視線方向の画像を撮像し、撮像した画像を暗号化して記憶している。
【0097】
位置情報取得部56は、記憶装置10a(ユーザU)が地点P1から地点P5に移動するまでの間、記憶装置10a(ユーザU)の位置情報を取得する。この場合、例えば、地図情報24Cは、エリアA1と、エリアA2と、エリアA3と、エリアA4と、エリアA5とのエリア情報を有する。言い換えれば、地図情報24Cには、エリアA1からエリアA5が予め対応付けられている。位置情報取得部56は、GNSS受信部28が取得した位置情報と、地図情報24Cとに基づいて、記憶装置10a(ユーザU)がどのエリアに位置しているか判定することができる。
【0098】
位置情報取得部56は、例えば、記憶装置10a(ユーザU)がエリア間を移動したか否かを判定する。位置情報取得部56は、例えば、記憶装置10a(ユーザU)がエリアA1の地点P1からエリアA2の地点P2に移動したか否かを判定する。位置情報取得部56は、例えば、記憶装置10a(ユーザU)がエリアA2の地点P2からエリアA3の地点P3に移動したか否かを判定する。位置情報取得部56は、例えば、記憶装置10a(ユーザU)がエリアA3の地点P3からエリアA4の地点P4に移動したか否かを判定する。位置情報取得部56は、例えば、記憶装置10a(ユーザU)がエリアA4の地点P4からエリアA5の地点P5に移動したか否かを判定する。本実施形態では、位置情報取得部56は、例えば、記憶装置10a(ユーザU)がエリアを移動した場合に、記憶装置10a(ユーザU)が所定距離以上移動したと判定する。
【0099】
記憶装置10a(ユーザU)が所定距離以上移動したと判定された場合(ステップS114;Yes)、ステップS116に進む。記憶装置10a(ユーザU)が所定距離以上移動していないと判定された場合(ステップS114;No)、ステップS128に進む。
【0100】
ステップS114でYesと判定された場合、制御部26aは、暗号化チェーンをリセットする(ステップS116)。具体的には、暗号化部48aは、暗号鍵を生成するための初期ベクトルの値を所定のルールに従ってリセットする。すなわち、本実施形態では、例えば、記憶装置10a(ユーザU)がエリアを移動するごとに、初期ベクトルをリセットし、エリアごとに暗号化された画像がそれぞれ独立に記憶装置10aに記憶される。そして、ステップS128に進む。
【0101】
ステップS118からステップS128の処理は、それぞれ、図4に示すステップS32からステップS42の処理と同一なので、説明を省略する。
【0102】
上述のとおり、第3実施形態は、記憶装置10a(ユーザU)が所定距離以上移動した場合に、暗号鍵を生成するための初期ベクトルをリセットする。これにより、第3実施形態は、セキュリティが向上し、より適切に画像を記憶することができる。
【0103】
また、第3実施形態は、所定の距離ごと、例えば、エリアごとの画像がそれぞれ独立に記憶される。これにより、第3実施形態は、特定のエリアの画像を再生する際に、画像の全てを復号化する必要がなくなるため、特定のエリアの画像を再生することができる。
【0104】
[第4実施形態]
次に第4実施形態について説明する。図11は、第4実施形態に係る記憶装置の構成例を示すブロック図である。第4実施形態に係る記憶装置10bは、制御部26bの暗号化部48bの機能が、図6に図示の記憶装置10aと異なる。
【0105】
第4実施形態では、暗号化部48bは、位置情報取得部56により記憶装置10b(ユーザU)が所定距離以上移動したと判定された場合、初期ベクトルをリセットし、移動後の位置情報に基づいて、初期ベクトルおよび暗号鍵を生成する。
【0106】
[記憶装置の処理]
図12を用いて、第4実施形態に係る記憶装置の処理について説明する。図12は、第4実施形態に係る記憶装置の処理の流れの一例を示すフローチャートである。
【0107】
ステップS130からステップS156の処理は、それぞれ、図9に図示のステップS90からステップS116の処理と同一なので説明を省略する。
【0108】
制御部26bは、記憶装置10b(ユーザU)の現在の位置情報に基づいて、暗号鍵を生成する(ステップS158)。具体的には、本実施形態では、AES暗号化方式を用いて、ブロック暗号のサイズを128bit、暗号鍵のサイズを256bit、初期ベクトルの128bitである。暗号化部48bは、暗号化の解読を困難にするために、初期ベクトルをランダムな数値で生成することが好ましい。本実施形態では、暗号化部48bは、現在の位置情報に基づいて、初期ベクトルの数値を生成する。例えば、暗号化部48bは、現在位置の緯度および経度に基づいて、初期ベクトルを生成し得る。暗号化部48bは、暗号鍵についても、記憶装置10b(ユーザU)の現在の位置情報に基づいて、生成してもよい。暗号化部48bは、記憶装置10b(ユーザU)の現在の位置情報と、ユーザUの生体情報とに基づいて、暗号鍵を生成してもよい。暗号化部48bは、暗号化するメッセージごとに異なる数値で初期ベクトルを生成することが好ましい。そして、ステップS170に進む。
【0109】
ステップS160からステップS170の処理は、それぞれ、図9に示すステップS118からステップS128の処理と同一なので、説明を省略する。
【0110】
上述のとおり、第4実施形態では、記憶装置10b(ユーザU)の現在の位置情報に基づいて、初期ベクトルおよび暗号鍵を生成する。これにより、第4実施形態は、初期ベクトルと暗号鍵との生成するためのアルゴリズムをより複雑にすることができるので、安全性をより向上させることができる。
【0111】
また、第4実施形態は、所定の距離ごと、例えば、エリアごとの画像がそれぞれ独立に記憶される。また、第4実施形態では、特定のエリアごとの画像を、そのエリアの位置情報に応じて生成された初期ベクトルと、暗号鍵とを用いた暗号化できるので、初期ベクトルと、暗号鍵とのパターンをより多く生成することができる。これにより、第4実施形態は、安全性をより向上させることができる。
【0112】
以上、本発明の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
【符号の説明】
【0113】
10,10a,10b 記憶装置
12 マイク
12A 左マイク
12B 右マイク
14 カメラ
14A 視線方向カメラ
14B 周辺カメラ
16 生体センサ
18 入力部
20 出力部
20A 表示部
20B 音声出力部
22 通信部
24 記憶部
24A 学習モデル
24B 生体情報
24C 地図情報
26,26a,26b 制御部
28 GNSS受信部
30 音声取得部
32 画像取得部
34 生体情報取得部
36 認証部
38 音声処理部
40 画像処理部
42 画像認識部
44 画像加工部
46,46a 多重化部
48,48a,48b 暗号化部
50 記憶制御部
52 出力制御部
54 通信制御部
56 位置情報取得部
図1A
図1B
図2
図3
図4
図5
図6
図7A
図7B
図8A
図8B
図9
図10
図11
図12