(58)【調査した分野】(Int.Cl.,DB名)
上記メタデータ更新部は、上記メタデータ作成部が作成した上記メタデータと上記データ記述言語との関係を記述したデータベースを利用して上記データ記述言語による上記新たなメタデータを作成する
ことを特徴とする請求項1−4のいずれか1項に記載の撮影機器。
上記メタデータ更新部は、顔判定、文字判定、シーン判定及び動き判定のうちの少なくとも1つの判定結果によって、上記メタデータ作成部が作成した上記メタデータ以外のメタデータを上記データ記述言語によって作成する
ことを特徴とする請求項6に記載の撮影機器。
【発明を実施するための最良の形態】
【0016】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【0017】
(第1の実施の形態)
図1は本発明の第1の実施の形態に係る撮影機器の回路構成を示すブロック図である。本実施の形態においては、画像の記録時には、例えばExif形式等のバイナリ形式、タグ形式のメタデータ記録を行う。ここでは、1枚の撮像画像に基づく画像ファイルは、撮像画像の画像データ及びメタデータにより構成されるものである。
【0018】
図2は本実施の形態において採用される画像ファイルのフォーマットを説明するための説明図である。
図2(a)は、記録時の画像フォーマットを示しており、画像ファイルは、画像データPと補助データ(メタデータ)Mrとにより構成される。メタデータは、コンテンツ(ここでは画像)以外のデータであって、ユーザやアプリケーションがより効率的にコンテンツを扱うことを可能にするためのものであり、例えば、画像の大きさの情報や、作成者や作成日等のプロパティ情報を含んでもよい。
【0019】
図2(a)の例では、メタデータMrは1つのAPPセグメントSG1を有し、APPセグメントSG1には、データ列の識別情報とデータ列とが含まれる。データ列としてはバイナリ形式のデータが採用され、識別情報にはデータ列がバイナリ形式のデータであることを示す情報が記述される。
【0020】
バイナリ形式のデータ列は、規格データ列とメーカノートとを含んでいる。規格データ列としては、撮影情報等の規格化された情報、例えば、露出時間、絞り値、露出プログラム、ISO感度、撮影日時の情報等を含む。メーカノートは、規格データ列には含まれない種々の情報を含むことができる。例えば、メーカノートには、撮影された人物の顔の特徴量の情報、顔の認識結果、顔認識結果によって得られた名前等の任意の情報を記述することができる。
【0021】
本実施の形態においては、画像ファイルの送信時には、バイナリ形式のデータを、多くの機器やユーザーが利用しやすい言語に変換して送信する。例えば、バイナリ形式のデータ列を、インターネット上で様々なデータを扱う場合に特に利点を発揮する言語であるデータ記述言語(テキスト記述言語)に変更するようになっている。例えば、本実施の形態においては、データ記述言語として、テキストで記述されるXMP形式のデータ、例えば、XML形式のデータを採用する。
【0022】
図2(b)はこのような画像通信時の画像フォーマットを示しており、画像ファイルは、画像データPとメタデータMsとにより構成される。メタデータMsは2つのAPPセグメントSG1,SG2を有し、APPセグメントSG1の内容は、記録時のAPPセグメントSG1と同様である。本実施の形態においては、APPセグメントSG2には、APPセグメントSG1のデータ列の情報をデータ記述言語に変更したデータ記述言語データ列を含む。データ列の識別情報には、データ記述言語データ列がデータ記述言語により記述されていることを示す情報が含まれる。
【0023】
また、処理速度の制約から、撮影時に、全てのメーカノートを確実に構築することができるとは限らない。例えばメーカノートとして記録すべき顔認識結果等を撮影時に取得することができないことも考えられる。この場合には、このようなデータについては、画像ファイルの送信時に、データ記述言語により追加記述してもよい。なお、画像ファイルの送信時に追加した情報を、バイナリ形式のデータ列に挿入してもよく、また、データ記述言語の作成後に、バイナリ形式のデータ列については削除してもよい。
【0024】
図1において、撮影機器10は、CCDやCMOSセンサ等の撮像素子によって構成された撮像部12を有している。撮像部12は、撮影機器10の前面に設けられた被写体像を取り込むレンズ12aと、レンズ12aからの被写体像を光電変換して撮影画像信号を得る撮像素子12bによって構成される。
【0025】
撮像部12は、信号処理及び制御部11によって駆動制御されて、レンズ12aを介して被写体を撮影し、撮影画像を出力する。信号処理及び制御部11は、撮像素子12bの駆動信号を撮像部12に出力すると共に、撮像部12からの撮影画像を読み出す。信号処理及び制御部11は、読み出した撮影画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。
【0026】
撮影機器10には、時計部13及び操作判定部14も配設されている。時計部13は信号処理及び制御部11が用いる時間情報を発生する。操作判定部14は、撮影機器10に設けられた図示しないレリーズボタン、ファンクションボタン、撮影モード設定等の各種スイッチ等を含む操作部に対するユーザ操作に基づく操作信号を発生して、信号処理及び制御部11に出力するようになっている。信号処理及び制御部11は、操作信号に基づいて、各部を制御する。
【0027】
また、信号処理及び制御部11の表示制御部11aは表示に関する各種処理を実行する。表示制御部11aは、信号処理後の撮影画像を表示部16及び接眼表示部18に与えることができる。表示部16及び接眼表示部18は、夫々LCD等の表示画面を有しており、表示制御部11aから与えられた画像を表示する。また、表示制御部11aは、各種メニュー表示等をこれらの表示画面に表示させることもできるようになっている。
【0028】
また、撮影機器10にはタッチパネル17が設けられている。例えば、タッチパネル17を表示部16の表示画面上に設けることで、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。これにより、ユーザは、表示部16の表示画面上に表示された画像に対する選択操作等を簡単に行うことができる。
【0029】
なお、表示部16は、撮影機器10の例えば背面の略全域を占めるように配設されており(
図3参照)、撮影者は、撮影時に表示部16の表示画面上に表示されたスルー画を確認することができ、スルー画を確認しながら撮影操作を行うことができる。
【0030】
また、撮影機器10には接眼センサ21も設けられている。接眼センサ21は、例えば網膜センサ等によって構成され、撮影者の網膜認識が可能である。なお、接眼センサ21は、撮影者の画像認識によって撮影者を認識するセンサであってもよい。
【0031】
信号処理及び制御部11は、信号処理後の撮影画像を圧縮処理し、圧縮後の画像を記録再生部15に与えて記録させることができる。記録再生部15としては、例えばカードインターフェースを採用することができ、記録再生部15はメモリカード等の記録媒体に画像情報及び音声情報等を記録すると共に、記録媒体に記録されている画像及び音声情報を読み出して再生することもできるようになっている。
【0032】
信号処理及び制御部11は、各部を制御することで、ユーザ操作に基づく撮影モードを設定して、各撮影モードに応じた撮影機能を実現する。例えば、信号処理及び制御部11は、操作判定部14等から画像ファイルの送信モード(ネットワーク共有モード)を指示するための操作信号が入力されると、送信モードを設定することができるようになっている。
【0033】
信号処理及び制御部11のメタデータ作成部11eは、撮像部12からの撮像画像の撮影に際して、メタデータを作成する。撮像画像の撮影時には、メタデータ作成部11eは、
図2(a)に示すように、バイナリ形式のメタデータMrを作成するようになっている。信号処理及び制御部11は、撮像画像の記録に際して、画像データP及びメタデータMrによって構成される画像ファイルを作成して、記録再生部15に与えて記録させるようになっている。
【0034】
撮影機器10には、通信部19が設けられている。通信部19は、送信制御部11gに制御されて、図示しない外部機器との間で通信を行って、情報を送受することができるようになっている。なお、通信部19としては、種々の伝送路を採用することができ、例えば、LAN等の有線ケーブルを採用した有線伝送路、無線LAN、ブルートゥース(登録商標)、WiMAXや電話回線網等を採用した無線伝送路等を用いることができる。
【0035】
本実施の形態においては、通信部19を利用して外部機器との間で通信を行う送信モードが指定されると、信号処理及び制御部11の送信制御部11gは、メタデータ更新部11fを制御して、記録再生部15から指定された画像ファイルに含まれるメタデータMrを読み出させて、バイナリ形式データからデータ記述言語に変換した新たなメタデータMsを生成させる。送信制御部11gは、変更したメタデータを記録再生部15に与えて画像ファイルを更新すると共に、データ記述言語に変換したメタデータを含む画像ファイルを、通信部19に与えて所定の送信先に送信させる。なお、この場合には、通信部19は、メタデータとして、データ記述言語で記述されたAPPセグメントSG2のみを送信してもよく、バイナリ形式のAPPセグメントSG1及びデータ記述言語のAPPセグメントSG2の両方を送信してもよい。
【0036】
更に、送信制御部11gは、メタデータ更新部11fを制御して、バイナリ形式のメタデータMrに記述されていない情報を生成して、データ記述言語によるメタデータMsに追加記録してもよく、新たに作成されたメタデータMsを含めた画像ファイルを送信させることもできるようになっている。
【0037】
送信時に新たにメタデータを作成するために、信号処理及び制御部11には、顔判定部11b、文字判定部11c、シーン・動き判定部11dが設けられている。顔判定部11bは、公知の顔検出の手法によって、撮影画像中の人物の顔を検出する。例えば、顔判定部11bは、顔の明るさの特徴をモデル化した複数の濃淡画像と撮影画像とを順次比較することで、人物の顔を検出する手法を採用してもよい。また、顔判定部11bは、例えば笑顔の場合における口角の角度や目尻の角度、顔パーツの陰影の特徴を記憶した図示しないデータベースを利用することで、顔の表情を判定することもできる。また、顔判定部11bは、多数の人物の顔の特徴量を記憶した図示しないデータベースを利用することで、撮影された人物の年齢、性別等を判定することも可能である。更に、顔判定部11bは、顔の特徴量とユーザによって入力された名前とを関連付けて記憶することにより、撮影された人物の名前を判定することもできるようになっている。
【0038】
文字判定部11cは、撮像画像中の文字に対する文字認識処理によって、撮像画像中から文字を抽出する。また、シーン・動き判定部11dは、撮像画像からシーンや撮像画像中の物体の動き等を検出する。更に、信号処理及び制御部11は、撮像画像中の色や、形を判定するようにしてもよい。なお、物体の動きは、スルー画から取得する必要があり、撮影時に物体の動きに基づく情報を例えばメーカノート等に記録する。
【0039】
メタデータ更新部11fは、こられの判定結果に応じたメタデータをデータ記述言語によって生成して、画像ファイルを更新する。例えば、顔判定部11bが、顔の特徴量から撮像画像中の人物の名前を判定した場合には、メタデータ更新部11fは、撮像画像中の存在する人物の名前をメタデータとして記述する。また、例えば、文字判定部11cによって、撮像されたコンパクトディスク(CD)のタイトルを検出した場合には、メタデータ更新部11fは、「シューベルトのCD」等のテキストのメタデータを生成してもよい。また、撮像画像の色や形の判定結果から、メタデータ更新部11fは、例えば、「緑の中の風景」、「赤い夕日」等のテキストをメタデータとして生成することもできる。また、メタデータ更新部11fは、接眼センサ21の検出結果に基づいて、撮影者のテキスト情報をメタデータとして生成してもよい。
【0040】
なお、処理能力上問題が無ければ、撮像時又は画像ファイルの送信までの間に、メタデータ作成部11eが、これらの判定部11b〜11dの判定結果に基づくメタデータをバイナリ形式にて生成してもよい。この場合には、メタデータ更新部11fは、作成されたメタデータをファイル送信時にデータ記述言語に変更してメタデータを更新する。
【0041】
更に、メタデータ更新部11fは、単にバイナリ形式のメタデータをデータ記述言語に変更するだけでなく、バイナリ形式のメタデータや各判定部11b〜11dによって画像から判定された判定結果を用いて、新たなメタデータをデータ記述言語によって生成してもよい。例えば、メタデータ更新部11fは、バイナリ形式のメタデータ中の、撮影日時及び緯度経度情報を用いて、「夏の信州」や「New Year’s day in Japan」等のテキストを生成してもよい。このように、上述した画像の色や形からのテキストへの変換、日時等のメタデータからのテキストへの変換等を簡単に行うために、撮影機器10にはデータベース20が設けられている。データベース20は数値や画像の形状や色の情報等を用いて、テキストに変換する辞書機能を有する。このようなデータベース20を用いることで、画像データやメタデータに含まれる色、形、位置や日付等の情報から、よりリッチで扱い易い情報をユーザに提供することができる。
【0042】
メタデータ更新部11fによる上述した各種メタデータの更新処理は、例えば、バイナリ形式のデータとテキストとの関係や、各種判定結果とテキストとの関係等を記述したデータベース20を参照することでも、簡単に実現することが可能であり、本実施の形態においては、メタデータ更新部11fは、このようなテキスト化するメタデータの元となるデータとテキストとの関係を記述したデータベース20を採用することで、メタデータの更新を行うものとして説明する。
【0043】
また、画像ファイル毎にメタデータが設定される例について説明したが、画像ファイルとは別に画像ファイルを管理するための補助データが記録されることがある。例えば、各画像ファイルの画像中に含まれる人物の名前や、画像ファイルがいずれのグループに属するかを記述した補助データ等がある。本実施の形態においては、このような補助データについてもデータ記述言語化して送信することができるようになっており、以後説明の簡略化のために、メタデータはこのような補助データも含むものとする。
【0044】
ところで、撮影して得た撮影画像を、インターネット等のネットワーク上にアップロードして、第3者との間で画像を共有して楽しむことが考えられる。しかしながら、撮影画像中には、プライバシーの観点から、公開が好ましくないメタデータもある。
【0045】
そこで、本実施の形態においては、送信制御部11gは、送信先の種別に応じて、メタデータの送信に異なるセキュリティ設定を行うようになっている。例えば、送信制御部11gは、送信先の機器を、特定の機器、限定されたネットワーク内の機器、公開されたネットワーク内の機器の3の種別に分類し、各種別毎に送信内容を決定するようになっている。例えば、送信制御部11gは、特定の機器に対しては全てのメタデータをそのまま送信し、限定されたネットワーク内の機器については、メタデータから一部のデータを除いて送信し、公開されたネットワーク内の機器については、メタデータのうちの一部のデータのみを送信する。また、送信制御部11gは、送信先の種別に応じて、メタデータを加工した後送信するようにしてもよい。
【0046】
次に、このように構成された実施の形態の動作について
図3乃至
図9を参照して説明する。
図3は実施の形態の動作を説明するための説明図であり、
図4はメタデータの変換を説明するための説明図である。
図5乃至
図9は実施の形態の動作を説明するためのフローチャートである。
【0047】
図5はカメラ制御を示している。
図5のステップS1において、信号処理及び制御部11は撮影モードであるか否かを判定する。いま、撮影モードが指示されているものとする。この場合には、信号処理及び制御部11は、ステップS21において、スルー画の表示及び顔判定を行う。信号処理及び制御部11は撮像部12からの撮影画像を取り込んで、所定の信号処理を施す。信号処理及び制御部11は、信号処理後の撮影画像を顔判定部11bに出力すると共に、信号処理後の撮影画像を表示部16に与えてスルー画を表示させる。
【0048】
また、信号処理及び制御部11は、ステップS22において、各種撮影条件を判定する。例えば、信号処理及び制御部11は、メタデータ作成の元となる、露出時間、絞り値、露出プログラム、ISO感度、撮影日時の情報等を判定する。
【0049】
信号処理及び制御部11は、ステップS23において撮影操作の有無を判定する。ここで、撮影者がレリーズボタン等の操作によって撮影を行うものとする。そうすると、信号処理及び制御部11は、次のステップS24に移行して、撮影を行う。
【0050】
図3(a)は撮影操作が行われる様子を示している。撮影者31は、被写体35に向かって撮影機器10を構える。例えば、
図3(a)に示すように、撮影者31は右手32R及び左手32Lによって撮影機器10を把持し、表示部16の表示画面16a上に表示されたスルー画を見ながら撮影を行う。
【0051】
撮像部12からの撮像画像は、信号処理及び制御部11に供給されて、所定の信号処理が施される。また、メタデータ作成部11eは、顔判定結果及び撮影条件の判定結果等に基づいて、メタデータSG1を作成する(ステップS25)。上述したように、撮影時には、バイナリ形式のメタデータが作成される。なお、メタデータ作成部11eは、バイナリ形式の規格データ列だけでなく、処理が可能な限り被写体等の距離や色の情報量を増やすためにメーカノートについても作成する。信号処理及び制御部11は、画像データとメタデータとによって構成される画像ファイルの記録を行う。
【0052】
信号処理及び制御部11は、ステップS26において、記録した撮影画像を表示部16にも与えてレックビュー表示(確認表示)させる。撮影者31は、
図3(a)の下向きの矢印に示すように、レックビュー表示を確認すると共に、手で表示画面16a上に配設されたタッチパネル17を操作しやすいように、撮影機器10を水平に構える。
【0053】
信号処理及び制御部11は、ステップS27においてレックビュー表示から所定時間経過したか否かを判定し、ステップS28において、ネットワーク共有モードに移行するためのシェアボタン操作が行われたか否かを判定する。
【0054】
図3(b)は表示画面16a上に表示されたレックビュー画像41を示しており、
図3(b)の例では、表示制御部11aによって、シェアボタンとして操作アイコン42が表示されていることを示している。
図3(b)に示すように、レックビュー画像41には、人物の画像41と樹木及び山の背景の画像41bとが含まれている。そして、表示画面16a上の端部には、操作アイコン42が表示されている。
【0055】
なお、信号処理及び制御部11は、撮影の度に自動的にシェアボタンである操作アイコン42を表示させるようにしてもよく、また、撮影機器10に設けた図示しない加速度センサ等によって、ユーザが撮影後に撮影機器10を水平に傾けたことを検知して、操作アイコンを表示させるようにしてもよい。
【0056】
ここで、ユーザが指33等によって、操作アイコン42をタッチ操作するものとする。そうすると、信号処理及び制御部11は、ネットワーク共有モードを設定する(ステップS29)。ネットワーク共有モードにおいては、表示制御部11aは、送信先の種別を決定するための選択アイコン43〜45を表示させる。選択アイコン43は、送信先の種別として、特定の機器を指定するためのものであり、選択アイコン44は、送信先の種別として限定されたネットワーク内の機器を指定するためのものであり、選択アイコン45は、送信先の種別として、公開されたネットワーク内の機器を指定するためのものである。
【0057】
図6は
図5のステップS29,S8のネットワーク共有処理の具体的なフローを示している。
【0058】
ネットワーク共有処理では、撮影機器10は、例えば
図6のフローに従って、自動的に画像ファイルを通信部19を介して外部に送信する。送信制御部g11は、
図6のステップS31において、機器間通信が選択されたか否かを判定する。機器間通信が選択された場合には、送信制御部11gは、次のステップ32において通信候補を判定し、ステップS33において認証操作を行う。通信部19と通信候補の機器との間で認証が行われると、送信制御部11gは、ステップS34においてメタデータをデータ記述言語化した後、相手先の機器に送信する(ステップS35)。
【0059】
図7は
図6のステップS34の処理の具体例を示すフローチャートである。
【0060】
図4(a)は送信前におけるメタデータの記録内容を示している。
図4(a)のAdressは記録再生部15によって記録された画像ファイル中のメタデータの記録媒体上の記録位置を示しており、DataはAdressによって規定された記録位置における記録内容を示している。
【0061】
本実施の形態においては、バイナリ形式においては、メタデータの記録媒体上の記録位置は、記述する項目に応じて規定されている。データベース20は、メタデータの記録媒体上の記録位置と記述する項目との関係が記述されており、メタデータ更新部11fは、データ記述言語化可能な項目(対象データ)が存在する場合には、ステップS61からステップS62に処理を移行して、データベース20を参照する。
【0062】
メタデータ更新部11fは、データベース20を参照して、メタデータ中のAdressをテキスト形式の項目名(データ名)に変換する(ステップS63)。また、メタデータ更新部11fは、データベース20を参照して、メタデータ中のDataをテキスト形式のデータ内容に変換する(ステップS64)。メタデータ更新部11fは、テキスト化した項目名及びデータ内容によって、メタデータを生成する。こうして、
図2(b)のAPPセグメントSG2が生成される(ステップS65)。
【0063】
図4(b)はテキスト化されたメタデータを示しており、メタデータは、項目名と各項目名に対応するDataとがテキストによって記述されている。
図4(b)の例では、
図4(a)の各アドレスが項目名Name1,Name2,…に変換され、
図4(a)の各バイナリDataがテキストのDATA1,DATA2,…に変換されている。なお、メタデータは階層構造を有していてもよく、例えば、項目名Name5は、下位階層に項目名Name6を有している。
【0064】
メタデータ更新部11fは、メタデータの変換が終了していなければ(ステップS66)、次の項目(別のデータ)を参照してステップS61〜S66の処理を繰り返す。全てのメタデータの変換が終了すると、処理は
図6のステップS35に戻って、送信制御部11gは、通信部19を制御して、画像ファイルを送信する。
【0065】
こうして、画像ファイルが転送された特定の機器において、受信した画像ファイルの表示、編集、検索等を行うことができる。この場合において、受信したメタデータはデータ記述言語化されており、多種多様のソフトウェアによってこのメタデータを利用することができる。特定の機器としては、例えば、撮影機器10の所有者が所有しているパーソナルコンピュータやスマートフォン等の他の機器が考えられ、この所有者が撮影機器10からの画像ファイルを他の機器において利用する場合に、テキスト言語化されたメタデータを用いることで、検索、編集等の利用が容易となる。
【0066】
このように、メタデータを例えばXML形式等のデータ記述言語によって記述するので、データに名前やパラメータを付けて簡単に管理することができ、並べ変えなどの自由度が高く、階層表現も出来る。これにより、誰でも簡単に利用でき、コンピュータ、インターネット、情報家電機器との相性が良く、ブラウザによって利用可能であり、また、プログラムからデータが扱いやすく、サービス向上の観点で開発効率が高いという利点がある。
【0067】
次に、例えば、ユーザが
図3(c)の選択アイコン44のタッチ操作、即ち相手先が限定されたネットワーク内の機器を指定する操作を行うものとする。送信制御部11gは、
図6のステップS41において、この操作を検出すると、ステップS42において、送信先を設定する。例えば、送信制御部11gは、予め登録されているSNS(ソーシャル・ネットワーキング・サービス)を送信先に設定して、認証操作を行う(ステップS43)。
【0068】
SNSは、限定されてはいても、比較的多数の利用者が画像を共有することができることから、画像データ及びメタデータからなる画像ファイルをそのまま画像共有のためにアップロードすると、個人情報保護の観点等から好ましくない場合が考えられる。そこで、本実施の形態においては、ネットワーク共有モードにおいては、相手先の種別毎に、送信可能な内容を切り換える。
【0069】
送信制御部g11は、認証が行われると、
図6のステップS44において、場所、時刻をテキスト化して、送信する(ステップS45)。即ち、この場合には、メタデータ更新部11fは、送信制御部11gに制御されて、メタデータ中の種々の項目のうち、場所に関する項目及び時刻に関する項目のみをデータ記述言語化する。
【0070】
図8は
図6のステップS44の処理の具体例を示すフローチャートである。データベース20には、GPS情報に対応するテキスト、日付情報に対応するテキストが記述されている。メタデータ更新部11fは、送信制御部11gに制御されて、GPS情報が存在する場合には(ステップS71)、ステップS72においてデータベース20を参照する。メタデータ更新部11fは、GPS情報をデータベース20の記述を元に、例えば国、県、市町村名、或いは地方名等のテキストに変換する(ステップS73)。なお、メタデータ更新部11fは、GPS情報に基づく緯度経度を単にテキスト化してもよい。
【0071】
また、メタデータ更新部11fは、送信制御部11gに制御されて、日付情報が存在する場合には(ステップS74)、ステップS75においてデータベース20を参照する。メタデータ更新部11fは、日付情報をデータベースの記述を元に、例えば春夏秋冬等の季節、クリスマスやお正月、祝日等のテキストに変換する。更に、メタデータ更新部11fは、日付情報から撮像画像中の誕生日の情報をテキスト化してもよい。また、メタデータ更新部11fは、日付情報に基づく日時を単にテキスト化してもよい。
【0072】
なお、メタデータ更新部11fが参照するデータベース20には、複数の国の言語のテキストを記述しておいてもよい。これにより、メタデータ更新部11fは、各国の言語のテキストに変換することもでき、また、ユーザが指定した言語のテキストに変換することもできる。
【0073】
メタデータの変換が終了すると、
図6のステップS35に戻って、送信制御部11gは、通信部19を制御して、画像ファイルを送信する。なお、この場合には、送信制御部11gは、メタデータとしメタデータ更新部11fによって更新されたデータのみを送信する。これにより、ユーザがSNSを選択した場合には、例えば地域や日時に関する情報のみがメタデータとして送信されることになる。SNSを選択した場合には、友人等の機器によって画像共有されるものと考えることができ、友人との旅行で撮影した写真のように、撮影場所、撮影日時等のメタデータをデータ記述言語化することで、これらのデータの利用を簡単にすることができる。一方、その他のデータについては送信しないことにより、個人情報等の保護が可能である。
【0074】
次に、例えば、ユーザが
図3(c)の選択アイコン45のタッチ操作、即ち相手先が公開されたネットワーク内の機器を指定する操作を行うものとする。送信制御部11gは、
図6のステップS51において、この操作を検出すると、ステップS52において、送信先を設定する。例えば、送信制御部11gは、予め登録されているブログや画像投稿サイトを送信先に設定して、認証操作を行う(ステップS53)。なお、ステップS51において、画像公開の選択操作が検出されない場合には、所定時間経過後に、警告を発して処理を終了する(ステップS58)。
【0075】
画像投稿サイト等においては、不特定多数の利用者が画像を共有することができることから、本実施の形態においては、画像データ及び検索のためのメタデータからなる画像ファイルをアップロードする。例えば、撮影者と面識のないユーザは、撮影対象物や撮影場所、季節等によって画像を検索したくなることが多いからである。
【0076】
送信制御部g11は、認証が行われると、
図6のステップS54において、メタデータとして検索用のデータをテキスト化して、送信する(ステップS55)。即ち、この場合には、メタデータ更新部11fは、送信制御部11gに制御されて、メタデータ中の種々の項目のうち、検索に適した項目のみをデータ記述言語化して、送信データ量を削減しながら、公開された画像を利用するユーザの利便性を向上させると共に個人情報の保護を可能にする。なお、検索に適した項目としては所謂5W1Hの情報に関する項目が考えられるが、公開される点を考慮すると、「誰」に関する情報ついては送信しないようにした方がよい。
【0077】
図9は
図6のステップS54の処理の具体例を示すフローチャートである。データベース20には、文字読み取り情報に対応するテキスト、顔情報に対応するテキスト、シーン情報に対応したテキスト及び被写体分析情報に対応したテキストが記述されている。メタデータ更新部11fは、送信制御部11gに制御されて、例えば
図8と同様の手法により、場所、時刻をテキスト化する(ステップS81)。
【0078】
なお、ステップS81におけるテキスト化では、個人情報のセキュリティを考慮したテキスト化を行う。例えば、個人を特定できないように、GPS情報に基づいて、国名又は県名等のテキスト化を行う。また、日付情報として個人の誕生日の情報が含まれる場合には、この日付情報をテキスト化しない。
【0079】
メタデータ更新部11fは、文字読み取り情報が存在する場合には(ステップS82)、データベース20を参照して(ステップS83)、読み取り文字をテキスト化する(ステップS84)。例えば、画像中に含まれる駅名等をテキスト化することで、地図検索等において簡単に利用可能となる。
【0080】
また、メタデータ更新部11fは、顔情報が存在する場合には(ステップS85)、データベース20を参照して(ステップS86)、顔情報に基づいたテキスト化を行う(ステップS87)。例えば、画像中に含まれる人物の性別、年齢、人数等をテキスト化する。例えば、顔の特徴量から撮像画像中に赤ちゃんが存在することを検出した場合には、赤ちゃんというテキストをメタデータに記述する。
【0081】
また、メタデータ更新部11fは、シーン情報が存在する場合には(ステップS88)、データベース20を参照して(ステップS89)、シーン情報に基づいたテキスト化を行う(ステップS90)。例えば、画像中が夕日のシーンであるとか、山脈を写したシーンであるとかの情報をテキスト化する。更に、メタデータ更新部11fは、形、位置、色、GPSの情報等を用いて各シーンを検出してもよく、これらのシーンをテキスト化することにより、画像投稿サイト等において、各シーンに対応した画像の検索を容易にすることが可能となる。
【0082】
また、メタデータ更新部11fは、被写体分析情報が存在する場合には(ステップS91)、データベース20を参照して(ステップS92)、被写体分析情報に基づいたテキスト化を行う(ステップS93)。例えば、被写体がペット、動物、鳥等であることが検出された場合には、その情報をテキスト化することで、画像投稿サイト等において、動物名等をキーワードとして画像の検索を容易にすることが可能となる。
【0083】
なお、ネットワーク共有モードは、撮影時だけでなく、再生時にも設定される。信号処理及び制御部11は、
図5のステップS1において、撮影モードが指定されていない場合には、ステップS2において再生モードが指示されているか否かを判定する。再生モードが指示されている場合には、信号処理及び制御部11は、記録再生部15に記録されている画像を読み出し、伸張処理等の所定の信号処理を施した後、表示部16に与えて再生表示させる(ステップS3)。
【0084】
信号処理及び制御部11は、ステップS4においてメタデータの再生が指示されているか否かを判定し、メタデータの再生が指示されている場合にはメタデータの内容を表示部16に表示させる(ステップS5)。信号処理及び制御部11は、ステップS6において再生モードを元に戻す操作が行われたか否かを判定し、操作が行われた場合には処理をステップS2に戻す。再生モードを元に戻す操作が行われていない場合には、表示制御部11aは、シェアボタンとして操作アイコン42を表示画面16a上に表示させ、ステップS7においてシェアボタン操作が発生したか否かを判定する。
【0085】
信号処理及び制御部11は、シェアボタン操作が行われない場合には、他の画像を指定する変更操作があったか否かを判定し(ステップS9)、変更操作があった場合には、指定された他の画像を読み出し、伸張処理等の所定の信号処理を施した後、表示部16に与えて再生表示させる(ステップS10)。
【0086】
信号処理及び制御部11は、シェアボタン操作が行われたものと判定した場合には、ステップS8において、ネットワーク共有モードに移行する。ネットワーク共有モードにおける動作はステップS29と同様である。また、信号処理及び制御部11は、ステップS2において再生モードが指示されていないと判定した場合には、ステップS11において、画像受信及び書き戻しの処理を行う。
【0087】
このように本実施の形態においては、記録されたバイナリのメタデータを送信時にデータ記述言語化して送信する。記録時にはバイナリデータを採用しており、撮影機器においてメタデータの処理が容易である。一方、送信時には汎用性に優れたデータ記述言語に変換して送信しており、送信された画像ファイルの利用が容易となる。また、送信先に応じて送信するメタデータを変更しており、セキュリティに優れている。一般的なカメラにおいてはテキスト検索は普及していないが、コンピュータにおいてはテキスト検索が主流であり、インターネット等では、XML形式の記述が多用されている。従って、記録時にバイナリ形式のメタデータを記録することで処理速度の低下を抑制すると共に、送信時に、メタデータをXML等のデータ記述言語で記述して送信することにより、インターネット及びコンピュータ等において画像ファイルを利用しやすくすることができる。例えば、検索が極めて容易となり、また、画像編集の処理内容を容易に確認することも可能である。
【0088】
なお、送信時に、バイナリ形式のメタデータをデータ記述言語に変更して記録する例について説明したが、撮影後であって送信前の任意のタイミングで、データ記述言語への変更を行うようにしてもよい。
【0089】
(第2の実施の形態)
図10は本発明の第2の実施の形態を示すブロック図である。
図10において
図1と同一の構成要素には同一符号を付して説明を省略する。
【0090】
第1の実施の形態においては、撮影機器30において、全てのメタデータを撮影機器30において作成し、送信すべきメタデータの全てを撮影機器30においてデータ記述言語化した。しかし、メタデータの作成及び更新処理の処理量が比較的大きい場合、或いはテキスト化に必要なデータベースのサイズ等を考慮すると、一部又は全部のデータ記述言語化を、サーバ上で行った方がよいことが考えられる。本実施の形態はこの場合を考慮したものである。
【0091】
図10において、メタデータ作成部11eは、メタデータの作成に際して、比較的処理量が小さいメタデータ作成処理のみを行い、比較的処理量が大きいメタデータ作成処理は行わない。送信制御部51gは、送信モード(ネットワーク共有モード)において、メタデータ更新部11fを制御して、比較的処理量が小さいメタデータの作成、更新処理のみを行い、比較的処理量が大きいメタデータの作成、更新処理は行わない。この場合には、送信制御部51gは、メタデータの作成・更新を特定の機器60やネットワーク50上のサーバ53,54等に依頼すると共に、メタデータの作成・更新に必要な情報をこれらの特定の機器60及びサーバ53,54に提供するようになっている。
【0092】
通信部19は、閉じたネットワークを介して特定の機器60との間で通信が可能であり、送信制御部51gによって指定された情報を特定の機器60に送信することができる。また、通信部19は、例えば無線LANのホットスポット52との間で通信が可能であり、ホットスポット52を介して送信制御部51gによって指定された情報をネットワーク50上のサーバ53,54に送信することができる。
【0093】
特定の機器60は、例えば
図7に示すフローによって、メタデータをデータ記述言語化するための図示しないデータベースを備えており、メタデータをデータ記述言語化することができるようになっている。SNSサーバ53は、データ記述言語によるメタデータを生成するためのテキスト作成部53aを有している。テキスト作成部53aは、メタデータとなるテキストを生成するためのテキストDB(データベース)53bを参照することで、撮影機器30から送信されたデータを用いてテキストのメタデータを生成する。画像投稿サーバ54も、データ記述言語によるメタデータを生成するためのテキスト作成部54aを有している。テキスト作成部54aは、メタデータとなるテキストを生成するためのテキストDB(データベース)54bを参照することで、撮影機器30から送信されたデータを用いてテキストのメタデータを生成する。
【0094】
例えば、顔認識処理の処理は比較的大きく、撮像画像中の人物の名前をメタデータとして記述する処理の処理量は大きい。そこで、送信制御部51gは、顔の特徴量のみをメタデータとして送信する。サーバ53,54のテキストDB53b,54bに、顔の特徴量に対応する名前の情報を記憶させることで、サーバ53,54のテキスト作成部53a,54aにおいて、撮影機器30から送信された顔の特徴量に応じた名前をデータ記述言語により生成することができる。
【0095】
なお、信号処理及び制御部11は、特定の機器60、サーバ53,54から画像ファイルを書き戻すことが可能であり、特定の機器60及びサーバ53,54によって取得されたメタデータを含む画像ファイルを記録再生部15によって記録させることが可能である。
【0096】
次に、このように構成された実施の形態の動作について
図11及び
図12を参照して説明する。
図11はネットワーク共有モードの動作フローを示すフローチャートである。
図11において
図6と同一の手順には同一符号を付して説明を省略する。また、
図12はサーバ側の動作フローを示すフローチャートである。
【0097】
本実施の形態においては、送信先の種別に応じて、メタデータの作成依頼の内容を変更する。送信制御部51gは、送信先の機器を、特定の機器(サーバ)、限定されたネットワーク内の機器(サーバ)、公開されたネットワーク内の機器(サーバ)の3の種別に分類し、各種別毎に依頼の内容及び送信するメタデータの内容を決定するようになっている。
【0098】
例えば、ユーザが機器間通信を選択すると、送信制御部51gは、ステップS104において、例えば特定の機器60にメタデータのデータ記述言語化を依頼する。この場合には、送信制御部51gは、この依頼の情報と共に、ステップS35において、バイナリ形式のメタデータを特定の機器60に送信する。
【0099】
また、ユーザがSNS送信を選択すると、送信制御部51gは、ステップS105において、場所、時刻、名前のテキスト化を依頼する。この場合には、送信制御部51gは、この依頼の情報と共に、ステップS54において、バイナリ形式のGPS情報、日付情報の外に、顔の特徴量に関するメタデータを例えばサーバ53に送信する。
【0100】
また、ユーザが画像公開を選択すると、送信制御部51gは、ステップS106において、検索用のテキスト化を依頼する。この場合には、送信制御部51gは、この依頼の情報と共に、ステップS55において、検索のためのキーワードの作成に必要な、形、色情報を例えばサーバ54に送信する。
【0101】
一方、特定の機器を含むサーバ側は
図12のフローチャートに従って動作する。ステップS111において、特定の機器60及びサーバ53,54は、データ受信モードであるか否かを判定し、データ受信モードの場合には、データを送信する各機器からのデータの受信待機状態となる。
【0102】
撮影機器30が機器間通信を選択してデータを送信すると、例えば特定の機器60がこの送信データを受信し、撮影機器30がSNS送信を選択してネットワーク50を介してデータを送信すると、例えばサーバ53がこの送信データを受信し、撮影機器30が画像公開を選択してネットワーク50を介してデータを送信すると、例えばサーバ54がこの送信データを受信する(ステップS112)。特定の機器60及びサーバ53,54は、ステップS113において、データ記述言語化(テキスト化)の依頼があるか否かを判定する(ステップS114)。この依頼がある場合には、特定の機器60及びサーバ53,54は、依頼に従って受信ファイルを解析し(ステップS115)、データ記述言語(テキスト)のメタデータを作成して(ステップS116)、生成したメタデータをファイル記録する(ステップS117)。
【0103】
例えば、送信制御部51gは、特定の機器60に対して、全てのメタデータについてデータ記述言語化を依頼する。更に、送信制御部51gは、メタデータが作成されていない項目、例えば、顔判定による名前等についてもテキスト化の要求を行う。特定の機器60は、メタデータをデータ記述言語化すると共に、撮影機器30から送信された顔の特徴量から顔判定を行い、顔判定結果に対応したテキストをメタデータとして生成する。
【0104】
また、送信制御部51gは、サーバ53に対して、場所、時刻、名前のテキスト化を依頼する。サーバ53は、限定されてはいても比較的多くの人間に公開されることから、送信制御部51gは、GPS情報及び日付情報を用いて作成するテキストについては個人を特定できない範囲でのテキスト化を要求する。例えば、サーバ53のテキスト作成部53aは、
図8と同様のフローによって、GPS情報及び日付情報に基づいて、テキストDB53bを参照することで、
図8と同様に、地域等を示すテキスト及び季節等を示すテキストを生成する。また、テキスト作成部53aは、テキストDB53bを参照することで、受信した顔の特徴量に基づいて、撮像画像中の人物の名前をテキスト化する。この場合においても、送信制御部51gは、撮像画像中の人物のうち例えば公人や公開が許可された個人等についてのみ名前のテキスト化を要求する。
【0105】
また、送信制御部51gは、サーバ54に対して、検索用のテキスト化を依頼する。サーバ53は、不特定多数に公開されていることから、送信制御部51gは、個人を特定できない範囲で検索用のテキスト化を要求する。例えば、サーバ54のテキスト作成部54aは、
図9と同様のフローによって、各情報のテキスト化を行う。
【0106】
特定の機器60、サーバ53,54は、データ受信モードでない場合には、ステップS121においてデータ表示が指示されているか否かを判定する。特定の機器60、サーバ53,54は、データ表示が指示されている場合には、ステップS122において、指定ファイルの画像を表示し(ステップS122)、この画像に付随しているメタデータのテキストを表示する(ステップS123)。
【0107】
特定の機器60、サーバ53,54は、ステップS124によって編集操作が行われているか否かを判定して、行われている場合には、編集操作に応じた編集を行う(ステップS125)。編集が終了すると(ステップS126)、特定の機器60、サーバ53,54は、メタデータであるバージョンデータを更新し、以後、表示終了が指示されるまで、ステップS122〜S128を繰り返す。バージョンデータもデータ記述言語化されているので、バージョンデータの更新も容易に行うことができる。
【0108】
特定の機器60、サーバ53,54は、ステップS121においてデータ表示が指示されていないと判定した場合には、ステップS131においてデータ送信が指示されているか否かを判定する。外部の機器からのデータ送信が指示されている場合には、指定されているファイルをデータ要求を発生した機器に送信する(ステップS132)。これにより、撮影機器30において、特定の機器60、サーバ53,54等においてメタデータが作成された画像ファイル、編集が行われた画像ファイルを書き戻すことが可能である。
【0109】
このように本実施の形態においては、第1の実施の形態と同様の効果を有すると共に、メタデータのデータ記述言語化を外部機器に実行させることができ、比較的処理量が大きい処理であっても確実にデータ記述言語化することができるという効果を有する。
【0110】
なお、本実施の形態においては、全てのメタデータを送信し、依頼の仕方によって、必要なメタデータのみをサーバ等に作成させるようにしたが、全てのメタデータを送信するのではなく、データ記述言語化が必要なメタデータのみを送信するようにしてもよい。
【0111】
さらに、上記実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末(PDA:Personal Digital Assist)等に内蔵されるカメラでも勿論構わない。
【0112】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【0113】
なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。
【0114】
本出願は、2012年9月28日に日本国に出願された特願2012−217038号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。