(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-16
(45)【発行日】2024-12-24
(54)【発明の名称】情報処理装置、情報処理方法、プログラム
(51)【国際特許分類】
H04N 5/92 20060101AFI20241217BHJP
H04N 23/60 20230101ALI20241217BHJP
【FI】
H04N5/92 010
H04N23/60 300
(21)【出願番号】P 2021542598
(86)(22)【出願日】2020-07-06
(86)【国際出願番号】 JP2020026380
(87)【国際公開番号】W WO2021039129
(87)【国際公開日】2021-03-04
【審査請求日】2023-05-24
(31)【優先権主張番号】P 2019157232
(32)【優先日】2019-08-29
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003410
【氏名又は名称】弁理士法人テクノピア国際特許事務所
(74)【代理人】
【識別番号】100116942
【氏名又は名称】岩田 雅信
(74)【代理人】
【識別番号】100167704
【氏名又は名称】中川 裕人
(72)【発明者】
【氏名】和田 真宏
(72)【発明者】
【氏名】浮ヶ谷 敦生
(72)【発明者】
【氏名】壱岐 優
(72)【発明者】
【氏名】内田 功一
(72)【発明者】
【氏名】森口 宏一
【審査官】鈴木 順三
(56)【参考文献】
【文献】特開2011-029795(JP,A)
【文献】国際公開第2004/034282(WO,A1)
【文献】特開2010-068434(JP,A)
【文献】特開2009-271779(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/92
H04N 23/00 - 23/959
(57)【特許請求の範囲】
【請求項1】
文字情報と短縮入力情報が組とされた用語データの集合体である用語集データを複数用いて、画像ファイルに付加されるメタデータとしてのテキスト情報の編集を可能とするユーザインタフェース処理を行うユーザインタフェース制御部
と、
前記用語集データを取得する用語集管理部と、を備え
、
前記用語集管理部は、記憶された前記用語集データごとに有効化情報を設定することにより前記用語集データごとの有効状態を管理する
情報処理装置。
【請求項2】
前記ユーザインタフェース制御部は、前記テキスト情報の編集時に入力された入力情報に基づいて前記用語集データから入力候補となる前記文字情報を提示する
請求項1に記載の情報処理装置。
【請求項3】
前記用語集管理部は、前記用語集データを記憶部に記憶して管理する
請求項
1に記載の情報処理装置。
【請求項4】
前記ユーザインタフェース制御部は、
複数の前記用語集データの前記有効状態の切り換えを行う環境を提供する処理を行い、
前記切り換えを行う環境において表示される複数の前記用語集データの表示順を変更する処理を行う
請求項
1に記載の情報処理装置。
【請求項5】
前記表示順は有効化された回数の多い順とされた
請求項
4に記載の情報処理装置。
【請求項6】
前記表示順は無効化されてからの経過時間が短い順とされた
請求項
4に記載の情報処理装置。
【請求項7】
前記用語集管理部は、ネットワークを介してサーバ装置から前記用語集データを取得する
請求項
1に記載の情報処理装置。
【請求項8】
前記用語集管理部は、前記サーバ装置との同期設定に基づいて前記用語集データの取得を行う
請求項
7に記載の情報処理装置。
【請求項9】
前記同期設定として自動同期設定と手動同期設定が設けられた
請求項
8に記載の情報処理装置。
【請求項10】
前記用語集管理部は、位置情報に基づいて前記サーバ装置から取得する前記用語集データを選択する
請求項
7に記載の情報処理装置。
【請求項11】
前記用語集管理部は、時間情報に基づいて前記サーバ装置から取得する前記用語集データを選択する
請求項
7に記載の情報処理装置。
【請求項12】
前記サーバ装置は共用サーバ装置とされた
請求項
7に記載の情報処理装置。
【請求項13】
前記ユーザインタフェース制御部は、前記テキスト情報の編集に音声データを利用可能な環境を提供する処理を行い、
前記音声データを利用した前記テキスト情報の編集において前記用語集データが用いられる
請求項1に記載の情報処理装置。
【請求項14】
前記テキスト情報は、IPTCメタデータのキャプションフィールドに格納される情報とされた
請求項1に記載の情報処理装置。
【請求項15】
文字情報と短縮入力情報が組とされた用語データの集合体である用語集データを複数用いて、画像ファイルに付加されるメタデータとしてのテキスト情報の編集を可能とするユーザインタフェース処理
と、
前記用語集データを取得する処理と、
記憶された前記用語集データごとに有効化情報を設定することにより前記用語集データごとの有効状態を管理する処理と、を
情報処理装置が実行する情報処理方法。
【請求項16】
文字情報と短縮入力情報が組とされた用語データの集合体である用語集データを複数用いて、画像ファイルに付加されるメタデータとしてのテキスト情報の編集を可能とするユーザインタフェース処理
と、
前記用語集データを取得する処理と、
記憶された前記用語集データごとに有効化情報を設定することにより前記用語集データごとの有効状態を管理する処理と、を
情報処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は情報処理装置、情報処理方法、プログラムに関し、特に画像データに付与されるメタデータの編集についての技術に関する。
【背景技術】
【0002】
プロカメラマンや記者など、業務で撮像装置(「カメラ」ともいう)を使用するユーザの場合、撮像装置で撮像した画像を、現場で、その撮像装置の通信機能を用いて新聞社等のサーバ(FTP(File Transfer Protocol)サーバ)にアップロードするということが行われている(例えば特許文献1)。
また、新聞社等においては、複数のユーザから画像データがアップロードされるため、受信する画像データが膨大な量となり得る。新聞社等においては、効率よく目的の画像データを検索するために画像データに付与されたメタデータを活用している。
そのためには、ユーザが撮像装置において画像データにメタデータを付与する操作を行うことが考えられる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところが、メタデータを付与するためのテキスト入力を行う作業に対して撮像装置が備える入力手段は好適では無く、撮像した画像を速やかにアップロードすることが難しい。
【0005】
そこで本技術では、例えばプロカメラマンなど、撮像した画像にメタデータを付与した上で速やかにアップロードする必要のあるユーザにとって、メタデータの編集に好適な環境を提供すること目的とする。
【課題を解決するための手段】
【0006】
本技術に係る情報処理装置は、文字情報と短縮入力情報が組とされた用語データの集合体である用語集データを複数用いて、画像ファイルに付加されるメタデータとしてのテキスト情報の編集を可能とするユーザインタフェース処理を行うユーザインタフェース制御部を備えたものである。
即ち、複数の用語集データを組み合わせてメタデータの編集に利用することができる。
【0007】
上記した情報処理装置における前記ユーザインタフェース制御部は、前記テキスト情報の編集時に入力された入力情報に基づいて前記用語集データから入力候補となる前記文字情報を提示してもよい。
即ち、入力情報が文字情報の一部或いは短縮入力情報の一部に一致した場合に対応する文字情報が入力候補として提示される。
【0008】
上記した上記した情報処理装置においては、前記用語集データを取得する用語集管理部を備えていてもよい。
これにより、例えば、他の情報処理装置で作成した用語集データを取得することなどが可能とされる。
【0009】
上記した上記した情報処理装置における前記用語集管理部は、前記用語集データを記憶部に記憶して管理してもよい。
これにより、劣悪な通信環境下にあるために他の情報処理装置から用語集データを取得できなかったとしても、記憶部に記憶された用語集データを利用することが可能となる。
【0010】
上記した上記した情報処理装置における前記用語集管理部は、前記用語集データごとの有効状態を管理してもよい。
これにより、用語集データごとに有効/無効を切り換えることが可能となる。
【0011】
上記した上記した情報処理装置における前記ユーザインタフェース制御部は、複数の前記用語集データの前記有効状態の切り換えを行う環境を提供する処理を行い、前記切り換えを行う環境において表示される複数の前記用語集データの表示順を変更する処理を行ってもよい。
これにより、ユーザにとって使いやすい用語集データほど上位に表示されるように構成することができる。
【0012】
上記した上記した情報処理装置において、前記表示順は有効化された回数の多い順とされてもよい。
これにより、よく利用される用語集データがリストの上位に表示される。
【0013】
上記した上記した情報処理装置において、前記表示順は無効化されてからの経過時間が短い順とされてもよい。
これにより、直近に有効化されていた用語集データがリストの上位に表示される。
【0014】
上記した上記した情報処理装置における前記用語集管理部は、ネットワークを介してサーバ装置から前記用語集データを取得してもよい。
これにより、近距離通信が不可能な遠距離に位置しているサーバ装置などから用語集データを取得することができる。
【0015】
上記した上記した情報処理装置における前記用語集管理部は、前記サーバ装置との同期設定に基づいて前記用語集データの取得を行ってもよい。
これにより、サーバ装置に記憶されている用語集データが適宜情報処理装置にダウンロードされる。
【0016】
上記した上記した情報処理装置においては、前記同期設定として自動同期設定と手動同期設定が設けられていてもよい。
これにより、状況に応じて自動同期設定と手動同期設定を切り換えることが可能とされる。
【0017】
上記した上記した情報処理装置における前記用語集管理部は、位置情報に基づいて前記サーバ装置から取得する前記用語集データを選択してもよい。
これにより、例えばイベント会場や野球場などの場所に応じた用語集データが取得される。
【0018】
上記した上記した情報処理装置における前記用語集管理部は、時間情報に基づいて前記サーバ装置から取得する前記用語集データを選択してもよい。
これにより、例えば、時間に応じて適切な用語集データが取得される。
【0019】
上記した上記した情報処理装置において、前記サーバ装置は共用サーバ装置とされてもよい。
これにより、例えば、他のユーザが作成してサーバ装置に保存しておいた用語集データを利用することができる。
【0020】
上記した上記した情報処理装置における前記ユーザインタフェース制御部は、前記テキスト情報の編集に音声データを利用可能な環境を提供する処理を行い、前記音声データを利用した前記テキスト情報の編集において前記用語集データが用いられてもよい。
これにより、音声データをテキスト情報に変換する場合に、用語集データに基づく変換がなされる。
【0021】
上記した上記した情報処理装置において、前記テキスト情報は、IPTCメタデータのキャプションフィールドに格納される情報とされていてもよい。
これにより、IPTCメタデータのキャプションフィールドの編集に用語集データを用いることができる。
【0022】
本技術の情報処理方法は、文字情報と短縮入力情報が組とされた用語データの集合体である用語集データを複数用いて、画像ファイルに付加されるメタデータとしてのテキスト情報の編集を可能とするユーザインタフェース処理を情報処理装置が実行するものである。
【0023】
本技術のプログラムは、文字情報と短縮入力情報が組とされた用語データの集合体である用語集データを複数用いて、画像ファイルに付加されるメタデータとしてのテキスト情報の編集を可能とするユーザインタフェース処理を情報処理装置に実行させるプログラムである。
これにより本開示の複数の用語集データを利用したテキスト情報の編集処理を情報処理装置で実行可能とする。
【図面の簡単な説明】
【0024】
【
図1】本技術の実施の形態の画像ファイル及び音声ファイルの転送及びアップロードの説明図である。
【
図2】実施の形態で通信を行う撮像装置のブロック図である。
【
図3】実施の形態で画像データに付加されるIPTCメタデータの説明図である。
【
図4】実施の形態の情報処理装置のブロック図である。
【
図5】実施の形態の情報処理装置の機能構成の説明図である。
【
図8】実施の形態の用語集一覧画面の説明図である。
【
図9】実施の形態の用語集サブメニューダイアログの説明図である。
【
図10】実施の形態の用語集データ編集画面の説明図である。
【
図11】実施の形態の用語サブメニューダイアログの説明図である。
【
図12】実施の形態の用語データ編集画面の説明図である。
【
図13】実施の形態の用語集追加ダイアログの説明図である。
【
図14】実施の形態のキャプション編集画面の説明図である。
【
図15】実施の形態の個別画像画面の説明図である。
【
図16】実施の形態のキャプション編集画面においてソフトウェアキーボードが表示された状態の説明図である。
【
図17】実施の形態のキャプション編集画面の音声再生状態の説明図である。
【
図18】実施の形態のキャプション編集画面でのダイアログ表示の説明図である。
【
図19】実施の形態のキャプション編集画面でのメッセージ表示の説明図である。
【
図20】実施の形態でボイスメモテキストがキャプションデータに加えられた状態のキャプション編集画面の説明図である。
【
図21】実施の形態のキャプション編集画面の横画面状態の説明図である。
【
図22】実施の形態のキャプション編集画面の横画面でキーボード表示がされた状態の説明図である。
【
図23】実施の形態のボイスメモ自動キャプション付与設定画面の説明図である。
【
図25】実施の形態の自動アップロード設定画面の自動アップロード設定オフ状態の説明図である。
【
図26】実施の形態の自動アップロード設定画面の自動アップロード設定オン状態の説明図である。
【
図27】実施の形態の自動アップロード設定画面の自動アップロード設定オン状態説明図である。
【
図28】実施の形態の自動同期設定ダイアログの説明図である。
【
図29】実施の形態の画像取り込みの際の処理例のフローチャートである。
【
図30】実施の形態の画像取り込みの際の処理例のフローチャートである。
【
図31】実施の形態のテキスト化処理の一例についてのフローチャートである。
【
図32】実施の形態のアップロードファイル準備処理のフローチャートである。
【
図33】実施の形態の画像一覧画面からの処理例のフローチャートである。
【
図34】実施の形態の画像一覧画面からの処理例のフローチャートである。
【
図35】実施の形態の画像一覧画面からの処理例のフローチャートである。
【
図36】実施の形態の入力対応処理の一例についてのフローチャートである。
【
図37】実施の形態のアップロード時の処理例のフローチャートである。
【
図38】実施の形態の用語集一覧画面において実行される処理例のフローチャートである。
【
図39】実施の形態の用語集データ編集画面において実行される処理例のフローチャートである。
【
図40】実施の形態の用語集同期処理の一例についてのフローチャートである。
【
図41】実施の形態の用語集同期処理の別の例についてのフローチャートである。
【
図42】実施の形態の並び換え処理の一例についてのフローチャートである。
【発明を実施するための形態】
【0025】
以下、実施の形態を次の順序で説明する。
<1.実施の形態の画像取り込みとアップロード>
<2.撮像装置の構成>
<3.情報処理装置の構成>
<4.ユーザインタフェース画面>
<5.画像取り込み時の処理例>
<6.テキスト化及びキャプション編集を含む処理例>
<7.アップロード時の処理例>
<8.用語集データに関する処理>
<9.まとめ及び変形例>
<10.本技術>
【0026】
<1.実施の形態の画像取り込みとアップロード>
本実施の形態の情報処理装置2を含む撮像装置1、FTPサーバ4、テキスト変換エンジン5、ネットワーク6を
図1に示す。
【0027】
撮像装置1としては、ビデオカメラやスチルカメラとしての各種の撮像装置がある。図示する撮像装置1は、カメラマンや記者がスポーツやイベントの会場や取材現場などで用いるカメラを想定している。
【0028】
情報処理装置2は、ここではスマートフォン等の携帯型端末装置を例示している。
なお情報処理装置の具体例としては、例えばパーソナルコンピュータ装置、タブレット型情報処理装置、携帯電話装置、ゲーム機器、オーディオ機器、ビデオ機器、通信装置、テレビジョン装置、サーバ装置など、各種の例が想定される。情報処理としての演算を行うことのできる装置、例えばマイクロコンピュータを内蔵する装置であれば本開示の情報処理装置として実現可能である。
但し、上述のようにイベント会場等での使用を想定する場合、スマートフォンやタブレット機器などの携帯端末であることが好適である。
【0029】
撮像装置1と情報処理装置2は、例えばブルートゥース(Bluetooth:登録商標)、WI-FI(登録商標)通信、NFC(Near Field Communication)等の近距離無線通信、赤外線通信により、相互に情報通信が可能とされる。
なお撮像装置1と情報処理装置2が有線接続通信によって相互に通信可能とされてもよい。
また情報処理装置2がFTPサーバ、撮像装置1がFTPクライアントとして機能し、撮像装置1から画像データ等が情報処理装置2にアップロードされる。即ち、撮像装置1には、FTP転送を行うためのFTP設定情報が記憶され、FTP設定情報を用いることにより情報処理装置2をFTPサーバとしたFTP転送が実行される。
【0030】
本実施の形態の場合、撮像装置1から情報処理装置2には、画像ファイルPFや音声ファイルAFが送信される状況を想定する。
情報処理装置2は撮像装置1から転送された画像ファイルPFや音声ファイルAFを保持し、ユーザに提示したり、メタデータの付与や編集を行ったり、FTPサーバ4へアップロードしたりすることができる。
【0031】
撮像装置1は、撮像動作により静止画や動画としての画像データを生成する。なお、メタデータの付与は撮像装置1で行うことも可能である。
図1に示す画像ファイルPFとは、この画像データとメタデータを含むデータファイルであるとする。
【0032】
また本実施の形態の場合、撮像装置1はボイスメモ機能を備える。これは、ユーザが撮像時に声を入力することで、撮像画像に対する注釈、説明等を音声で付与することができる機能である。例えば1枚の静止画を撮像した際にカメラマンが所定の操作を行いながら画像内容を説明する発声を行ったり、画像を指定した状態で発声を行ったりすることで、その音声が録音され、画像データと関連付けられたボイスメモとされる。
図1に示す音声ファイルAFとは、このボイスメモとしての音声データを含むデータファイルであるとする。
なお、動画撮像時には、周囲音声も音声トラックデータとして記録されるが、その音声トラックデータは画像ファイルPFに含まれる音声データであり、音声ファイルAFとは別である。説明上の音声ファイルAFは、あくまでもボイスメモとしての音声データを含むファイルを指すものとする。
以下では、静止画撮像を想定し、画像ファイルPFには静止画像データとメタデータ、音声ファイルAFには静止画撮像に伴って生成されたボイスメモデータが含まれる例で説明していく。
【0033】
なお、必ずしも全ての画像ファイルPFに音声ファイルAFが関連付けられている訳では無く、あくまでカメラマン等がボイスメモ機能を用いて音声入力を行った場合にのみ、撮像装置1で音声ファイルAFが生成され、画像ファイルPFに関連付けられる。
従って撮像装置1から情報処理装置2へのデータ転送においては、画像ファイルPFと音声ファイルAFが対になって送信される場合と、画像ファイルPFのみが送信される場合がある。
【0034】
情報処理装置2は、転送された画像ファイルPFや音声ファイルAFをネットワーク6を介してFTPサーバ4にアップロードすることができる。
ネットワーク6は、例えばインターネット、ホームネットワーク、LAN(Local Area Network)、衛星通信網、その他の各種のネットワークが想定される。
FTPサーバ4は、例えば新聞社、放送局、通信社などが運営するサーバが考えられる。もちろんそのようなサーバに限定されない。
FTPサーバ4の形態としてはクラウドサーバ、ホームサーバ、或いはパーソナルコンピュータなどが想定される。
【0035】
情報処理装置2は、単に撮像装置1から画像ファイルPF等をそのままFTPサーバ4にアップロードだけでなく、メタデータに含まれるキャプションデータを付加・編集したり画像サイズの設定、データ圧縮などを行ったりした上でアップロードすることができる。
また、情報処理装置2は、音声ファイルAFが関連付けられた画像ファイルPFについては、その音声ファイルAFにおける音声データ、即ち上述のボイスメモをテキスト化したテキストデータを取得し、メタデータに付加する処理も行った上で、アップロードすることができる。
【0036】
特に本実施の形態の場合、情報処理装置2は、メタデータに含まれるキャプションデータの編集の際の入力を補助する機能を提供する。
具体的には、用語データの集合体である用語集データを提示する機能や、用語集データを編集する機能や、用語集データごとの有効化(オン)/無効化(オフ)を切り換える機能や、用語集データごとの有効化/無効化の状態を管理する機能や、入力候補として用語集データから取得した文字列を提示する機能などを提供する。
【0037】
ここで、用語データ及び用語集データについて説明する。用語データは、「単語」と「ショートカット」が紐付けられたものとされ、一つの単語に対して複数のショートカットが設定可能である。例えば、選手名に対して背番号を示す数字がショートカットとして紐付けられる。キャプションデータの編集を行う場合に、背番号を示す数字を入力することにより、該背番号に紐付けられた選手名が入力候補としてサジェストされる。これにより、短い入力文字数で適切な文字列を入力することができ、編集作業の効率化が図られる。
【0038】
なお、日本語のように文字に対して複数の読み方が考えられる場合には、「単語」と「ショートカット」に加えて「読み」が紐付けられて一つの用語データとされる。
【0039】
用語集データは複数の用語データがまとまったものとされ、例えばジャンルごとに作成される。例えば、野球に関連した用語データだけをあつめた野球用の用語集データやサッカーに関連した用語データだけを集めたサッカー用の用語集データなどがある。また、更に細分化してチームごとの用語集データや選手名だけが登録された用語集データなどが作成されてもよい。なお、一つの用語データのみが登録された用語集データであってもよい。
【0040】
用語集データはそれぞれ有効化情報を設定可能とされ、有効化情報が変更されることによりオン/オフが切り換えられる。
【0041】
ボイスメモのテキストデータ化は、情報処理装置2にテキスト変換エンジンが装備されることで、実行されるようにすることが考えられるが、情報処理装置2自体はテキスト変換機能を備えず、外部のテキスト変換エンジン5を用いるようにしてもよい。
例えば情報処理装置2は、ネットワーク6を介してテキスト変換エンジン5にボイスメモの音声データを送信する。
テキスト変換エンジン5は、この音声データをテキスト化する処理を行い、生成したテキストデータを情報処理装置2に送信する。これにより情報処理装置2はボイスメモをテキスト化したテキストデータを取得することができる。
なお説明上、ボイスメモをテキスト化したテキストデータを「ボイスメモテキスト」とも呼ぶこととする。
【0042】
この
図1のような通信システムが構築されることで、例えば撮像装置1のユーザが新聞社の仕事を行うプロカメラマンである場合、次のようなことが可能になる。
即ちカメラマンがイベント会場で撮像した画像を、自分のスマートフォン(情報処理装置2)に転送する。そしてスマートフォン等の情報処理装置2においてキャプション編集などの必要な作業を行った上で、情報処理装置2からFTPサーバ4に撮像画像をアップロードするというようなシステム利用態様が想定される。また、スマートフォン等の情報処理装置2に画像を転送した後、情報処理装置2において自動的にFTPサーバ4へのアップロードが行われてもよい。
このような態様において、ボイスメモがテキスト化されてメタデータに付加され、画像データとともにアップロードされるものとなる。
【0043】
<2.撮像装置の構成>
撮像装置1の構成例を
図2で説明する。
撮像装置1は、例えばレンズ系11、撮像素子部12、カメラ信号処理部13、記録制御部14、表示部15、通信部16、操作部17、カメラ制御部18、メモリ部19、ドライバ部22、センサ部23、音声入力部25、音声処理部26を有する。
【0044】
レンズ系11は、ズームレンズ、フォーカスレンズ等のレンズや絞り機構などを備える。このレンズ系11により、被写体からの光(入射光)が導かれ撮像素子部12に集光される。
【0045】
撮像素子部12は、例えば、CMOS(Complementary Metal Oxide Semiconductor)型やCCD(Charge Coupled Device)型などのイメージセンサ12a(撮像素子)を有して構成される。
この撮像素子部12では、イメージセンサ12aで受光した光を光電変換して得た電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のカメラ信号処理部13やカメラ制御部18に出力する。
【0046】
カメラ信号処理部13は、例えばDSP(Digital Signal Processor)等により画像処理プロセッサとして構成される。このカメラ信号処理部13は、撮像素子部12からのデジタル信号(撮像画像信号)に対して、各種の信号処理を施す。例えばカメラプロセスとしてカメラ信号処理部13は、前処理、同時化処理、YC生成処理、解像度変換処理、ファイル形成処理等を行う。
【0047】
前処理では、撮像素子部12からの撮像画像信号に対して、R,G,Bの黒レベルを所定のレベルにクランプするクランプ処理や、R,G,Bの色チャンネル間の補正処理等を行う。
同時化処理では、各画素についての画像データが、R,G,B全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
YC生成処理では、R,G,Bの画像データから、輝度(Y)信号および色(C)信号を生成(分離)する。
解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
【0048】
ファイル形成処理では、例えば以上の各種処理が施された画像データについて、例えば記録用や通信用の圧縮符号化、フォーマティング、メタデータの生成や付加などを行って記録用や通信用のファイル生成を行う。
例えば静止画ファイルとしてJPEG(Joint Photographic Experts Group)、TIFF(Tagged Image File Format)、GIF(Graphics Interchange Format)等の形式の画像ファイルPFの生成を行う。またMPEG-4準拠の動画・音声の記録に用いられているMP4フォーマットなどとしての画像ファイルPFの生成を行うことも考えられる。
なおロー(RAW)画像データとして画像ファイルPFを生成することも考えられる。
【0049】
カメラ信号処理部13は、メタデータについては、カメラ信号処理部13内の処理パラメータの情報や、カメラ制御部18から取得する各種制御パラメータ、レンズ系11や撮像素子部12の動作状態を示す情報、モード設定情報、撮像環境情報(日時や場所など)を含むものとして生成する。
特に本実施の形態の場合
図3に例示するIPTC(International Press Telecommunications Council)メタデータを含むものとする。
IPTCメタデータは、メディア企業団体が策定したフォーマットによるメタデータであり、
図3はその一部の項目のみを例示しているが、「ディスクリプション/キャプション」「ディスクリプションライター」「ヘッドライン」「キーワード」など、多様な情報を記述可能とされる。
【0050】
記録制御部14は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部14は例えば記録媒体に対し動画データや静止画データ等の画像ファイルやサムネイル画像等を記録する処理を行う。
記録制御部14の実際の形態は多様に考えられる。例えば記録制御部14は、撮像装置1に内蔵されるフラッシュメモリとその書込/読出回路として構成されてもよい。また記録制御部14は、撮像装置1に着脱できる記録媒体、例えばメモリカード(可搬型のフラッシュメモリ等)に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また記録制御部14は、撮像装置1に内蔵されている形態としてHDD(Hard Disk Drive)などとして実現されることもある。
【0051】
表示部15は撮像者に対して各種表示を行う表示部であり、例えば撮像装置1の筐体に配置される液晶パネル(LCD:Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等のディスプレイデバイスによる表示パネルやビューファインダーとされる。
表示部15は、カメラ制御部18の指示に基づいて表示画面上に各種表示を実行させる。
例えば表示部15は、記録制御部14において記録媒体から読み出された画像データの再生画像を表示させる。
また表示部15にはカメラ信号処理部13で表示用に解像度変換された撮像画像の画像データが供給され、表示部15はカメラ制御部18の指示に応じて、当該撮像画像の画像データに基づいて表示を行う場合がある。これにより構図確認中や動画記録中などの撮像画像である、いわゆるスルー画(被写体のモニタリング画像)が表示される。
また表示部15はカメラ制御部18の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を画面上に現出させる。
【0052】
通信部16は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等に対して撮像画像データ(静止画ファイルや動画ファイル)の送信出力を行う。
また通信部16はネットワーク通信部として、例えばインターネット、ホームネットワーク、LAN(Local Area Network)等の各種のネットワーク6による通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うことができる。例えば
図1では記載を省略したが、通信部16は、撮像した画像データ(上述の画像ファイル等)をFTPサーバ4にアップロードする通信処理を行ってもよい。
また本実施の形態の場合、通信部16は、情報処理装置2との間で通信を行い、画像ファイルPFや音声ファイルAFの転送を実行する。
【0053】
操作部17は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部17は撮像装置1の筐体に設けられた各種の操作子(キー、ダイヤル、タッチパネル、タッチパッド等)を示している。
操作部17によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部18へ送られる。
【0054】
カメラ制御部18はCPU(Central Processing Unit)を備えたマイクロコンピュータ(演算処理装置)により構成される。
メモリ部19は、カメラ制御部18が処理に用いる情報等を記憶する。図示するメモリ部19としては、例えばROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリなどを包括的に示している。
メモリ部19はカメラ制御部18としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部18はメモリ部19のROMやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置1の全体を制御する。
例えばカメラ制御部18は、撮像素子部12のシャッタースピードの制御、カメラ信号処理部13における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、記録した画像の転送動作やアップロード動作、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系11の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。
【0055】
メモリ部19におけるRAMは、カメラ制御部18のCPUの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
メモリ部19におけるROMやフラッシュメモリ(不揮発性メモリ)は、CPUが各部を制御するためのOS(Operating System)や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア、各種の設定情報等の記憶に用いられる。
各種の設定情報としては、上述のFTP設定情報や、撮像動作に関する設定情報としての露出設定、シャッタースピード設定、モード設定や、画像処理に係る設定情報としてのホワイトバランス設定、色設定、画像エフェクトに関する設定や、操作性に係る設定情報としてのカスタムキー設定や表示設定などがある。
【0056】
ドライバ部22には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。
これらのモータドライバはカメラ制御部18からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。
【0057】
センサ部23は、撮像装置に搭載される各種のセンサを包括的に示している。
センサ部23としては例えばIMU(inertial measurement unit:慣性計測装置)が搭載されており、例えばピッチ、ヨー、ロールの3軸の角速度(ジャイロ)センサで角速度を検出し、加速度センサで加速度を検出することができる。
またセンサ部23としては、例えば位置情報センサ、照度センサ、近接センサ等が搭載される場合もある。
【0058】
音声入力部25は例えばマイクロホン及びマイクアンプ等を有し、周囲音声を集音した音声信号を出力する。
音声処理部26は、音声入力部25で得られた音声信号についてデジタル音声信号に変換する処理や、AGC処理、音質処理、ノイズリダクション処理などを行う。これらの処理を経た音声データはカメラ信号処理部13やカメラ制御部18に出力される。
例えば音声データは、動画撮像時にはカメラ制御部18において動画に付随する音声データとして処理される。
【0059】
また音声データは、撮像時などにおける、いわゆるボイスメモとしての音声データとして、カメラ信号処理部13或いはカメラ制御部18において音声ファイルAFとしてファイル化されるようにすることもできる。
音声ファイルAFは、記録制御部14において画像ファイルに対応づけられて記録媒体に記録されたり、通信部16から画像ファイルとともに送信出力されたりすることができる。
【0060】
<3.情報処理装置の構成>
例えば携帯端末装置などとされる情報処理装置2の構成例を
図4に示す。
情報処理装置2のCPU71は、ROM72に記憶されているプログラム、または記憶部79からRAM73にロードされたプログラムに従って各種の処理を実行する。RAM73にはまた、CPU71が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU71、ROM72、およびRAM73は、バス74を介して相互に接続されている。このバス74にはまた、入出力インタフェース75も接続されている。
【0061】
入出力インタフェース75には、操作子や操作デバイスよりなる入力部76が接続される。
例えば入力部76としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部76によりユーザの操作が検知され、入力された操作に応じた信号はCPU71によって解釈される。
【0062】
また入出力インタフェース75には、LCD或いは有機ELパネルなどよりなる表示部77や、スピーカなどよりなる音声出力部78が一体又は別体として接続される。
表示部77は各種表示を行う表示部であり、例えば情報処理装置2の筐体に設けられるディスプレイデバイスや、情報処理装置2に接続される別体のディスプレイデバイス等により構成される。
表示部77は、CPU71の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部77はCPU71の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を行う。
【0063】
入出力インタフェース75には、ハードディスクや固体メモリなどより構成される記憶部79や、モデムなどより構成される通信部80が接続される場合もある。
【0064】
通信部80は、インターネット等の伝送路を介しての通信処理や、各種機器との有線/無線通信、バス通信などによる通信を行う。
本実施の形態の場合、通信部80は、撮像装置1との間で、例えば上述のFTP通信、ブルートゥース、WI-FI、NFC等の近距離無線通信、赤外線通信、有線接続通信などによる通信を行う機能を備える。
【0065】
入出力インタフェース75にはまた、必要に応じてドライブ82が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体81が適宜装着される。
ドライブ82により、リムーバブル記録媒体81からは画像ファイル等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部79に記憶されたり、データファイルに含まれる画像や音声が表示部77や音声出力部78で出力されたりする。またリムーバブル記録媒体81から読み出されたコンピュータプログラム等は必要に応じて記憶部79にインストールされる。
【0066】
情報処理装置2にはテキスト変換エンジン83としてのプロセッサが装備される場合がある。
テキスト変換エンジン83は、例えば音声データを解析してテキストデータに変換する処理を行う。
なお、上述のように外部のテキスト変換エンジン5を利用する場合は、情報処理装置2がテキスト変換エンジン83としてのプロセッサを備えていなくてもよい。
【0067】
この情報処理装置2では、例えば本開示の処理のためのソフトウエアを、通信部80によるネットワーク通信やリムーバブル記録媒体81を介してインストールすることができる。或いは当該ソフトウエアは予めROM72や記憶部79等に記憶されていてもよい。
【0068】
例えばこのようなソフトウエア(アプリケーションプログラム)によって、
図5のような機能構成が情報処理装置2のCPU71において構築される。
図5には情報処理装置2に設けられる機能として、UI(ユーザインタフェース)制御部31、通信制御部32、テキスト取得部33、データ管理部34、アップロード処理部35、用語集管理部36を示している。
【0069】
UI制御部31は、撮像装置1から転送されてくる画像ファイルPFや音声ファイルAFをユーザに提示したり、各種情報の設定や編集等のためのユーザ操作を受け付けたりするユーザインタフェース処理を行う。
ユーザインタフェース処理としては、ユーザに対する表示出力や音声出力等の出力を行ってユーザに操作入力環境を提供する処理、ユーザに対して各種情報の提示のための表示出力や音声出力を行う処理、ユーザによる操作を検知する処理、ユーザの意思を検知/推定する処理などがある。
UI制御部31は、例えばユーザに対する表示出力や音声出力等の出力を行ってユーザに操作入力環境を提供する処理を行う。
或いはUI制御部31は、例えばユーザによる操作を検知する処理を行う。
或いはUI制御部31は、例えばユーザに操作入力環境を提供する処理と、ユーザによる操作を検知する処理の両方を行う。
もちろんUI制御部31は他のユーザインタフェース処理を行ってもよい。
【0070】
UI制御部31は、音声ファイルAFのボイスメモをテキスト化したボイスメモテキストを、自動的に画像データに付加されたメタデータにおけるキャプションデータの一部として追加する処理をオン/オフすることのできるUI環境を提供する。
またUI制御部31は、ボイスメモテキストを画像データに対応するメタデータとする処理を行った後において画像データとメタデータを含む画像ファイルPFをFTPサーバ4にアップロードする処理を自動的に行うか否かを設定できるUI環境を提供する。又、その場合に音声ファイルAFをアップロードするか否かを設定できるようにもする。
またUI制御部31は、ボイスメモテキストを表示させたり音声再生させたりするUI環境も提供する。
【0071】
なお、本実施の形態におけるUI制御部31は、用語集データを複数用いてメタデータとしてのテキスト情報の編集を可能とするためのユーザインタフェース処理を行う。具体的には、野球のAチームとBチームの試合を撮影した画像データに付与されるキャプションデータの編集において、サッカーの用語集データとAチームの用語集データとBチームの用語集データをオン状態として入力文字の候補をユーザに対して提示する。
【0072】
入力文字の候補とは、例えば、既に入力された文字から推測される単語や文章をサジェストする際に、情報処理装置2が備えている予測変換機能によって普段から使用頻度の高い単語等と、オン状態に制御されている用語集データから単語であって入力済みの文字から始まる単語である。以降の説明においては、入力済みの文字を「入力文字」としそこから推測される入力予定の文字を「入力候補」と記載する。
【0073】
UI制御部31は、用語データや用語集データを編集するためのユーザインタフェース処理を行う。
また、UI制御部31は、用語集データごとのオン/オフを切り換えるためのユーザインタフェース処理を行う。
更に、UI制御部31は、用語集データを他の情報処理装置などから取得するためのユーザインタフェース処理や、他の情報処理装置へ転送するためのユーザインタフェース処理を実行する。
また、UI制御部31は、用語集データの同期設定を変更するためのユーザインタフェース処理を行う。
【0074】
通信制御部32は、通信部80による通信動作を制御する機能である。
この通信制御部32は、撮像装置1との通信を通信部80に実行させる処理を行う。
【0075】
テキスト取得部33は、撮像装置1から音声ファイルAFが転送されてきた場合に、音声ファイルAFに含まれるボイスメモをテキスト化したボイスメモテキストを取得する処理を行う。
具体的にはテキスト取得部33は、テキスト変換エンジン83にテキスト化処理を実行させ、ボイスメモテキストを取得する。
或いはテキスト取得部33は、ボイスメモとしての音声データを通信部80からテキスト変換エンジン5に送信し、テキスト変換エンジン5から返信されてくるボイスメモテキストを取得する処理を行う。
【0076】
データ管理部34は、撮像装置1から送信される画像データを含む画像ファイルPF及び関連するボイスメモを含む音声ファイルAFを受信した後に、音声ファイルAFに含まれるボイスメモについてテキスト取得部33で取得したボイスメモテキストを、画像データに対応するメタデータとする処理を行う機能である。
またデータ管理部34は、撮像装置1から送信されてきた画像ファイルPFや音声ファイルAFの記憶、編集等の処理を行う。例えば画像データの編集、メタデータの付加(タグの付加)、各種動作設定に関する処理などを行う。
【0077】
アップロード処理部35は、通信部80を介したFTPサーバ4へのアップロード処理を行う機能である。
特にアップロード処理部35は、データ管理部34が音声ファイルAFについてのボイスメモテキストを画像データに対応するメタデータとする処理を行った後に、画像ファイルPF(画像データとメタデータ)をFTPサーバ4にアップロードする処理を行う。アップロード処理部35は、画像ファイルPFとともに音声ファイルAFをFTPサーバ4にアップロードする場合もある。
【0078】
用語集管理部36は、用語データ及び用語集データの記憶処理や用語集データのオン/オフ制御や、用語集データのオン/オフ状態の記憶処理や、入力文字に対応する入力候補をオン状態の用語集データから検索する処理や、通信制御部32によって他の情報処理装置から受信した用語集データを取得する処理や、用語集データを記憶する処理や、通信制御部32を介した用語集データの転送処理などを行う。
【0079】
以上の各機能は、例えば情報処理装置2が本開示の処理を実現するアプリケーションソフトウェアをインストールすることで具備される。
情報処理装置2は、以上の機能のうちUI制御部31及び用語集管理部36を備えることで、メタデータの編集に用語集データを用いるための各処理が実行される。
【0080】
<4.ユーザインタフェース画面>
以下、情報処理装置2の表示部77におけるUI画面について説明する。以下の各画面はCPU71がUI制御部31の機能により表示部77において表示させる画面の例である。説明では、例えば情報処理装置2としてスマートフォンを想定し、その筐体上に形成されたディスプレイにおける表示内容を想定している。
【0081】
図6は画像一覧画面50を示している。
この画像一覧画面50は、撮像装置1から転送された画像ファイルPFの画像データがサムネイル画像により一覧表示される画面である。
【0082】
画像一覧画面50には画像一覧領域101が設けられ、この画像一覧領域101に撮像装置1から取り込んだ画像データのサムネイル画像103が一覧表示される。なお一覧表示する対象の画像は、取り込んだ全ての画像としたり、プロテクトされた画像のみとしたりするなどを選択できる。画像の数が多く一画面で表示しきれない場合は、スクロールやページ送りなどにより各画像(サムネイル画像103)が表示される。
【0083】
各サムネイル画像103に対応して画像情報104が表示される。画像情報104には例えば「DSC00000」などの画像データ名や、プロテクト状態を示すアイコン、FTPアップロードに関するアイコンなどが表示される。
【0084】
また一覧表示される画像データ(画像ファイルPF)の中にはボイスメモとしての音声ファイルAFが関連付けられているものもある。対応するボイスメモが存在する画像データについては、そのサムネイル画像103上にボイスメモマーク105が表示されるようにしている。
【0085】
画像一覧画面50にはメニューボタン102が表示される。ユーザがメニューボタン102をタップする等の操作を行うと、表示は後述するメニュー画面55に遷移する。
【0086】
図7は、メニュー画面55の一例である。メニュー画面55にはメニュー画面55を閉じるための閉じるボタン109が設けられている。
【0087】
メニュー画面55には、メニュー項目として、FTPアップロードプリセット項目141、IPTCメタデータプリセット項目142、キャプションテンプレート項目143、キャプション用語集項目144、FTP取り込み履歴項目145、取り込み項目146、設定項目147、ボイスメモ自動キャプション付与項目148、サポートページ項目149、MACアドレス確認項目150、データ削除項目151、アカウント項目152が設けられている。もちろんこれらは一例に過ぎず、メニュー項目の内容は多様な例が考えられる。また項目数がさらに多くてもよいし、階層化されても良い。項目数が多い場合はスクロールやページ送りにより各項目が表示される。
【0088】
ここでは本実施の形態の処理に関連する項目として、先ず、キャプション用語集項目144に対する操作について説明する。
キャプション用語集項目144は、用語集データについての各種操作を行うための項目である。ユーザがキャプション用語集項目144に対する操作を行うと用語集一覧画面58が表示される。
【0089】
図8は用語集一覧画面58の一例である。
用語集一覧画面58には戻るボタン110が設けられ、戻るボタン110が操作されると
図7のメニュー画面55に戻る。
【0090】
用語集一覧画面58には、用語集データの一覧が表示される用語集一覧表示部111と新たに用語集データを追加する用語集追加ボタン112が表示されている。
また、それぞれの用語集データには、用語集データごとの操作を行うためのサブメニューボタン113と、オン/オフ状態を示すと共にオン/オフ状態を切り換える選択ボタン114が表示されている。
各用語集データのオン/オフ状態は、戻るボタン110が操作されメニュー画面55に戻る際に記憶される。
【0091】
図8に示す状態では、タイトルが「スポーツ1」とされた用語集データがオン状態とされ、タイトルが「スポーツ2」とされた用語集データがオフ状態とされ、タイトルが「スポーツ3」とされた用語集データがオン状態とされている。
ユーザは、それぞれの用語集データの選択ボタンを操作することにより、テキスト編集の際に提示されるサジェストワードを切り換えることができる。
【0092】
用語集データごとに設けられたサブメニューボタン113に対する操作を行うと、
図9に示す用語集サブメニューダイアログ59が用語集一覧画面58に重畳して表示される。
用語集サブメニューダイアログ59には、用語集データに付与されたタイトル(先の「スポーツ1」など)を変更するためのタイトル変更ボタン115と、オフ状態からオン状態(選択状態)に変更するための選択ボタン116と、用語集データに収録された各用語データを編集するための編集ボタン117と、用語集データを削除するための削除ボタン118が表示されている。
また、例えば、用語集サブメニューダイアログ59の領域外を操作すると用語集サブメニューダイアログ59の表示が終了し用語集一覧画面58の表示へと戻る。
【0093】
選択ボタン116は、オフ状態の用語集データにおけるサブメニューボタン113が操作された場合に表示されるものであり、オン状態の用語集データにおけるサブメニューボタン113が操作された場合には選択ボタン116の替わりに未選択状態へ変更する未選択ボタン116Aが表示される。
【0094】
編集ボタン117は、用語集データに登録された用語データの変更だけでなく、用語集データに新たな用語データを追加する場合や、登録された用語データを削除する場合などを行う場合にも操作される。
【0095】
編集ボタン117に対する操作を行うと、
図10に示す用語集データ編集画面60が表示される。
用語集データ編集画面60には、用語集データに付与されたタイトルが表示されるタイトル表示部119と、用語集一覧画面58に戻るための戻るボタン120と、用語集データに登録された用語データの一覧が表示される用語一覧表示部121と、用語データを検索するための検索ボタン122と、用語データを追加するための用語追加ボタン123が表示されている。
【0096】
用語一覧表示部121には、一つの用語データが表示されている。即ち、
図10は、タイトルが「スポーツ1」とされた用語集データには「エンタイトルツーベース」という一つの用語のみが登録された例を示している。
【0097】
また、それぞれの用語データには用語データごとの操作を行うためのサブメニューボタン124が設けられている。
【0098】
サブメニューボタン124に対する操作が行われると、
図11に示す用語サブメニューダイアログ62が表示される。
用語サブメニューダイアログ62には、用語データの編集を行うための編集ボタン125と、用語データの削除を行うための削除ボタン126が設けられている。また、用語サブメニューダイアログ62の領域外を操作すると用語サブメニューダイアログ62の表示が終了し用語集データ編集画面60が再度表示される。
【0099】
用語サブメニューダイアログ62の編集ボタン125が操作されると、
図12に示す用語データ編集画面63が表示される。
用語データ編集画面63には、用語集データ編集画面60に戻るための戻るボタン127と、用語データの単語を編集する単語入力欄128と読み及びショートカットを編集する読み入力欄129が設けられている。
【0100】
なお、上述の説明においては、単語の読みは単語に対する読み方を示すものであり、単語のショートカットは単語をサジェストワードとして提示するために入力される文字列であるとした。即ち、「読み」と「ショートカット」は異なる概念であると説明したが、双方とも単語をサジェストワードとして提示するために入力される文字列であることは変わらないため、ここでは「読み」と「ショートカット」を区別せずに「読み」としている。
例えば、「読み」である「えんたいとるつーべーす」の「えんたいとる」の部分を入力した時点で「エンタイトルツーベース」がサジェストワードとして提示される。また、同様に「ショートカット」である「2」を入力した時点で紐付けられている「エンタイトルツーベース」がサジェストワードとして提示される。
即ち、ユーザは「読み」の一部を入力したとしても「ショートカット」の一部を入力したとしても該当する単語をサジェストワードとして提示させることができ、編集作業の効率化が図られる。
【0101】
それぞれの読み入力欄129には「読み」(「ショートカット」を含む)として設定されている文字列を削除するための削除ボタン129aが配置されている。
【0102】
図8の用語集一覧画面58の説明に戻る。
用語集一覧画面58の用語集追加ボタン112に対する操作が行われると、
図13に示す用語集追加ダイアログ64が表示される。
用語集追加ダイアログ64には、新規作成ボタン180とインポートボタン181が表示されている。
【0103】
新規作成ボタン180は、情報処理装置2を操作して新たに用語集データを作成するための操作子である。
インポートボタン181は、他の情報処理装置から既に作成済みの用語集データを取得することにより情報処理装置2が管理する用語集データに新たな用語集データを追加するための操作子である。
【0104】
図6に示す画像一覧画面50の説明に戻る。
画像一覧画面50に対してユーザは画像選択操作を行うことができる。例えばユーザはサムネイル画像103のタップ等の操作により特定の画像データを選択できる。
例えば特定の画像データの選択操作により、
図14のようなキャプション編集画面52が表示される。
【0105】
キャプション編集画面52には、画像欄130、キャプション欄132、ボイスメモ欄133が設けられる。
【0106】
画像欄130には、サムネイル画像103と送りボタン107が表示される。表示されるサムネイル画像103は、ユーザが選択した画像データのサムネイル画像である。これにより表示されているキャプション編集画面52は、サムネイル画像103で表される画像データについてのキャプションの編集を行う画面であることが明確にされる。
【0107】
ユーザは、送りボタン107の操作により、画像一覧画面50で前後に配置される画像データが選択された状態へと切り換えることができる。例えば送りボタン107を操作することで、キャプション編集画面52上でサムネイル画像103が切り換えられる。するとそのキャプション編集画面52は、当該新たなサムネイル画像103で表される画像データについてのキャプションの編集を行う画面となる。
【0108】
またユーザは例えばピンチ操作やタップ操作などにより、サムネイル画像103で示される画像を
図15の個別画像画面51により大きく表示させることができる。
個別画像画面51では、送りボタン107が表示されており、ユーザは、この送りボタン107の操作により、個別画像画面51の状態で前後の画像に表示を切り換えることができる。
またボイスメモが存在する画像データの場合は、個別画像画面51上でもボイスメモマーク105が表示される。
【0109】
図14のキャプション編集画面52のキャプション欄132には、上述のIPTCメタデータにおける「ディスクリプション/キャプション」の欄に記述されるキャプションデータが表示されキャプションデータの編集が可能とされる。
例えばユーザがキャプション欄132をタップすると
図16に示すようにソフトウェアキーボード131が表示され、ソフトウェアキーボードに対する操作を行うことにより任意の文字入力が可能となる。このキャプション欄132を用いて入力されたキャプションデータは、当該画像データについてのIPTCメタデータのディスクリプション/キャプションの欄に記述されることになる。
【0110】
既にキャプションデータが入力されている画像データ、つまりIPTCメタデータとしてキャプションデータが記述済の画像データについて、キャプション編集画面52が開かれた場合は、その入力済のキャプションデータがキャプション欄132に表示される状態となる。キャプションデータは例えば撮像装置1において付加することもできるため、撮像装置1で入力されたキャプションデータがキャプション欄132に表示される場合もあるし、過去にキャプション欄132で入力されIPTCメタデータに記述されたキャプションデータが表示される場合もある。
従ってユーザは、キャプション欄132を用いて、新規にキャプションデータを入力したり、過去に入力されたキャプションデータに対して追加、削除、修正等の編集を行ったりすることができる。
【0111】
図16は、ソフトウェアキーボード131を用いて「エンタ」という文字の入力がなされた状態を示している。入力文字「エンタ」の後方には入力文字位置を示すキャレット190が表示されている。
また、キャプション欄132とソフトウェアキーボード131の間には、入力文字から想定される入力予定の文字列や単語(即ち入力候補)を提示するサジェスト欄191が設けられている。
【0112】
サジェスト欄191は、通常の入力候補が表示される通常候補表示欄191aと前述した用語集データから選択された入力候補が表示される特定候補表示欄191bから成る。
【0113】
通常候補表示欄191aには、例えば、本アプリケーションプログラムを含め情報処理装置2で実行可能な全てのアプリケーションプログラム上で入力された文字列から使用頻度などを考慮して選択される文字列や文章が表示される。
これにより、例えば、「エンターテインメント」やエンターテインメントの略語である「エンタメ」などが通常候補表示欄191aでサジェストされる。
【0114】
特定候補表示欄191bには、特定の撮影状況で頻出する用語データや入力が面倒な用語データが登録された用語集データのうちユーザによって選択された用語集データから取得された用語データの文字情報が表示される。例えば、用語集データに登録された用語データのうち、入力文字である「エンタ」から始まる単語や入力文字が一部に含まれる用語データの文字情報が表示される。
これにより、例えば、野球など特定の場面でのみ使用される単語である「エンタイトルツーベース」などが特定候補表示欄191bでサジェストされる。
【0115】
ユーザは、通常候補表示欄191aや特定候補表示欄191bに表示された文字列を選択する操作を行うことにより、選択された文字列がキャレット190の表示位置に挿入される。
これにより、キャプションデータの編集が迅速化される。
なお、用語データにはショートカットが紐付けられている。例えば、
図12に示すように「エンタイトルツーベース」の文字情報に対して「2」というショートカットが紐付けられている。
即ち、ユーザは「エンタイトルツーベース」という単語に全く含まれない文字列としての「2」を入力することにより特定候補表示欄191bに「エンタイトルツーベース」の文字列を表示させることができる。
従って、ユーザは、用語データのショートカットを上手く利用することにより、キャプションデータの編集を簡単に素早く行うことができる。
【0116】
図14の説明に戻る。キャプション編集画面52には、テンプレートボタン138やボイス入力ボタン139が設けられる。
ユーザはテンプレートボタン138を操作することで、キャプションのテンプレートを呼び出してキャプション欄132に表示させることができる。
またユーザはボイス入力ボタン139を操作することで、キャプションデータを音声により入力することができる。この場合に入力された音声のテキスト化は、ボイスメモのテキスト化と同様に行われれば良い。
【0117】
キャプション編集画面52のボイスメモ欄133にはボイスメモテキスト領域134が設けられ、ボイスメモテキストが表示される。即ち撮像装置1から音声データとして転送されてきたボイスメモがテキスト化され、ボイスメモ欄133に表示される。これによりユーザはキャプション編集画面52でボイスメモの内容を確認できる。
またボイスメモ欄133には、再生ボタン135、コピーボタン136、削除ボタン137が表示され、ボイスメモに関する操作が可能とされる。
【0118】
ユーザが再生ボタン135を操作すると、ボイスメモの音声再生が開始される。
図17には音声再生が行われている状態の表示を示している。
例えば音声再生中はボイスメモテキスト領域134、再生ボタン135、コピーボタン136、削除ボタン137の表示に代えてシークバー160、現在タイム161、総再生長162、停止ボタン163、一時停止ボタン164が表示される。シークバー160や現在タイム161により音声再生の進行状況が示される。
また停止ボタン163や一時停止ボタン164により、ユーザが音声再生を停止させたり一時停止させたりすることができるようにされる。
【0119】
図14のキャプション編集画面52のボイスメモ欄133においてユーザが削除ボタン137を操作すると、ボイスメモの削除が行われる。
この場合、削除ボタン137の操作に応じて、例えば
図18のような確認ダイアログ61が表示され、ユーザに削除の確認が求められる。確認ダイアログ61では、削除に関する注意喚起メッセージ167が表示されるとともに、OKボタン165,キャンセルボタン166が表示される。ユーザがOKボタン165を操作することで削除処理が実行される。ユーザがキャンセルボタン166を操作した場合は、削除処理は中止される。
【0120】
なお、ボイスメモの削除としては、次の例が考えられる。
画像データに対応するボイスメモが存在する場合には、ボイスメモテキストが得られている場合とテキスト化されていない場合がある。
音声データであるボイスメモが存在しボイスメモテキストが存在しない場合は、削除操作によってボイスメモ(音声ファイルAF)が削除されるようにすることが考えられる。
音声データであるボイスメモとボイスメモテキストが存在する場合、削除操作によっては、ボイスメモとボイスメモテキストの両方を削除するようにすること、ボイスメモのみを削除するようにすること、又はボイスメモテキストのみを削除するようにすること、がそれぞれ考えられる。もちろんボイスメモとボイスメモテキストについて個別に削除ボタンを設けるようにしてもよい。
【0121】
図14のキャプション編集画面52のボイスメモ欄133においてユーザがコピーボタン136を操作すると、ボイスメモテキスト領域134に表示されているボイスメモテキストがシステム上のクリップボード領域にコピーされる。この場合、例えば
図19のようなコピーメッセージ168が表示されてユーザにコピーの旨が通知される。
ユーザは、クリップボード領域にコピーされたボイスメモテキストのテキストデータについては、所定の操作でキャプション欄132にペーストすることができる。つまりユーザはボイスメモテキストをコピー/ペースト操作により、キャプションデータとして使用することができる。
【0122】
またボイスメモテキスト領域134は、後述する自動キャプション付与の設定により自動的にキャプション欄132に挿入される場合もある。
例えば
図20は、キャプション編集画面52が開かれた状態で、ボイスメモテキストとしてのテキストデータが、キャプションデータとして付加されている例を示している。この場合、「エンタイトルツーベース」がキャプションデータとして先に入力されていたテキストであり、その後に続く「田中選手が2回表に打ちました」というテキストデータが、自動挿入されたボイスメモテキストである。
なお、このようにボイスメモテキストがキャプションデータに自動挿入される場合において、先にキャプションデータのテキストが存在している場合、ボイスメモテキストを、そのキャプションの前に挿入するか、後に挿入することが考えられる。自動挿入である場合は、既入力のキャプションの内容を分かりやすくするため、既入力のキャプションの後にボイスメモテキストを追加することが望ましい。
【0123】
なお
図21、
図22は、スマートフォンである情報処理装置2を横向きにして使用する場合の表示例を示している。
図21の表示内容は
図14と同様であるが、横画面に対応した領域配置となる。
【0124】
また
図22は、
図16と同じ表示内容とされており、キャプション欄132への文字入力のためのソフトウェアキーボード131が表示された状態を示している。この場合、
図16よりも画面の縦サイズが小さいため、画像欄130、ボイスメモ欄133、キャプション欄132が全体的に上方にずれるようにされ、ソフトウェアキーボード131が表示されてもキャプション欄132が視認できる状態とされている。
【0125】
なお、
図14、
図16、
図17、
図20、
図21、
図22に示すように、キャプション編集画面52には戻るボタン106が設けられている。戻るボタン106が操作されることで、例えば画像一覧画面50に戻る。
【0126】
続いてボイスメモの処理やアップロードに関する設定のためのインタフェース画面を説明する。
前述したメニュー画面55における各メニュー項目の中から、本実施の形態の処理に関連する項目として設定項目147とボイスメモ自動キャプション付与項目148からの操作について説明する。
ボイスメモ自動キャプション付与項目148は、ボイスメモをテキスト化した場合に、そのボイスメモテキストを自動的にキャプションデータに付加するか否かをユーザが選択できるようにした項目である。
【0127】
ユーザがボイスメモ自動キャプション付与項目148を操作すると
図23のボイスメモ自動キャプション付与設定画面53が表示される。ボイスメモ自動キャプション付与設定画面53には設定スイッチ170が表示され、これによってユーザはボイスメモ自動キャプション付与機能のオン/オフを設定できる。
設定スイッチ170がオンとされると、ボイスメモテキストが得られた場合に、
図20に示したように、自動的にそのボイスメモテキストがキャプションデータに挿入される。
設定スイッチ170がオフとされると、そのような自動挿入が行われない。
【0128】
ボイスメモ自動キャプション付与設定画面53には戻るボタン106が設けられ、戻るボタン106が操作されると
図7のメニュー画面55に戻る。設定ボタン170のオン/オフ状態は、戻るボタン106が操作されたときの状態で有効化される。
【0129】
また
図7のメニュー画面55において、ユーザが設定項目147を操作すると
図24の設定画面56が表示される。設定画面56には設定項目として、キャプション用語集の同期項目201、取り込み項目202、メタデータ編集項目203、自動FTPアップロード項目204が表示される。もちろんこれは一例である。
この設定画面56でユーザが自動FTPアップロード項目204を操作すると、
図25の自動アップロード設定画面57が表示される。
【0130】
自動アップロード設定画面57には設定スイッチ171が表示され、これによってユーザは自動アップロードをオン/オフを設定できる。
自動アップロード機能とは、撮像装置1から画像ファイルPFが転送されてきた際に、設定されているFTPサーバ4に対して自動的にアップロードを行う機能である。
この
図25は、設定スイッチ171がオフの状態にある場合を示している。
ユーザが設定スイッチ171をオンに操作すると、
図26のように自動アップロードの設定のための表示が行われる。即ちアップロード先表示欄175が表示され、またボイスメモ添付に関する設定スイッチ172や、JPEG画質に関する設定スイッチ173が表示される。
【0131】
図26ではアップロード先表示欄175には、まだアップロード先が指定されていないことが示されている。ユーザが、アップロード先を指定する操作を行うことで、
図27のように、例えばユーザがFTP設定の際に付与した名称「XYZ」などにより特定されるアップロード先が表示される。
【0132】
ボイスメモ添付に関する設定スイッチ172により、ユーザは自動アップロードの際に、ボイスメモとしての音声ファイルAFを画像ファイルPFと共にアップロードする否かを設定することができる。例えば
図27のように設定スイッチ172をオンとすると、自動アップロード処理が行われる際、音声ファイルAFもアップロード対象とされる。
【0133】
JPEG画質に関する設定スイッチ173により、ユーザはアップロードする画像データの圧縮率や画サイズを設定することができる。
設定スイッチ173をオンとすると、
図27のように圧縮率設定バー176や長辺ピクセル設定部177及び設定スイッチ174が表示される。
ユーザは圧縮率設定バー176を操作して圧縮率を指定することができる。また設定スイッチ174により長辺のピクセル数の設定を行うことができる。
【0134】
以上の自動アップロード設定画面57におけるユーザ操作は、戻るボタン106が操作されて
図24の設定画面56に戻ることで有効化される。
なお設定画面56において戻るボタン106が操作されると
図7のメニュー画面に戻る。
【0135】
続いて、
図24に示す設定画面56において、キャプション用語集の同期項目201が操作された場合、
図28に示すように、自動同期設定ダイアログ65が重畳して表示される。
【0136】
自動同期設定ダイアログ65には、自動同期設定を有効化(オン)するオン選択肢210と自動同期設定を無効化(オフ)するオフ選択肢211が表示される。
ユーザは、オン選択肢210に対する操作を行うことにより用語集データの自動同期設定を行うことができる。また、ユーザはオフ選択肢211に対する操作を行うことにより用語集データの自動同期設定を解除し手動同期設定に切り換えることができる。
【0137】
用語集データの自動同期設定は、例えば、所定の画面を表示させた場合に情報処理装置2が利用できる用語集データを自動的に取得する設定である。
具体的には、自動同期設定がオンである場合には、
図8に示す用語集一覧画面を表示する際に用語集同期処理が実行される。用語集同期処理では、所定のサーバ装置などから情報処理装置2に記憶されていない用語集データが情報処理装置2にダウンロードされて保存される。これにより、情報処理装置2が利用できる用語集データが最新のものとされる。
【0138】
或いは、用語集同期処理において、ユーザが今現在利用すると推定される最適な用語集データが情報処理装置2ダウンロードされるようにしてもよい。例えば、情報処理装置2の位置情報や時間情報に基づくことにより、キャプション編集の対象となる画像ファイルPFの被写体やイベントを推定し、該被写体やイベントに関連した用語集データが情報装置2にダウンロードされて保存される。
これにより、情報処理装置2を用いてこれから行うであろうキャプション編集に用いられる最新の用語集データが情報処理装置2に記憶される。
なお、撮像装置1からFTP転送された画像ファイルPFのメタデータから被写体やイベントを推定してもよい。これにより、撮像装置1から異なる位置にある情報処理装置2に画像ファイルPFをFTP転送し、情報処理装置2においてキャプション編集を行う場合であっても、適切な用語集データが情報処理装置2に記憶される。
【0139】
<5.画像取り込み時の処理例>
情報処理装置2が実行する各種処理のうち、まず撮像装置1から画像ファイルPFを取り込む際の処理例について、
図29,
図30,
図31,
図32で説明する。
なお以下説明する各処理例はCPU71において、アプリケーションソフトウェアによって実現される
図5で説明した機能により実行される処理となる。
【0140】
図29、
図30は一連のフローチャートを分けて示したもので、「C1」で接続関係を示している。
図29のステップS101でCPU71は、撮像装置1から画像ファイルPFの取り込み処理を行う。
撮像装置1からの画像ファイルPFの取り込み処理は、例えば情報処理装置2と撮像装置1の間の通信により行われるが、例えばユーザが情報処理装置2側、或いは撮像装置1側で所定の操作を行うことで、画像ファイルPFの転送が開始される。
撮像装置1は転送対象として選択された画像ファイルPFをFTP通信により情報処理装置2に転送する処理を行う。またこの場合、画像ファイルPFに関連付けられたボイスメモを有する音声ファイルAFが存在する場合、その音声ファイルAFも情報処理装置2に転送する。
情報処理装置2側では、CPU71はステップS101の処理として、順次転送されてくる画像ファイルPF及び音声ファイルAFの取り込み処理を行うことになる。
【0141】
ここで、撮像装置1と情報処理装置2の間では、画像ファイルPFと関連付けられた音声ファイルAFが存在する場合は、音声ファイルAFを先に送信し、その後に画像ファイルPFを送信するという規則を決めておく。
これによりCPU71は、1つの音声ファイルAFを受信した場合は、その音声ファイルAFは次に受信される画像ファイルPFに関連付けられたものであると判定することができる。ステップS102では、CPU71は、このような規則に則って、受信した音声ファイルAFを受信した画像ファイルPFに紐づけて管理する処理を行う。
なお、これ以外に、例えば画像ファイルPFのメタデータに、関連付けられた音声ファイルAFを特定する情報が含まれるようにしておくことも考えられる。ステップS102では、メタデータを参照して、受信した音声ファイルAFを受信した画像ファイルPFに紐づけて管理する処理を行うようにしてもよい。
【0142】
1又は複数の画像ファイルPFの取り込みが完了したら、CPU71はステップS103からステップS110に進み、取り込んだ画像ファイルPFについて、音声ファイルAFが関連付けられているものがあるか否かを判定する。
取り込んだファイルが全て画像ファイルPFのみであり、音声ファイルAFが存在しない場合は、CPU71はステップS110から
図30のステップS120に進む。
【0143】
一方、1つでも音声ファイルAFが関連付けられた画像ファイルPFが存在した場合、CPU71は
図29のステップS110からステップS111に進む。
ステップS111でCPU71は、今回取り込んだ画像ファイルPFのうちで、音声ファイルAFが関連付けられた1又は複数の画像ファイルPFのうちの1つを処理対象として選択する。
【0144】
そしてステップS112でCPU71は、処理対象とした画像ファイルPFに関連付けられた音声ファイルAFのボイスメモを対象として、テキスト化処理を行う。
【0145】
ステップS112のテキスト化処理についての具体例を
図31に示す。
CPU71はステップS161において、ボイスメモに対応したテキストデータの取得を行う。
テキストデータの取得は、例えば、ボイスメモとしての音声データをテキスト変換エンジン5に送信し、テキスト化されたデータを受信することにより行う。或いは、情報処理装置2にテキスト変換エンジン83が搭載されている場合は、テキスト変換エンジン83によりテキスト化処理を行ってもよい。
CPU71は、続くステップS162において、選択された用語集データがあるか否かを判定する。用語集データの選択は、
図8の用語集一覧画面に表示された選択ボタンを操作することによって行うことができる。
【0146】
選択された用語集がない場合、CPU71はテキスト化処理を終了させ、
図29のステップS113へと進む。即ち、用語集データに基づくテキストデータの修正は行わない。
【0147】
一方、選択された用語集がある場合、CPU71はステップS163へと進み、取得したテキストデータの中に同音異義語があるか否かを判定する。
同音異義語がある場合、CPU71はステップS164において、選択中の用語集データに当該同音異義語が登録されているか否かを判定する。
同音異義語が登録されている場合、CPU71はステップS165で用語集データに登録された同音異義語に置き換えることによりステップS161で取得したテキストデータの修正を行う。
【0148】
これにより、例えば日本語の人名など複数の変換候補がある場合に、適切な人名へと変換される。
【0149】
ステップS163で同音異義語がないと判定した場合、或いはステップS164で用語集データに当該同音異義語が登録されていないと判定した場合、CPU71は
図31に示すテキスト化処理を終了させ、
図29のステップS113へと進む。
【0150】
ステップS113では、CPU71はテキスト化が正常に行われたか否かを判定する。
テキスト化が正常に行われボイスメモテキストが取得できた場合、CPU71はステップS113からステップS114に進み、そのボイスメモテキストを、処理対象の画像ファイルPFに対応するボイスメモテキストとして例えば記憶部79に保存する処理を行う。
【0151】
ステップS115でCPU71は、自動キャプション付与機能がオンとされているか否かを確認する。自動キャプション付与機能は、
図23のボイスメモ自動キャプション付与設定画面53によりユーザが任意にオン/オフを設定できる機能である。
自動キャプション付与機能がオンでなければCPU71はステップS117に進む。
【0152】
自動キャプション付与機能がオンであれば、CPU71はステップS116に進み、ボイスメモテキストをキャプションデータに挿入する処理を行う。即ちIPTCメタデータにおけるディスクリプション/キャプションフィールドにボイスメモテキストを書き込む処理を行う。前述したように、ディスクリプション/キャプションフィールドに既にキャプションデータが書き込まれている場合は、CPU71は、その後に続けてボイスメモテキストを書き込むようにする。
CPU71は、このような自動キャプション付与の処理を行った上でステップS117に進む。
【0153】
ステップS112のテキスト化が正常に行われなかった場合、例えば処理エラーや通信エラー等により、ボイスメモテキストが取得できなかった場合は、CPU71はステップS113からステップS117に進む。この場合、特にテキスト化処理のリトライは行わないことで、転送時の処理が長引くことを回避している。後述のように他にもテキスト化の機会はあるためである。但しもちろん所定回数のテキスト化処理のリトライを行うようにしてもよいし、テキスト化せずに処理を進めるか否かをユーザに選択させてもよい。
【0154】
或る画像ファイルPFについて、以上のテキスト化処理やボイスメモ自動キャプション付与等の処理を行ってステップS117に進んだ場合、或いはテキスト化が正常完了せずにステップS117に進んだ場合、CPU71は、他に同様の処理を行うべき画像ファイルPFが残っているか否かを確認し、残っていればステップS111に戻って、その1つを処理対象とし、上記同様の処理を行う。
音声ファイルAFが関連付けられた全ての画像ファイルPFについて少なくとも1回はステップS112のテキスト化処理を実行することで、ステップS117で全てのテキスト化終了と判定し、
図30のステップS120に進む。
【0155】
ステップS120でCPU71は、自動アップロード機能がオンとされているか否かを確認する。自動アップロード機能は、即ち
図25、
図26、
図27に示した自動アップロード設定画面57でユーザが任意にオン/オフを設定できる機能である。
自動アップロード機能がオンでなければCPU71はステップS120から画像取り込み時の一連の処理を終える。
【0156】
自動アップロード機能がオンであるときは、CPU71はステップS120からステップS121に進み、アップロードファイルの準備処理を行う。
このアップロードファイルの準備処理を
図32に詳しく示す。
【0157】
図32のステップS141でCPU71は、アップロード対象とする画像ファイルPFの1つを特定する。これは今回撮像装置1から転送されてきた画像ファイルPFのうちの1つを準備処理の対象とするという意味である。
1つの画像ファイルPFを処理対象としたら、CPU71はステップS142で画サイズ指定がされているか否かを確認する。これはユーザが
図27の自動アップロード設定画面57における長辺ピクセル設定部177及び設定スイッチ174で設定した内容を確認することになる。画サイズ指定がされていればCPU71はステップS143でそれを反映するピクセル数の変換処理を行う。
【0158】
ステップS144でCPU71は、圧縮率の指定がされているか否かを確認する。これは
図27の自動アップロード設定画面57における圧縮率設定バー176による圧縮率の指定状態を確認することになる。圧縮率が指定されて圧縮が行われる設定とされているときは、CPU71はステップS145で、指定の圧縮率による圧縮処理を行う。
【0159】
ステップS146でCPU71は、音声ファイルAFの添付有無を確認する。即ち
図27の設定スイッチ172のオン/オフによる、ユーザのボイスメモについてのアップロード有無の設定を確認することになる。
音声ファイルAFのアップロードが選択されている場合は、CPU71はステップS147に進み、現在処理対象としている画像ファイルPFについて関連付けられた音声ファイルAFが存在するか否かを確認する。関連する音声ファイルAFが存在する場合は、CPU71はステップS149に進み、現在の処理対象の画像ファイルPF(画像データとメタデータ)、及び音声ファイルAFを、アップロードするファイルとしてセットする。
【0160】
ステップS146で、ユーザによる設定として音声ファイルAFのアップロードが選択されていないことが確認された場合、或いはステップS147で現在処理対象としている画像ファイルPFについて関連付けられた音声ファイルAFが存在しない場合は、CPU71はステップS148に進み、現在の処理対象の画像ファイルPF(画像データとメタデータ)を、アップロードするファイルとしてセットする。
【0161】
ステップS150では、今回撮像装置1から取り込んだ全ての画像ファイルPFについて、以上の準備処理が完了したか否かを確認する。残りの画像ファイルPFが存在する場合は、CPU71はステップS141に戻り、残りの画像ファイルPFの1つを処理対象として特定し、同様の処理を行う。
今回撮像装置1から取り込んだ全ての画像ファイルPFについて、以上の準備処理が完了したとステップS150において判定した場合、CPU71は
図32に示すアップロードファイルの準備処理を終える。
即ち、CPU71は、
図30のステップS122に進む。
【0162】
ステップS122でCPU71は、自動アップロード設定により指定されたFTPサーバ4に対するFTP接続及びログインの処理を行う。
そしてログインが完了したら、CPU71はステップS123からステップS130に進みFTPアップロード処理を実行する。即ちアップロードファイルの準備処理でアップロードするものとしてセットした画像ファイルPFや音声ファイルAFを、順次FTP送信していく処理を行う。
【0163】
なおFTPサーバ4と通信ができなかった場合、或いは通信できてもログインできなかった場合は、CPU71はエラーとしてステップS124からステップS125に進み、所定のエラー処理を行う。例えばユーザに自動アップロード処理のエラーを通知する。そして、撮像装置1からの画像ファイルPFの取り込み時の一連の処理を終える。
【0164】
ステップS130でのFTPアップロードが正常完了した場合は、CPU71はステップS131からステップS133に進み、ユーザに完了通知を行って一連の処理を終える。この場合、撮像装置1からの画像ファイルPFの取り込みの際に、FTPサーバ4へのアップロードまでが自動的に行われたことになる。
さらにボイスメモ自動キャプション付与機能がオンであれば、そのアップロードされる画像ファイルPFにおいては、関連付けられた音声ファイルAFのボイスメモがテキスト化されたボイスメモテキストが、IPTCメタデータに付加されたものとなっていることになる。
【0165】
FTPサーバ4へのアップロード処理においてエラーが生じ、正常完了できなかった場合は、CPU71はステップS132からステップS134に進み、所定のエラー処理を行う。例えばユーザに自動アップロード処理のエラーを通知する。そして、撮像装置1からの画像ファイルPFの取り込み時の一連の処理を終える。
【0166】
<6.テキスト化及びキャプション編集を含む処理例>
続いて
図6の画像一覧画面50が表示された状態から
図14等のキャプション編集画面52に遷移した場合の処理例について、
図33,
図34,
図35で説明する。
なお
図33,
図34,
図35は一連のフローチャートを分けて示したもので、「C2」「C3」「C4」「C5」で接続関係を示している。
【0167】
図33のステップS201は、CPU71が画像一覧画面50を表示させている状態とする。
上述のように画像一覧画面50においてユーザがある画像を指定する操作を行うと、その画像データについてのキャプション編集画面52を表示させる。このとき、まだ当該指定された画像データ(画像ファイルPF)についてはボイスメモのテキスト化が未実行であれば、この機会にテキスト化を行うようにしている。
【0168】
画像一覧画面50においてユーザによる画像指定操作を検知したら、CPU71はステップS202からステップS203に進む。
ステップS203でCPU71は、当該指定された画像データ(画像ファイルPF)について関連付けられた音声ファイルAFが存在するか否かを確認する。
関連付けられた音声ファイルAFが存在しなければステップS220に進み、CPU71は当該指定された画像データについてのキャプション編集画面52を表示させる。この場合は、ボイスメモが存在しないため、キャプション編集画面52においてボイスメモ欄133は表示させなくてもよい。
【0169】
関連付けられた音声ファイルAFが存在する場合は、CPU71はステップS204に進み、既にボイスメモのテキスト化が行われ、ボイスメモテキストが記憶されているか否かを確認する。既に記憶されていればステップS220に進み、CPU71は当該指定された画像データについてのキャプション編集画面52を表示させる。この場合は、
図14のようにボイスメモテキスト領域134を表示したボイスメモ欄133が表示されることになる。また自動キャプション付与機能がオンとされてボイスメモテキストがキャプションデータに挿入されているのであれば、
図20のように、キャプション欄132におけるキャプションデータにもボイスメモテキストが追加されている状態となる。
【0170】
ボイスメモが存在するが未テキスト化であると判定した場合、CPU71はステップS205に進み、指定された画像ファイルPFに関連付けられた音声ファイルAFのボイスメモを対象として、テキスト化処理を行う。例えばボイスメモとしての音声データをテキスト変換エンジン5に送信し、テキスト化されたデータを受信する。或いは、情報処理装置2にテキスト変換エンジン83が搭載されている場合は、テキスト変換エンジン83によりテキスト化処理を行ってもよい。なお、このテキスト化処理では、先の
図31で説明したように、選択中の用語集データに基づいたテキスト化が行われる。
【0171】
テキスト化が正常に行われボイスメモテキストが取得できた場合、CPU71はステップS206からステップS207に進み、そのボイスメモテキストを、処理対象の画像ファイルPFに対応するボイスメモテキストとして例えば記憶部79に保存する処理を行う。
【0172】
ステップS208でCPU71は、自動キャプション付与機能がオンとされているか否かを確認する。自動キャプション付与機能は、
図23のボイスメモ自動キャプション付与設定画面53によりユーザが任意にオン/オフを設定できる機能である。
自動キャプション付与機能がオンでなければCPU71はステップS220に進む。この場合、キャプション編集画面52では
図14のようにボイスメモ欄133が表示され、キャプション欄132では、その時点までに入力されているキャプションデータが表示される。
【0173】
一方、自動キャプション付与機能がオンであれば、CPU71はステップS209に進み、ボイスメモテキストをキャプションデータに挿入する処理を行う。即ちIPTCメタデータにおけるディスクリプション/キャプションフィールドにボイスメモテキストを書き込む処理を行う。前述したように、ディスクリプション/キャプションフィールドに既にキャプションデータが書き込まれている場合は、CPU71は、その後に続けてボイスメモテキストを書き込むようにする。
CPU71は、このような自動キャプション付与の処理を行った上でステップS220に進む。この場合、キャプション編集画面52は
図20のように、キャプション欄132におけるキャプションデータにもボイスメモテキストが追加されている状態となる。
【0174】
ステップS205のテキスト化が正常に行われなかった場合、CPU71はステップS206からステップS220に進む。この場合は、ボイスメモがテキスト化できていないため、キャプション編集画面52においてボイスメモ欄133を表示させないことが考えられる。但しボイスメモマーク105により、ユーザにボイスメモの存在を明示することが考えられる。
【0175】
キャプション編集画面52を表示させた状態で、CPU71の処理は
図34のステップS221に進む。CPU71は、キャプション編集画面52上での各種のユーザ操作を監視する。即ちステップS221,S222,S223,S224,S225,
図35のステップS226,S227,S228,S229のループで各操作を監視する。
【0176】
図34のステップS221ではCPU71は、戻るボタン106による画面遷移、即ち画像一覧画面50への遷移の操作を監視する。この操作を検知した場合は、CPU71はステップS240でキャプションの保存処理を行って
図33のステップS201に戻る。つまりその時点でキャプション欄132に表示されているキャプションデータがIPTCメタデータにおけるディスクリプション/キャプションフィールドのデータとして保存される。
【0177】
CPU71はステップS222で、キャプション入力に関する操作を監視する。文字入力或いはボイス入力、或いはテンプレート要求など、キャプション入力に関連する操作に応じてCPU71はステップS241で入力対応処理を行う。
【0178】
入力対応処理について、
図36を参照して説明する。
CPU71は、ステップS260でテンプレートボタン138に対する操作有無の確認を行う。テンプレートボタン138に対する操作を検出した場合、CPU71はステップS261でテンプレートの呼び出し及び表示を行う。
【0179】
テンプレートボタン138に対する操作が検出されなかった場合、CPU71はステップS262でソフトウェアキーボード131を表示中であるか否かに基づく分岐処理を行う。
ソフトウェアキーボード131が表示されていない場合、即ち、情報処理装置2に
図14に示すようなキャプション編集画面52が表示されている場合、CPU71はステップS263でキャプション欄132上のタップ操作などソフトウェアキーボード131を表示させる操作の有無を確認する。該操作を検出した場合、CPU71はステップS264へ進み、ソフトウェアキーボード131を画面上に表示させる処理を行い、入力対応処理を終える。これにより、例えば、情報処理装置2に
図16のようなキャプション編集画面52が表示される。
【0180】
ステップS263でキャプション欄選択操作が検出されなかった場合、CPU71は入力対応処理を終える。
【0181】
ステップS262においてソフトウェアキーボードが既に表示されていると判定した場合、CPU71はステップS265へと進み、文字入力操作を検出したか否かを判定する。
文字入力を検出した場合、CPU71はステップS266で通常サジェストワードの提示を行う。通常サジェストワードの提示では、情報処理装置2で頻繁に入力されている文字列(単語や文章)や最後に入力された文字列をサジェストワードとして通常候補表示欄191aに提示する。
【0182】
また、CPU71は選択中の用語集データの有無をステップS267で判定し、選択中の用語集データがある場合は続くステップS268で前方一致する用語データがあるか否かを判定する。前方一致する用語データとは、例えば
図16に示す例では、ユーザが既に入力済みの文字列「エンタ」から始まる文字列が用語データの読みまたはショートカットとして設定された用語データである。勿論、この用語データは、選択された用語集データに登録された用語データでなければならない。
そのような用語データがある場合、CPU71はステップS269において、該当する用語データの文字情報、即ち「エンタイトルツーベース」の文字列を特定候補表示欄191bに提示する。
これにより、
図16に示すサジェスト欄191が形成される。
【0183】
特定候補表示欄191bに用語データの文字情報を提示した後、CPU71は入力対応処理を終了する。
また、選択中の用語集データが無い場合、或いは前方一致する用語データがない場合も、CPU71は入力対応処理を終了する。
【0184】
ステップS265で文字入力を検出していない場合、CPU71はステップS270でボイス入力の有無を判定する。ボイス入力を検出した場合、CPU71はボイス入力対応処理をステップS271で行う。
ボイス入力対応処理としては、例えば、入力された音声データを取得し、テキスト変換エンジン5へ送信する処理を行う。また、テキスト変換エンジン5から変換されたテキストデータを受信し、キャレット位置へ挿入する。なお、この際に、先の
図31で説明したように、テキスト変換エンジン5によってテキスト化されたテキストデータに対して選択された用語集データを用いた修正処理を実行してもよい。これにより、誤変換の確率を低減させることができる。
【0185】
ステップS270でボイス入力を検出していない場合、CPU71はステップS272において対応処理を行う。この対応処理は、ステップS222で検出した何らかのキャプション入力関する操作に基づいて行われる処理である。
例えば、貼り付け操作に対応したペースト処理、キャレット位置の移動操作に対応したキャレットの移動処理などである。また、上述したサジェスト欄191に提示された文字列から選択された文字列をキャレット位置に挿入する処理なども対応処理として実行される。
【0186】
図34の説明に戻る。
CPU71はステップS223でユーザの再生ボタン135の操作を監視する。再生ボタン135の操作を検知した場合、CPU71はステップS242に進み、ボイスメモ欄133を、
図17のように、シークバー160、現在タイム161、総再生長162、停止ボタン163、一時停止ボタン164等の再生時の表示状態とするとともに、音声再生を開始させる制御を行う。
【0187】
CPU71はステップS224でユーザの一時停止ボタン164の操作を監視する。一時停止ボタン164の操作を検知した場合、CPU71はステップS243に進み、音声再生を一時停止させる制御を行う。なお図示していないが、この場合、一時停止ボタン164は再生ボタン135の表示に切り換える。
【0188】
CPU71はステップS225でユーザの停止ボタン163の操作を監視する。停止ボタン163の操作を検知した場合、CPU71はステップS244に進み、音声再生を停止させる制御を行う。この場合、ボイスメモ欄133の表示は
図14の状態に戻すようにする。
【0189】
CPU71は
図35のステップS226でユーザのコピーボタン136の操作を監視する。コピーボタン136の操作を検知した場合、CPU71はステップS245に進み、クリップボードにボイスメモテキストをコピーする処理を行う。そしてステップS246でCPU71は、
図19のコピーメッセージ168の表示を所定時間、或いは次のユーザ操作の検知時点まで行う。
なお、クリップボードにコピーされたボイスメモテキストについては、その後CPU71がステップS222でペースト操作を検知した場合に、ステップS241でキャプションデータとしてペーストされることになる。
【0190】
CPU71はステップS227でユーザの削除ボタン137の操作を監視する。削除ボタン137の操作を検知した場合、CPU71はステップS247に進み、
図18の確認ダイアログ61を表示させる。CPU71はOKボタン165が操作されたか否かをステップS248で監視し、ユーザがOKボタン165を操作したことに応じて、CPU71はステップS250でボイスメモに関する削除処理を行う。
一方、ユーザによるOKボタン165の操作を検出しない場合、CPU71はステップS249へと進み、キャンセルボタンに対する操作有無を検出する。確認ダイアログ61に対してユーザがキャンセルボタン166を操作した場合は、CPU71は削除処理を実行せず、ステップS249からステップS221へと戻ることでユーザ操作の監視に戻る。
【0191】
CPU71はステップS228で、画像拡大操作を監視する。例えばサムネイル画像103に対するピンチ操作やダブルタップなどとして画像拡大操作が行われたら、
図15の個別画像画面51の表示を行う。
フローチャートでの図示は省略するが、個別画像画面51に遷移した後は、所定の操作に応じて異なる画像が選択されたり、画像一覧画面50に戻ったり、キャプション編集画面52に遷移するようにされる。
【0192】
CPU71はステップS229で、他の画像の選択操作を監視する。即ちキャプション編集画面52における送りボタン107の操作を監視する。送りボタン107の操作を検知したら、CPU71は
図33のステップS203に進む。つまり前又は後の画像が新たに指定されたとして、その指定された画像データについてのステップS203からステップS209の処理を上記同様に行い、ステップS220で、その画像データについてのキャプション編集画面52の表示を行う。
【0193】
以上のように1つの画像データが指定されるときに、テキスト化処理や自動キャプション付与機能の処理が行われる場合がある。またキャプション編集画面52においてはボイスメモテキストの表示、再生、削除、コピー、キャプションデータへのペースト、手動や音声によるキャプション入力などが可能とされる。
【0194】
<7.アップロード時の処理例>
FTPサーバ4へのアップロード時の処理を
図37に示す。例えばユーザによってアップロードする画像ファイルPFやアップロード先のFTPサーバ4が指定され、アップロード実行の指示が行われることにより、
図37のアップロード処理が開始される。
【0195】
CPU71はステップS301でアップロードファイルの準備処理を行う。これは上述した
図32と同様の処理となる。
CPU71はステップS322で、ユーザが指定したアップロード先のFTPサーバ4に対するFTP接続及びログインの処理を行う。
そしてログインが完了したら、CPU71はステップS323からステップS330に進みFTPアップロード処理を実行する。即ちアップロードファイルの準備処理でアップロードするものとしてセットした画像ファイルPFや音声ファイルAFを、順次FTP送信していく処理を行う。
【0196】
なおFTPサーバ4と通信ができなかった場合、或いは通信できてもログインできなかった場合は、CPU71はエラーとしてステップS324からステップS325に進み、所定のエラー処理を行う。例えばユーザにアップロード処理のエラーを通知する。そしてアップロード処理をエラー終了とする。
【0197】
ステップS330でのFTPアップロードが正常完了した場合は、CPU71はステップS331からステップS333に進み、ユーザに完了通知を行ってアップロード処理を終える。
アップロードされた画像ファイルPFにおいては、ボイスメモテキストが、自動キャプション付与機能により、もしくはユーザのコピー/ペースト操作により、IPTCメタデータにおけるキャプションデータとして反映される状態となっていることが想定される。
またユーザの設定に応じて音声ファイルAFが共にアップロードされる場合も想定される。
【0198】
FTPサーバ4へのアップロード処理においてエラーが生じ、正常完了できなかった場合は、CPU71はステップS332からステップS334に進み、所定のエラー処理を行う。例えばユーザにアップロード処理のエラーを通知する。そしてアップロード処理をエラー終了とする。
【0199】
<8.用語集データに関する処理>
図8の用語集一覧画面58が表示された状態において情報処理装置2が実行する処理の一例について、
図38,
図39で説明する。
なお
図38,
図39は一連のフローチャートを分けて示したもので、「C6」「C7」「C8」「C9」で接続関係を示している。
【0200】
図8の用語集一覧画面58を表示させる処理を実行した後、CPU71はステップS400において、用語集データの並び換え処理を実行する。並び換え処理は、所定の順序となるように用語集一覧画面58における用語集データの配置を変更する処理であり具体的には後述する。
【0201】
続いて、CPU71はステップS401で用語集データ自動同期設定がオンであるか否かを判定する。用語集データ自動同期設定は、
図28の自動同期設定ダイアログ65によりユーザが任意にオン/オフを設定できる機能である。
【0202】
用語集データ自動同期設定がオンである場合、CPU71はステップS402の用語集同期処理を実行しステップS403へと進む。
一方、 用語集データ自動同期設定がオフである場合、CPU71はステップS402の処理を実行せずにステップS403へと進む。
【0203】
ここで、用語集データ自動同期設定がオンである場合にのみ実行される用語集同期処理について、
図40を参照して説明する。
【0204】
用語集同期処理は、情報処理装置2とは異なる他の情報処理装置に記憶されている用語集データを取得する処理である。
CPU71はステップS440で同期対象の装置(他の情報処理装置)へ接続を試み、該接続が成功したか否かを判定する。
接続成功がまだ確認されていない場合、CPU71はステップS441で所定時間が経過することによりタイムアウトとなったか否かを判定する。タイムアウトとなるまでは、CPU71はステップS440及びステップS441の各処理を繰り返す。タイムアウトとなったと判定した場合、CPU71はステップS442でエラー処理を実行し、用語集同期処理を終了する。エラー処理では、例えば、ユーザに対する通知処理などが実行される。
【0205】
ステップS440において同期対象の装置へ接続成功したと判定した場合、CPU71はステップS443において、同期対象の装置に更新された用語集データがあるか否かを判定する。
【0206】
更新された用語集データとは、新規の用語集データであり情報処理装置2にまだ保存されていない用語集データや、情報処理装置2に保存された用語集データよりもタイムスタンプの新しい用語集データなどである。
更新された用語集データがある場合、CPU71はステップS444で該当の用語集データを取得し、続くステップS445において記憶部79などに記憶する処理を行う。この記憶処理は、新たに用語集データを記憶する処理や既に保存されている用語集データを上書き保存する処理などである。
【0207】
なお、用語集データを他の情報処理装置から取得して情報処理装置2の記憶部79などに記憶する以外にも、他の情報処理装置と通信を行いながら適宜必要な用語データを取得することにより上述の処理を進めてもよい。即ち、用語集データを情報処理装置2にダウンロードすることなく他の情報処理装置をクラウドサーバに見立てて処理を行ってもよい。
【0208】
また、他の情報処理装置は、複数のユーザが使用できる共用サーバとされていてもよい。これにより、一人のユーザが作成した用語集データを共用サーバに保存することで、複数のユーザが使用でき、用語集データをそれぞれ作成する手間を省くことができる。また、同じ用語集データを利用してキャプションデータを編集することでキャプションデータに統一性を持たせることができる。これにより、FTPサーバ4で実行される画像ファイルPFの自動振り分け処理を確実に行うことができると共に、振り分けミスを削減することができる。
【0209】
記憶処理を終えた後、CPU71は用語集同期処理を終え、
図38のステップS403へと進む。
また、ステップS443において更新された用語集データが存在しないと判定した場合もステップS403へと進む。
【0210】
図38の説明へ戻る。
ステップS403では、CPU71は、用語集データを追加する操作を検出したか否かを判定する。この判定処理は、例えば、
図8の用語集一覧画面58の用語集追加ボタンの操作有無を検出する処理である。
用語集データを追加する操作を検出した場合、CPU71はステップS404で用語集データ追加画面を表示する。
【0211】
用語集データ追加画面では、例えば、用語集データのタイトル名を入力する操作などを行うことが可能である。また、用語集データの追加を実行する操作やキャンセルする操作を行うことも可能である。CPU71はこれらの操作に対応した処理を
図38のステップS405の各操作対応処理として実行する。更に、用語集データの追加が実行された場合には、追加された用語集データを記憶部79に記憶する処理なども対応処理の一部とされる。
ステップS405を実行した後、用語集一覧画面58が表示されると共にCPU71はステップS403の処理へと進む。
【0212】
ステップS403で用語集データの追加操作を検出しなかった場合、CPU71はステップS406で用語集データの編集操作を検出したか否かを判定する。この判定処理は、例えば、
図9に示す用語集サブメニューダイアログ59に設けられた編集ボタン117に対する操作が行われたか否かを検出する処理である。
用語集データの編集操作を検出した場合、CPU71はステップS407において、
図10に示すような用語集データ編集画面60を表示させ、
図39のステップS420へと進む。用語集データ編集画面60においてCPU71が実行する各処理については後述する。
【0213】
ステップS406において用語集データの編集操作を検出しなかった場合、CPU71はステップS408で用語集データを選択する操作を検出したか否かを判定する。用語集データを選択する操作は、未選択状態即ちオフ状態の用語集データに対して可能な操作であり、例えば、未選択状態の用語集データに設けられた選択ボタン114をタップする操作などである。また、
図9に示す用語集サブメニューダイアログ59に設けられた選択ボタンを押下する操作でもよい。
【0214】
選択操作が検出された場合、CPU71はステップS409で選択処理を行う。即ち、用語集一覧画面58上に設けられた選択ボタン114の表示態様について未選択(オフ)状態を示す態様から選択(オン)状態を示す態様へと変更する。
【0215】
選択操作が検出されない場合、CPU71はステップS410において、選択解除操作を検出したか否かを判定する。選択解除操作は、選択状態即ちオン状態の用語集データに対して可能な操作であり、例えば、選択状態の用語集データに設けられた選択ボタン114をタップする操作などである。また、
図9に示す用語集サブメニューダイアログ59において選択ボタン116の代わりに設けられる操作子である未選択ボタン116Aを押下する操作であってもよい。
【0216】
選択解除操作が検出された場合、CPU71はステップS411で選択解除処理を行う。即ち、用語集一覧画面58上に設けられた選択ボタン114の表示態様について選択(オン)状態を示す態様から未選択(オフ)状態を示す態様へと変更する。
【0217】
ステップS410において選択解除操作を検出しなかった場合、CPU71はステップS412において、手動同期操作の有無を検出する。
手動同期操作は、用語集一覧画面上で行われる特定の操作であってもよいし、
図8には示していないが手動同期を行うための操作子が用語集一覧画面58に設けられており該操作子に対する操作であってもよい。
【0218】
手動同期操作を検出した場合、CPU71は前述したステップS402の用語集同期処理を実行する。
【0219】
手動同期操作が検出されない場合、CPU71はステップS413において、ページ戻り操作の検出を行う。ページ戻り操作が検出された場合、CPU71は用語集一覧画面58上で行われた操作に基づいて更新された用語集データの記憶をステップS414で実行し、
図33のステップS201において画像一覧画面50が表示された状態にする。即ち、画像一覧画面50へと画面遷移する。
【0220】
ページ戻り操作が検出されない場合、CPU71は再度ステップS403の処理へと戻る。このように、ステップS403,S406,S408,S410,S412,S413の各処理を順次実行することにより、ユーザによる各種の操作の検出を行う。
【0221】
ここで、先ほど触れた用語集データ編集画面60(
図10参照)においてCPU71が実行する各処理について、
図39を参照して説明する。
【0222】
CPU71は、ステップS420において、用語データの追加操作を検出したか否かを判定する。用語データの追加操作は、例えば、
図10に示す用語集データ編集画面60上に配置された用語追加ボタン123に対する操作とされる。
【0223】
用語データの追加操作を検出した場合、CPU71はステップS421において、用語データ追加画面を表示させる。用語データ追加画面は、例えば、
図12に示す用語データ編集画面63に設けられた各入力欄を空欄としたものであり、具体的には、単語入力欄128と読み入力欄129がそれぞれ空欄とされたものである。
【0224】
CPU71は用語データ追加画面を提示した後、ステップS422でユーザの編集操作に対する編集対応処理を行う。ステップS422の編集対応処理としては、例えば、ユーザが単語入力欄128や読み入力欄129に対するタップ操作を行った際にソフトウェアキーボード131を表示させる処理や、ソフトウェアキーボード131からの入力操作に応じて各入力欄に入力文字列を表示させる処理などを行う。また、各入力欄が空欄の状態で戻るボタン127が操作された場合に用語データの追加をキャンセルする処理や、各入力欄に文字入力がなされた状態で戻るボタン127が操作された場合に用語データを記憶する処理などもステップS422の編集対応処理として実行される。
ステップS422の編集対応処理を実行した後、用語データが追加されたことまたは追加がキャンセルされたことに応じてCPU71は再度ステップS420の処理へと戻る。
【0225】
用語データ追加操作が検出されなかった場合、CPU71はステップS423で用語データ削除操作を検出したか否かを判定する。
用語データ削除操作は、例えば、
図11の用語サブメニューダイアログ62に設けられた削除ボタン126に対する操作である。
【0226】
用語データ削除操作を検出した場合、CPU71はステップS424において、用語データの削除を行う。
【0227】
一方、用語データ削除操作が検出されない場合、CPU71はステップS425において、用語データ編集操作を検出したか否かを判定する。
用語データ編集操作は、例えば、
図10の用語集データ編集画面60の各用語データをタップする操作や、
図11の用語サブメニューダイアログ62に配置された編集ボタン125に対する操作などである。
【0228】
用語データ編集操作を検出した場合、CPU71はステップS426において、編集対応処理を実行する。
編集対応処理は、例えば、ステップS422の処理と同様の処理である。
【0229】
用語データ編集操作を検出していない場合、CPU71はステップS427において、ページ戻り操作を検出したか否かを判定する。
ページ戻り操作は、例えば、用語集データ編集画面60に配置された戻るボタン120に対する操作である。
【0230】
ページ戻り操作を検出した場合、CPU71はステップS428で現状の用語集データを記憶する処理を行い、ステップS429で用語集一覧画面58を表示させる処理を実行した後、
図38のステップS401へと進む。なお、自動同期設定に関する処理を実行せずにステップS403へと進んでもよい。
ページ戻り操作を検出していない場合、CPU71は再びステップS420を実行する。即ち、ページ戻り操作を検出するまで、CPU71は
図39に示す一連の処理を繰り返し実行する。
【0231】
ここで、
図38のステップS402に示す用語集同期処理についての変形例について
図41を参照して説明する。
【0232】
用語集同期処理の変形例では、CPU71は同期対象の装置への接続が成功するかまたはタイムアウトするまでステップS460及びステップS461を繰り返し実行する。
これらの処理は、
図40のステップS440及びステップS441の各処理と同様の処理である。
【0233】
同期対象の装置(以降、「対象装置」と記載)へ接続成功した場合、CPU71はステップS462において、撮影環境情報を対象装置へ送信する処理を行う。
ここで、撮影環境情報としては、少なくとも撮像装置1から受信した画像ファイルPFについての撮像環境情報であり、撮影日時や撮影場所の少なくとも一方を含む情報である。
撮影環境情報は、撮像装置1が撮影時に画像ファイルPFにメタデータとして付与してもよいし、撮像装置1から画像ファイルPFを受信した情報処理装置2の位置情報や受信日時などによって特定されてもよい。
【0234】
撮影環境情報を受信した対象装置は、撮影環境情報から画像ファイルPFがどのようなイベントに関するものであるのかを推定することができる。例えば、野球場で撮影された画像ファイルPFであれば、撮影対象のイベントが野球の試合であることや対戦チームの情報を特定することができる。
また、対象装置は、イベントを特定することにより、画像ファイルPFに付与するキャプションデータの編集に利用できそうな用語集データを特定することが可能となる。
【0235】
情報処理装置2は、ステップS463において、対象装置からイベントに適した用語集データを特定する情報を取得する。用語集データを特定する情報とは、例えば、用語集データそのものを対象装置から受信してもよいし、どの用語集データを有効化するのかを判定することが可能となるように用語集データを特定可能なID(Identification)などの情報であってもよい。
【0236】
CPU71は、これらの情報の何れかを受信することにより、ユーザがこれから利用するであろう用語集の取得や有効化処理を自動で行うことができる。ここでは、用語集データを特定可能なIDを受信した場合について説明する。
【0237】
CPU71は、ステップS464で用語集データを更新する必要があるか否かを判定する。例えば、受信したIDに対応した最新の用語集データが記憶部79に記憶されていれば、更新する必要なしと判定し、
図41に示す用語集同期処理を終了する。
【0238】
一方、受信したIDに対応した用語集データが記憶されてない場合や、最新のデータでない場合、CPU71は用語集データを更新する必要があると判定し、続くステップS265で該当の用語集データの取得を行う。
【0239】
CPU71はステップS466において、取得した用語集データの記憶処理を行い、
図41に示す用語集同期処理を終了する。
これにより、例えば、自動同期設定がなされていることにより
図41の用語集同期処理が自動で実行された場合には、ユーザは用語集一覧画面58を表示させただけでユーザが使用したい用語集データや使用するのに最適な用語集データが自動で取得される。更に、当該用語集データの有効化まで自動で行うこともできる。
【0240】
最後に、
図38のステップS400の並び換え処理について、具体例を
図42に示す。
CPU71は、ステップS480において、並び換えの実行可否を判定する。並び換えの実行可否は、例えばユーザが設定可能とされており、ユーザが設定した並び換えに関する情報が例えば記憶部79に記憶されている。
【0241】
並び換えがオフである場合、CPU71は並び換え処理を終了する。
【0242】
一方、並び換えがオンである場合、CPU71は、どのような並び換えを行うかを以降の処理によって決定する。
例えば、CPU71はステップS481において、作成順に並び換えるか否かを判定する。作成順は、用語集データを初めて作成した日時が早い順でもよいし、遅い順でもよい。また、最終更新がなされた日時に基づいてもよい。
作成順に用語集データを並び換えるか否かの判定は、例えばユーザにより設定された情報に基づく。設定情報は、例えば記憶部79に記憶される。
【0243】
作成順に用語集データを並び換えると判定した場合、CPU71はステップS482において、用語集データを作成順に並び換える処理を行う。これにより、用語集一覧画面58における各用語集データが並び換えられた状態でユーザに提示される。
【0244】
用語集データの並び換えは作成順に基づくものではないと判定した場合、CPU71は、ステップS483で有効化回数順に用語集データを並び換えるか否かを判定する。
有効化回数順は、例えば、有効化された回数が多い順でもよいし、少ない順でもよい。また、有効化回数の代わりに有効化されていた時間長が長い順でもよい。
【0245】
有効化回数順に並び換えると判定した場合、CPU71はステップS484で用語集データを有効化回数順に並び換える処理を行う。これにより、用語集一覧画面58における各用語集データが並び換えられた状態でユーザに提示される。
【0246】
有効化回数順ではないと判定した場合、CPU71はステップS485において、無効化されてからの経過時間順に並び換えを行うか否かを判定する。
無効化されてからの経過時間順とは、換言すれば、最も直近まで有効化されていた用語集データほど上位に表示されるということである。また、現在有効化された状態の用語集データについては、経過時間が0であると捉えることにより、最上位に表示されるようにしてもよい。
【0247】
無効化されてからの経過時間順に並び換えると判定した場合、CPU71はステップS486において、経過時間の短い順に並び換える処理を行う。これにより、用語集一覧画面58における各用語集データが並び換えられた状態でユーザに提示される。
【0248】
無効化されてからの経過時間順ではないと判定した場合、CPU71は
図42に示す並び換え処理を終了する。なお、ステップS483において「No」判定の場合には、ステップS485の処理を行わずにステップS486の処理を実行してもよい。
【0249】
また、
図42に示した並び換えの条件は一部であり、それ以外の条件に基づいた並び換えが行われるようにしてもよい。例えば、他の情報処理装置から取得した用語集データのうち、最も直近に取得したものを最上位に表示してもよい。
【0250】
<9.まとめ及び変形例>
以上の実施の形態では次のような効果が得られる。
実施の形態の情報処理装置2は、文字情報と短縮入力情報(ショートカット)が組とされた用語データの集合体である用語集データを複数用いて、画像ファイルに付加されるメタデータとしてのテキスト情報の編集を可能とするユーザインタフェース処理を行うユーザインタフェース制御部(UI制御部31)を備えている。
即ち、複数の用語集データを組み合わせてメタデータの編集に利用することができる。
これにより、細分化された複数の用語集データを作成し、それらを組み合わせることによりユーザの意図した利便性の高い編集環境を提供することができる。
また、選択された一つの用語集データのみ利用可能な環境では、共通する用語データはそれぞれの用語集データに重複して含まれている必要があるが、複数の用語集データを利用可能な環境では、共通する用語データを分離して一つの用語集データとすることにより、細分化されたより専門的な用語集データから共通する用語データを削除することができる。従って、用語集データのダウンサイズを図ることが可能となる。また、これにより、用語集データの作成工数を削減することができる。
【0251】
図36の入力対応処理で説明したように、ユーザインタフェース制御部(UI制御部31)は、テキスト情報の編集時に入力された入力情報に基づいて用語集データから入力候補となる文字情報を提示してもよい。
即ち、入力情報が文字情報の一部或いは短縮入力情報の一部に一致した場合に対応する文字情報が入力候補として提示される。
これにより、テキスト情報の編集に要する時間を短縮することができる。また、適切に用語集データを選択することにより、普段使わない用語など入力候補(サジェスト候補)として提示され難い用語であっても提示されるため、テキスト情報の編集に要する時間を更に短縮することができる。
また、日本語など、入力文字を変換することによりキャレット位置に挿入される文字が確定する言語については、入力候補となる文字情報が用語集データから提示されることにより、誤って同音異義語に変換されてしまうことが防止され、編集速度の向上を図ることができる。
【0252】
図5の情報処理装置の構成で説明したように、用語集データを取得する用語集管理部36を備えていてもよい。
これにより、例えば、他の情報処理装置で作成した用語集データを取得することなどが可能とされる。
従って、用語集データを効率よく利用することができる。また、一度作成した用語集データを複数の情報処理装置で使い回せるため、利便性が高い。
【0253】
図5の情報処理装置の構成で説明したように、用語集管理部36は、用語集データを記憶部79に記憶して管理してもよい。
これにより、劣悪な通信環境下にあるために他の情報処理装置から用語集データを取得できなかったとしても、記憶部に記憶された用語集データを利用することが可能となる。
従って、通信環境の優劣を問わずテキスト情報の編集に用語集データを利用することができる。
【0254】
情報処理装置2の機能で説明したように、用語集管理部36は、用語集データごとの有効状態を管理してもよい。
これにより、用語集データごとに有効/無効を切り換えることが可能となる。
従って、利用しない用語集データを無効化にすることにより、不要な入力候補が提示されてしまうことが防止される。
【0255】
図42の並び換え処理で説明したように、ユーザインタフェース制御部31は、複数の用語集データの有効状態の切り換えを行う環境を提供する処理を行い、切り換えを行う環境において表示される複数の用語集データの表示順を変更する処理を行ってもよい。
これにより、ユーザにとって使いやすい用語集データほど上位に表示されるように構成することができる。
従って、ユーザが適切な用語集データの選択を行うことができ、テキスト情報の編集に利用することができる。
【0256】
図42の並び換え処理で説明したように、表示順は有効化された回数の多い順とされてもよい。
これにより、よく利用される用語集データがリストの上位に表示される。
従って、よく利用される用語集データの有効状態の切り換えがしやすく、利便性を高めることができる。
【0257】
図42の並び換え処理で説明したように、表示順は無効化されてからの経過時間が短い順とされてもよい。
これにより、直近に有効化されていた用語集データがリストの上位に表示される。
従って、よく利用される用語集データの有効状態の切り換えがしやすく、利便性を高めることができる。
【0258】
図40,
図41の用語集同期処理で説明したように、用語集管理部36は、ネットワーク6を介してサーバ装置(他の情報処理装置、対象装置)から用語集データを取得してもよい。
これにより、近距離通信が不可能な遠距離に位置しているサーバ装置などから用語集データを取得することができる。
従って、テキスト情報の編集について利便性の高い環境を提供することができる。
【0259】
用語集一覧画面58が表示された状態で実行される処理(
図38)で説明したように、用語集管理部36は、サーバ装置との同期設定に基づいて用語集データの取得を行ってもよい。
これにより、サーバ装置に記憶されている用語集データが適宜情報処理装置にダウンロードされる。
従って、サーバ装置に記憶された用語集データに基づいたテキスト情報の編集が可能とされ、利便性を向上させることができる。
【0260】
自動同期設定ダイアログ65(
図28)で説明したように、同期設定として自動同期設定と手動同期設定が設けられてもよい。
これにより、状況に応じて自動同期設定と手動同期設定を切り換えることが可能とされる。
例えば、電波状況が悪い場合に手動同期設定に切り換えておくことで、自動的に実行された同期処理がタイムアウトになってしまうなどの無駄を省くことが可能とされる。
【0261】
図41の用語集同期処理で説明したように、用語集管理部36は、位置情報に基づいてサーバ装置から取得する用語集データを選択する
これにより、例えばイベント会場や野球場などの場所に応じた用語集データが取得される。
従って、ユーザが用語集を手動で選択してサーバ装置から取得する操作を行わなくて済むため、利便性の向上を図ることができる。
【0262】
図41の用語集同期処理で説明したように、用語集管理部36は、時間情報に基づいてサーバ装置から取得する用語集データを選択してもよい。
これにより、例えば、時間に応じて適切な用語集データが取得される。
また、時間情報と位置情報の双方に基づいて取得する用語集データを選択することにより、撮影された画像の対象のイベントを高確率で特定することができるため、用語集データを用いたテキスト情報の編集を円滑に行うことが可能となる。
【0263】
図40の用語集同期処理で説明したように、サーバ装置は共用サーバ装置とされていてもよい。
これにより、例えば、他のユーザが作成してサーバ装置に保存しておいた用語集データを利用することができる。
従って、用語集データの作成に時間を割かなくて済み、利便性を向上させることができる。また、他のユーザが作成した用語集データを取得してカスタマイズすることにより、新たな用語集データを短時間で容易に作成することができる。
【0264】
図31のテキスト化処理で説明したように、ユーザインタフェース制御部31は、テキスト情報の編集に音声データを利用可能な環境を提供する処理を行い、音声データを利用したテキスト情報の編集において用語集データが用いられるようにしてもよい。
これにより、音声データをテキスト情報に変換する場合に、用語集データに基づく変換がなされる。
従って、同音異義語などの変換において誤った変換がなされてしまう可能性を低減させることができ、変換後の修正作業を減らすことができる。即ち、テキスト情報の編集を効率よく行うことができる。
【0265】
図3のIPTCメタデータの説明のように、テキスト情報は、IPTCメタデータのキャプションフィールドに格納される情報とされてもよい。
これにより、IPTCメタデータのキャプションフィールドの編集に用語集データを用いることができる。
IPTCメタデータは撮像装置で編集することも考えられるが、撮像装置の操作子の態様から効率が悪い。これに対して、情報処理装置で編集を行うことにより、編集効率を高めることができるが、用語集データを用いることにより更に短時間で編集を行うことができ、利便性を向上させることができる。
【0266】
実施の形態のプログラムは、
図29から
図42に示す各処理を、例えばCPU、DSP等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち、実施の形態のプログラムは、文字情報と短縮入力情報が組とされた用語データの集合体である用語集データを複数用いて、画像ファイルに付加されるメタデータとしてのテキスト情報の編集を可能とするユーザインタフェース処理を情報処理装置に実行させるプログラムである。
このようなプログラムにより、上述した情報処理装置2を、例えば携帯端末装置やパーソナルコンピュータ、その他の情報処理が実行できる機器において実現できる。
【0267】
このような情報処理装置2を実現するプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、MO(Magneto optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【0268】
またこのようなプログラムによれば、実施の形態の情報処理装置2の広範な提供に適している。例えばスマートフォンやタブレット等の携帯端末装置、携帯電話機、パーソナルコンピュータ、ゲーム機器、ビデオ機器、PDA(Personal Digital Assistant)等にプログラムをダウンロードすることで、当該スマートフォン等を、本開示の情報処理装置2として機能させることができる。
【0269】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
<10.本技術>
【0270】
なお本技術は以下のような構成も採ることができる。
(1)
文字情報と短縮入力情報が組とされた用語データの集合体である用語集データを複数用いて、画像ファイルに付加されるメタデータとしてのテキスト情報の編集を可能とするユーザインタフェース処理を行うユーザインタフェース制御部を備えた
情報処理装置。
(2)
前記ユーザインタフェース制御部は、前記テキスト情報の編集時に入力された入力情報に基づいて前記用語集データから入力候補となる前記文字情報を提示する
上記(1)に記載の情報処理装置。
(3)
前記用語集データを取得する用語集管理部を備えた
上記(1)から上記(2)の何れかに記載の情報処理装置。
(4)
前記用語集管理部は、前記用語集データを記憶部に記憶して管理する
上記(3)に記載の情報処理装置。
(5)
前記用語集管理部は、前記用語集データごとの有効状態を管理する
上記(3)から上記(4)の何れかに記載の情報処理装置。
(6)
前記ユーザインタフェース制御部は、
複数の前記用語集データの前記有効状態の切り換えを行う環境を提供する処理を行い、
前記切り換えを行う環境において表示される複数の前記用語集データの表示順を変更する処理を行う
上記(5)に記載の情報処理装置。
(7)
前記表示順は有効化された回数の多い順とされた
上記(6)に記載の情報処理装置。
(8)
前記表示順は無効化されてからの経過時間が短い順とされた
上記(6)に記載の情報処理装置。
(9)
前記用語集管理部は、ネットワークを介してサーバ装置から前記用語集データを取得する
上記(3)から上記(8)の何れかに記載の情報処理装置。
(10)
前記用語集管理部は、前記サーバ装置との同期設定に基づいて前記用語集データの取得を行う
上記(9)に記載の情報処理装置。
(11)
前記同期設定として自動同期設定と手動同期設定が設けられた
上記(10)に記載の情報処理装置。
(12)
前記用語集管理部は、位置情報に基づいて前記サーバ装置から取得する前記用語集データを選択する
上記(9)から上記(11)の何れかに記載の情報処理装置。
(13)
前記用語集管理部は、時間情報に基づいて前記サーバ装置から取得する前記用語集データを選択する
上記(9)から上記(12)の何れかに記載の情報処理装置。
(14)
前記サーバ装置は共用サーバ装置とされた
上記(9)から上記(13)の何れかに記載の情報処理装置。
(15)
前記ユーザインタフェース制御部は、前記テキスト情報の編集に音声データを利用可能な環境を提供する処理を行い、
前記音声データを利用した前記テキスト情報の編集において前記用語集データが用いられる
上記(1)から上記(14)の何れかに記載の情報処理装置。
(16)
前記テキスト情報は、IPTCメタデータのキャプションフィールドに格納される情報とされた
上記(1)から上記(15)の何れかに記載の情報処理装置。
(17)
文字情報と短縮入力情報が組とされた用語データの集合体である用語集データを複数用いて、画像ファイルに付加されるメタデータとしてのテキスト情報の編集を可能とするユーザインタフェース処理を
情報処理装置が実行する情報処理方法。
(18)
文字情報と短縮入力情報が組とされた用語データの集合体である用語集データを複数用いて、画像ファイルに付加されるメタデータとしてのテキスト情報の編集を可能とするユーザインタフェース処理を
情報処理装置に実行させるプログラム。
【符号の説明】
【0271】
1 撮像装置
2 情報処理装置
4 FTPサーバ
6 ネットワーク
31 UI制御部
36 用語集管理部
58 用語集一覧画面
63 用語データ編集画面
71 CPU
79 記憶部
PF 画像ファイル