特開 2023-86243 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023086243

(43)【公開日】2023-06-22

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G06F 3/16 20060101AFI20230615BHJP

   H04N 5/92 20060101ALI20230615BHJP

   H04N 23/60 20230101ALI20230615BHJP

   G06F 3/01 20060101ALI20230615BHJP

   G06Q 50/30 20120101ALI20230615BHJP

   G06Q 50/00 20120101ALI20230615BHJP

   G07C 5/00 20060101ALN20230615BHJP

【ＦＩ】

G06F3/16 650

H04N5/92 010

H04N5/232 300

G06F3/16 690

G06F3/16 660

G06F3/01 510

G06Q50/30

G06Q50/00 300

G07C5/00 Z

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021200624

(22)【出願日】2021-12-10

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】110001025

【氏名又は名称】弁理士法人レクスト国際特許事務所

(72)【発明者】

【氏名】宮部 航太朗

【テーマコード（参考）】

3E138

5C053

5C122

5E555

5L049

【Ｆターム（参考）】

3E138AA07

3E138MA10

3E138MB08

3E138MB09

3E138MB10

3E138MD05

5C053FA23

5C053FA27

5C053GB06

5C053GB36

5C053JA16

5C053JA21

5C053LA02

5C053LA04

5C053LA06

5C053LA11

5C053LA14

5C122DA03

5C122DA04

5C122DA09

5C122EA42

5C122FJ01

5C122FJ04

5C122FJ11

5C122GA34

5C122GC04

5C122GC14

5C122GC16

5C122GC19

5C122GC20

5C122GC46

5C122GC86

5C122HA01

5C122HA04

5C122HB01

5C122HB05

5E555AA44

5E555AA46

5E555AA74

5E555BA23

5E555BB23

5E555BC18

5E555BE10

5E555CA42

5E555CA47

5E555CB45

5E555CB72

5E555CB82

5E555CC11

5E555DA23

5E555DD08

5E555EA23

5E555FA00

5L049CC11

5L049CC42

(57)【要約】

【課題】 写真等へのコメント入力のタイミングが損なわれない情報処理装置を提供する。
【解決手段】 情報処理装置は、車両内に存在する携帯デバイスを検出する検出部と、検出部により携帯デバイスが検出された際に、携帯デバイスが前回検出されてから今回検出されるまでの間に携帯デバイスにより撮影された画像に関連するコメントを入力するように、ユーザを誘導するコメント誘導部と、ユーザが入力したコメントを示すコメントデータを取得するコメント取得部と、画像を示す画像データにコメントデータを紐付けるデータ紐付け部とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

車両内に存在する携帯デバイスを検出する検出部と、
前記検出部により前記携帯デバイスが検出された際に、前記携帯デバイスが前回検出されてから今回検出されるまでの間に前記携帯デバイスにより撮影された画像に関連するコメントを入力するように、ユーザを誘導するコメント誘導部と、
前記ユーザが入力したコメントを示すコメントデータを取得するコメント取得部と、
前記画像を示す画像データに前記コメントデータを紐付けるデータ紐付け部と、
を備えることを特徴とする情報処理装置。

【請求項2】

請求項１に記載の情報処理装置であって、
前記携帯デバイスにより、前記検出部により前記携帯デバイスが前回検出されてから今回検出されるまでの間に撮影された画像が存在するか否かを判定する判定部を備え、
前記コメント誘導部は、前記判定部により前記画像が存在すると判定された場合に、前記画像に関連するコメントを入力するように、ユーザを誘導することを特徴とする情報処理装置。

【請求項3】

請求項１又は２に記載の情報処理装置であって、
前記コメント誘導部は、前記携帯デバイスにより撮影された画像の各々を特定する情報を提示しつつ、当該画像の少なくとも１つに関連するコメントを入力するように、ユーザを誘導することを特徴とする情報処理装置。

【請求項4】

請求項１乃至３のいずれかに記載の情報処理装置であって、
前記コメント誘導部は、音声によってコメント誘導を行い、
前記コメント取得部は、受け付けたコメント音声をテキストデータに変換する音声テキスト変換部、又はテキスト入力を受け付けるテキスト入力部を備えることを特徴とする情報処理装置。

【請求項5】

請求項１乃至４のいずれかに記載の情報処理装置であって、
前記コメント誘導部は、前記携帯デバイスによる画像の撮影順に基づいて前記画像の少なくとも１つに対するコメントを入力するように、ユーザを誘導するタイミングを決めることを特徴とする情報処理装置。

【請求項6】

請求項１乃至５のいずれかに記載の情報処理装置であって、
前記コメント誘導部は、前記車両の運転者の運転負荷に基づいて、前記画像の少なくとも１つに対するコメントを入力するように、ユーザを誘導するタイミングを決めることを特徴とする情報処理装置。

【請求項7】

請求項１乃至６のいずれかに記載の情報処理装置であって、
前記データ紐付け部は、前記画像データに訪問スポット情報を紐付ける
ことを特徴とする情報処理装置。

【請求項8】

画像を撮影する撮影部と、
車載されているかを検出する車載検出部と、
前記車載検出部により車載されていることが検出された際に、前記車載検出部が前回車載されていないことを検出してから、今回車載されていることを検出するまでの間に前記撮影部により撮影された画像に関連するコメントを入力するように、ユーザを誘導するコメント誘導部と、
前記ユーザが入力したコメントを示すコメントデータを取得するコメント取得部と、
前記画像を示す画像データに前記コメントデータを紐付けるデータ紐付け部と、
を備えることを特徴とする携帯デバイス。

【請求項9】

情報処理装置が実行する情報処理方法であって、
車両内に存在する携帯デバイスを検出する検出ステップと、
前記検出ステップにより前記携帯デバイスが検出された際に、前記携帯デバイスが前回検出されてから今回検出されるまでの間に前記携帯デバイスにより撮影された画像に関連するコメントを入力するように、ユーザを誘導するコメント誘導ステップと、
前記ユーザが入力したコメントを示すコメントデータを取得するコメント取得ステップと、
前記画像を示す画像データに前記コメントデータを紐付けるデータ紐付けステップと、
を有することを特徴とする情報処理方法。

【請求項10】

コンピュータに実行させるためのプログラムであって、
車両内に存在する携帯デバイスを検出する検出ステップと、
前記検出ステップにより前記携帯デバイスが検出された際に、前記携帯デバイスが前回検出されてから今回検出されるまでの間に前記携帯デバイスにより撮影された画像に関連するコメントを入力するように、ユーザを誘導するコメント誘導ステップと、
前記ユーザが入力したコメントを示すコメントデータを取得するコメント取得ステップと、
前記画像を示す画像データに前記コメントデータを紐付けるデータ紐付けステップと、
を前記コンピュータに実行させることを特徴とするプログラム。

【請求項11】

請求項１０に記載のプログラムを格納した記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像等の入力した情報を処理する情報処理装置に関する。

【背景技術】

【0002】

従来、例えば、情報処理装置として、特許文献１に記載されているように、ユーザが撮影した画像に関する音声コメント（発話）を入力すると、テキスト変換されたコメントが画像に埋め込まれた合成画像を生成する電子アルバム編集装置が提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００３－１１１００９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の電子アルバム編集装置では、訪問先等で周りに人がいる場合、ユーザが発話しにくい場合がある。また、ユーザが家に帰ってから音声コメント（発話）を入力する場合だと、何かを忘れている場合があり、コメント（発話）入力のタイミングが損なわれることが多いという課題があった。

【0005】

本発明が解決しようとする課題としては、写真等の画像へのコメント入力のタイミングが損なわれない情報処理装置を提供することが一例として挙げられる。

【課題を解決するための手段】

【0006】

請求項１に記載の発明は、情報処理装置であって、車両内に存在する携帯デバイスを検出する検出部と、前記検出部により前記携帯デバイスが検出された際に、前記携帯デバイスが前回検出されてから今回検出されるまでの間に前記携帯デバイスにより撮影された画像に関連するコメントを入力するように、ユーザを誘導するコメント誘導部と、前記ユーザが入力したコメントを示すコメントデータを取得するコメント取得部と、前記画像を示す画像データに前記コメントデータを紐付けるデータ紐付け部と、を備えることを特徴とする。

【0007】

請求項８に記載の発明は、携帯デバイスであって、画像を撮影する撮影部と、車載されているかを検出する車載検出部と、前記車載検出部により車載されていることが検出された際に、前記車載検出部が前回車載されていないことを検出してから、今回車載されていることを検出するまでの間に前記撮影部により撮影された画像に関連するコメントを入力するように、ユーザを誘導するコメント誘導部と、前記ユーザが入力したコメントを示すコメントデータを取得するコメント取得部と、前記画像を示す画像データに前記コメントデータを紐付けるデータ紐付け部と、を備えることを特徴とする。

【0008】

請求項９に記載の発明は、情報処理装置が実行する情報処理方法であって、車両内に存在する携帯デバイスを検出する検出ステップと、前記検出ステップにより前記携帯デバイスが検出された際に、前記携帯デバイスが前回検出されてから今回検出されるまでの間に前記携帯デバイスにより撮影された画像に関連するコメントを入力するように、ユーザを誘導するコメント誘導ステップと、前記ユーザが入力したコメントを示すコメントデータを取得するコメント取得ステップと、前記画像を示す画像データに前記コメントデータを紐付けるデータ紐付けステップと、を有することを特徴とする。

【0009】

請求項１０に記載の発明は、コンピュータに実行させるためのプログラムであって、車両内に存在する携帯デバイスを検出する検出ステップと、前記検出ステップにより前記携帯デバイスが検出された際に、前記携帯デバイスが前回検出されてから今回検出されるまでの間に前記携帯デバイスにより撮影された画像に関連するコメントを入力するように、ユーザを誘導するコメント誘導ステップと、前記ユーザが入力したコメントを示すコメントデータを取得するコメント取得ステップと、前記画像を示す画像データに前記コメントデータを紐付けるデータ紐付けステップと、を前記コンピュータに実行させることを特徴とする。

【0010】

請求項１１に記載の発明は、記録媒体であって、請求項１０に記載のプログラムを格納する。

【図面の簡単な説明】

【0011】

【図1】本発明による実施例１の情報処理システムの構成の一例を示す概略説明図である。

【図2】実施例１における情報処理装置である移動体通信機器の構成の一例を示すブロック図である。

【図3】実施例１における実施例の情報処理装置である移動体通信機器の画像データ情報処理手順を説明するフローチャートである。

【図4】本発明による実施例２の情報処理システムの構成の一例を示す概略説明図である。

【図5】実施例２における情報処理装置である携帯デバイスの構成の一例を示すブロック図である。

【図6】実施例２における実施例の情報処理装置である携帯デバイスの画像データ情報処理手順を説明するフローチャートである。

【図7】実施例２の情報処理装置である携帯デバイスを携帯するユーザが車両によりドライブした際の画像情報処理結果を示す説明図である。

【発明を実施するための形態】

【0012】

以下、図面を参照しつつ本発明による実施の形態の例の情報処理装置について説明する。なお、実施例において、実質的に同一の機能及び構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【実施例0013】

図１は、実施例１の情報処理システムの概略説明図である。

【0014】

情報処理システムは、１又は複数の携帯デバイス１０と、移動体通信機器２０を含み、さらに、移動体通信機器２０とネットワークＮＥを介して通信可能な地図運用サーバＭＤＳを含んでもよい。

【0015】

携帯デバイス１０は、ユーザが携帯可能であって、且つカメラ機能を有し、撮影した画像等をデジタルデータとして保存する。携帯デバイス１０としては、スマートフォン、デジタルカメラ、デジタルビデオカメラ、タブレットＰＣ（Personal Computer）、ノートＰＣ、等が挙げられる。携帯デバイス１０により撮影された画像各々の画像ファイルには、例えばＥＸＩＦ（EXchangeable Image File）フォーマットが広く用いられている。ＥＸＩＦフォーマットの画像ファイルには、たとえばＪＰＥＧ（Joint Photographic Experts Group）方式で圧縮された静止画のデータと、付加情報のデータとを記録できる。それらの容量に制限があるものの付加情報には、撮影位置、撮影日時、撮像方向、撮影機種、撮影条件等の撮影データが記録できる。

【0016】

移動体通信機器２０は、本発明の情報処理装置の一例であって、例えば、車両ＶＥに搭載されるナビゲーション装置若しくはドライブレコーダが挙げられる。或いは、タブレットＰＣ、ノートＰＣ、スマートフォン等が所定のアプリケーションを実行することで、移動体通信機器としても機能させてもよい。

【0017】

移動体通信機器２０と携帯デバイス１０は、Wi-Fi（登録商標）又は近距離無線通信として例えばBluetooth（登録商標）規格の通信等によって接続可能となっている。また両者は、無線接続に限らず、有線で通信接続されてもよい。

【0018】

移動体通信機器２０や携帯デバイス１０やネットワークＮＥの接続は、インターネットに接続できる回線事業者と回線接続事業者（プロバイダ）から提供される基地局を用いる携帯電話回線（ＬＴＥ（Long Term Evolution）若しくは４Ｇ（第４世代のモバイル通信規格）又は５Ｇや６Ｇ（第５世代や第６世代のモバイル通信規格））や、衛星通信網等のモバイル回線を介して行われる。なお、固定通信機器のネットワーク接続は光回線、ＣＡＴＶ（CommunityAntennaTelevision / CableTelevision）回線、固定電話回線等の固定回線を介して行われる。

【0019】

図２は、情報処理装置である移動体通信機器２０の構成例を示すブロック図である。移動体通信機器２０は、ユーザインターフェイスのディスプレイ（図示せず）やスピーカ（図示せず）等の出力部２１及びマイクロフォン（図示せず）やタッチパネル（図示せず）や物理ボタン等の入力部２２と、文字ファイルＤＢや画像ファイルＤＢや地図情報ＤＢ等が記憶された記憶部２３と、通信を行うための通信部２４と、これらの各要素を制御して各種のタスクを実行して機器全体の動作を制御する制御部２５と、センサ部２６と、該制御部に制御されるカメラ２７等を有する。

【0020】

制御部２５は、図示しないＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を有し、移動体通信機器２０内の各構成要素に対して種々の制御を行う。なお、制御部２５は、ＣＰＵに限らず、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路を含んで実現されてもよい。

【0021】

記憶部２３は、図示しないＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）又はフラッシュメモリといった装置によって構成され、制御部２５が実行するプログラム等を記憶する。画像ファイルＤＢは、外部からインポートされ又はカメラ２７により撮影された画像情報が格納される画像ファイル領域のデータベースである。文字ファイルＤＢは、当該撮影された画像情報に紐づけられたコメントの文字情報がＥＸＩＦフォーマット画像ファイルの付加情報とは別に格納される文字列ファイル領域のデータベースである。地図情報ＤＢは、地図情報が格納されるデータベースである。

【0022】

通信部２４は、制御部２５による制御の下で、ネットワークＮＥを介して地図運用サーバＭＤＳとの間で情報の送受信を行うインターフェイスである。通信部２４は、例えば、ネットワークＮＥに接続するためのＮＩＣ（Network Interface Card）である。なお、通信部２４には、ＶＩＣＳ（Vehicle Information Communication System（登録商標））センタからの渋滞情報や交通情報等の道路交通情報を地上波で取得することができる受信機を含めてもよい。

【0023】

センサ部２６は、制御部２５にそれぞれ検出信号を送るＧＮＳＳ（Global Navigation Satellite System）受信機や傾き検出用のジャイロセンサ及び慣性検出用の加速度センサ等を含む。

【0024】

カメラ２７は、車内を撮影する内向き撮像器や車外前方後方等を撮影する外向き撮像器を含むものであってもよい。

【0025】

制御部２５は、ＣＰＵによって、記憶部２３に記憶された音声合成プログラムが実行されるテキスト音声変換部（図示せず）を備え、これにより、出力すべきテキスト信号を、音声信号に変換し、出力部２１のスピーカ（図示せず）に音声出力させる。音声合成には、公知の音声合成プログラムを用いることができる。

【0026】

また、制御部２５は、ＣＰＵによって、記憶部２３に記憶された音声認識プログラムが実行される音声テキスト変換部（図示せず）を備え、これにより、入力部２２のマイクロフォン（図示せず）から入力される音声信号を音声テキストにＡＤ変換して音声認識処理を施し、音声を文字列に変換し、コメント等の文字列情報を取得できる。音声認識処理には、公知の音声認識プログラムを用いることができる。

【0027】

さらに、制御部２５は、ＣＰＵによって、記憶部２３に記憶された公知のIME（input method editor / input method engine）プログラムが実行されるテキスト入力変換部（図示せず）を備え、これにより、入力部２２のタッチパネル（図示せず）等から入力されるテキストを日本語に変換して、コメント等の文字列情報を取得できる。

【0028】

特に、制御部２５は、ＣＰＵによって、記憶部２３に記憶された各種プログラムが実行されることにより、デバイス検出部ＤＫＰ、コメント誘導部ＣＹＰ、コメント取得部ＣＧＰ、データ紐付け部ＤＨＰとして機能する。

【0029】

デバイス検出部ＤＫＰは、車両ＶＥ内に存在する携帯デバイスを検出し、それら携帯デバイス内の撮影された写真等の画像ファイルの状態を検出する検出機能部である。当該検出機能部は、Wi-Fi（登録商標）又はBluetooth（登録商標）による無線通信、また有線通信により各種の携帯デバイスを識別して通信接続して、その内の画像ファイルにアクセスでき、その画像ファイルのインポートや情報読み取りができる。そのためには、前提として、携帯デバイス１０（例えばユーザが携帯するスマートフォン、デジタルカメラ等）において、移動体通信機器２０と連携するためのコンパニオンアプリ（以下、単にアプリという）がインストールされ、アクセスポイント選択や、暗号化キーの設定等の通信設定がなされており、通信機能がオン状態にあるものとする。

【0030】

また、デバイス検出部ＤＫＰは、携帯デバイス１０が、移動体通信機器２０と通信接続されたことにより前回検出されてから、移動体通信機器２０と通信接続されたことにより今回検出されるまでの間に、携帯デバイス１０より撮影された画像ファイルが存在するか否かを判定する判定部ＨＮＰとして機能する。

【0031】

コメント誘導部ＣＹＰは、携帯デバイス１０が検出された際に、携帯デバイス１０が前回検出されてから今回検出されるまでの間に、携帯デバイス１０により撮影された写真等の画像に関連する感想等のコメントを入力するように、ユーザを誘導する機能部である。

【0032】

コメント取得部ＣＧＰは、ユーザが入力した感想等のコメントを示すコメントデータを取得する機能部である。

【0033】

データ紐付け部ＤＨＰは、携帯デバイス１０により撮影された写真等を示す画像データに、コメント取得部ＣＧＰにより取得されたコメントデータを紐付ける機能部である。

【0034】

実施例１によれば、これらに機能部により、ユーザが車両ＶＥから離れて訪問先へ行き再び車両ＶＥに戻った時に、訪問先で撮影した画像がユーザの携帯デバイス１０に存在する場合は、移動体通信機器２０が当該画像に対するユーザのコメントの入力を促すことができる。これより、ユーザは、個室である車両ＶＥに戻ったタイミング、又は車両ＶＥに戻った後の運転負荷が軽いタイミングにおいて、記憶が新しいうちにコメントを入力することができる。

【0035】

実施例１における画像データ情報処理手順について、携帯デバイス１０を携帯するユーザが、移動体通信機器２０が搭載された車両ＶＥによりドライブする際の移動体通信機器の処理を、図３に示すフローチャートを用いて説明する。この処理は、移動体通信機器２０内の制御部２５が、予め用意されたプログラムを実行することにより実現される。

【0036】

移動体通信機器２０は、ユーザの起動操作、又は車両ＶＥのイグニッションＯＮに連動して起動され、本フローチャートは、ユーザのＯＦＦ操作、又は車両ＶＥのイグニッションＯＦＦまで繰り返して実行される。

【0037】

移動体通信機器２０が起動されると、移動体通信機器２０の制御部２５が、センサ部２６のＧＮＳＳ受信機を介して現在位置を取得し、所定間隔で位置記録を行う（ステップＳ１）。移動体通信機器２０が車両ＶＥのイグニッションＯＮに連動して起動する場合、まず、車両ＶＥが駐車されていた位置が記録される。

【0038】

次に、制御部２５のデバイス検出部ＤＫＰは、通信部２４を介した所定の通信により車両ＶＥ内に存在する携帯デバイス１０との通信を試みることで、車両内に持ち込まれた携帯デバイス１０を検出する（ステップＳ２）。具体的には、携帯デバイス１０と新たな通信が確立した場合に、携帯デバイス１０が車内に持ち込まれたことを検出する。デバイス検出部ＤＫＰは、携帯デバイス１０が車内に持ち込まれたことを検出した場合（Ｓ２；Ｙ）、携帯デバイス１０により撮影された画像が格納される所定フォルダにアクセスし、画像ファイルを読み出して移動体通信機器２０の記憶部２３の画像ファイルＤＢに記憶する（ステップＳ３）。ここで、デバイス検出部ＤＫＰは、画像ファイル自体をコピーしてもよいし、画像ファイルのファイル名および撮影日時情報のみを記録してもよい。デバイス検出部ＤＫＰは、携帯デバイス１０が車内に持ち込まれたことを検出できない場合（Ｓ２；Ｎ）、処理を一旦終了し、本フローチャートを初めから繰り返す。

【0039】

次に、デバイス検出部ＤＫＰの判定部ＨＮＰは、携帯デバイス１０との通信が途絶えていた間に、携帯デバイス１０により新たに撮影された画像が存在するかを検出する（ステップＳ４）。具体的には、携帯デバイス１０との前回の通信接続の確立時に記録された画像ファイル名と、ステップＳ３において今回の通信接続により記憶した画像ファイル名を比較し、今回の画像ファイル名の中に、前回は存在しなかったファイル名が存在するか否か判定する。新たなファイル名が存在すれば、新たに撮影された画像ファイルがあると判定して（Ｓ４；Ｙ）、デバイス検出部ＤＫＰは、車両ＶＥの状況を検出する次のステップＳ５に移行する。また、判定部ＨＮＰは、前回の通信接続確立時に記録された画像ファイルの最近の撮影日時情報と、今回の画像ファイルの撮影日時情報を比較して新たに撮影された画像があるかを判定してもよい。判定部ＨＮＰは新たに撮影された画像が検出されない場合（Ｓ４；Ｎ）、処理を一旦終了し、本フローチャートを初めから繰り返す。

【0040】

ステップＳ４において、新たな画像ファイルがあると判定された場合、制御部２５のコメント誘導部ＣＹＰは、車両ＶＥの位置記録に基づき車両ＶＥが停車中か否か検出する（ステップＳ５）。車両ＶＥが停車中でない場合（Ｓ５；Ｎ）、コメント誘導部ＣＹＰは、ユーザの運転中に運転負荷が軽い状態か否か検出する（ステップＳ６）。コメント誘導部ＣＹＰは、ユーザの運転負荷が軽い状態ではない場合（Ｓ６；Ｎ）、車両ＶＥの停車中検出のステップＳ５に戻る。すなわち、コメント誘導部ＣＹＰは、次に車両ＶＥが停車するか、運転負荷が軽い状況（直線道路走行、自動運転開始等）となるまで、次のステップＳ７のユーザにコメントを誘導する発話を待機する。

【0041】

車両ＶＥが停車中であると判定された場合（Ｓ５：Ｙ）、又はユーザの運転負荷が軽い状態であると判定された場合（Ｓ６：Ｙ）、コメント誘導部ＣＹＰは、新たに撮影された画像ファイルについてのコメントを音声入力する旨の誘導をユーザに行なう（ステップＳ７）。すなわち、車両ＶＥがすぐに発車せず停車状態が続いていれば、停車状態の間にユーザのコメントを誘導する発話を行い、車両ＶＥがすぐに発車して走行状態となった場合には、次に停車するか、運転負荷が軽い状況となるまで、コメントを誘導する発話を待機する。

【0042】

ステップＳ７において、コメントを音声入力する旨をユーザに促すには、新たに撮影された複数画像をまとめてユーザに提示してコメントを入力するように、ユーザを誘導することができる。コメント誘導部ＣＹＰは、記憶されている新たな画像ファイル（写真）の画像全数を一度に出力部２１のディスプレイに表示して、コメントを入力するように、スピーカからユーザを誘導する発話、例えば、「訪問先はいかがでしたか？感想を言って下さい」等を出力させて、ユーザにコメント入力を誘う。

【0043】

また、コメント誘導では、新たな複数画像の画像（写真）を１つ１つ表示させながらユーザに提示してコメントを入力するように、ユーザを誘導してもよい。コメント誘導部ＣＹＰは、例えば記憶されている画像全数を１画像ずつ一定時間、順次ディスプレイに表示して、コメントを入力するように、ユーザを誘導する発話、「この場面はいかがでしたか？感想を言って下さい」等を出力させて、ユーザにコメント入力を誘う。

【0044】

次に、制御部２５のコメント取得部ＣＧＰは、コメント誘導のステップＳ７の所定時間内に、提示された画像に少なくとも１つのコメント入力があるか否か判定する（ステップＳ８）。

【0045】

ユーザによるコメント入力がある場合（Ｓ８；Ｙ）、コメント取得部ＣＧＰは、入力部２２のマイクロフォン（図示せず）からユーザが入力した感想等のコメントを音声認識処理により文字列に変換し、コメントの文字列情報を示すコメントデータを取得し、制御部２５のデータ紐付け部ＤＨＰが当該コメントデータを対応する画像ファイルに関連付けて記憶部２３の文字ファイルＤＢに記憶（ステップＳ９）し、本フローチャートを繰り返す。また、画像ファイルと対応するコメントデータが紐づけて記憶される限り、記憶先は、移動体通信機器２０でも、携帯デバイス１０でも、ネットワークを介して接続された外部のサーバ装置でもよい。また、この時、携帯デバイス１０で撮影された新しい画像に撮影位置情報が付属されていない場合には、ステップＳ１において記憶された車両ＶＥの駐車位置を、撮影位置情報として付属して記憶するようにしてもよい。

【0046】

コメント入力の判定の際にコメント入力がない場合（Ｓ８；Ｎ）、コメント取得部ＣＧＰは、ユーザが入力をキャンセルしたか否か判定する（ステップＳ１０）。コメント取得部ＣＧＰは、ユーザが入力をキャンセルしない場合（Ｓ１０；Ｎ）、ステップＳ８に戻り、ユーザが入力をキャンセルする場合（Ｓ１０；Ｙ）、処理を終了し、本フローチャートを初めから繰り返す。このように、コメント取得部ＣＧＰはユーザによりコメントが入力されるか、キャンセル（今回はコメントを入力しない旨の意思表示）を受付けるまで待機する。または、所定時間内にコメントもキャンセルも入力されない場合は、キャンセルされたものとして処理を終了してもよい。

【0047】

なお、ここまで、移動体通信機器２０がコメント誘導として、ユーザにコメントを求める音声を出力することを説明したが、コメント誘導は音声出力に限定されず、画像出力により行われてもよい。

【0048】

実施例１によれば、ユーザは、新たに撮影された画像に対するコメント入力の誘導を、個室である車両ＶＥに戻ったタイミング、又は車両ＶＥに戻った後の運転負荷が軽いタイミングで受けることになり、記憶が新しいうちにコメントを入力することができる。

【0049】

また、移動体通信機器２０がスピーカを介して当該発話誘導し、マイクがユーザの発話を拾うことで、携帯デバイスがユーザのバックにしまわれている場合であっても、新たに撮影された写真についてのコメントを入力することができる。

【実施例0050】

上記実施例１では、コメントタイミングの検知機能、コメント誘導機能、及び、画像ファイルにコメントを紐づける機能を有する移動体通信機器２０を説明したが、携帯デバイス１０が単独でこれらの機能を有する構成を備えてもよい。

【0051】

図４は、実施例２の情報処理システムにおいて、情報処理装置である携帯デバイス１０を携帯するユーザが車両ＶＥによりドライブ或いは旅行した場合の概略説明図である。当該情報処理システムには、携帯デバイス１０にネットワークＮＥを介して通信可能な地図運用サーバＭＤＳを含んでもよい。

【0052】

車両ＶＥは、「移動体」の一例であり、当該システムに適用される移動体は、二輪車、バス、タクシー等の車両に限定されない。移動体は、船舶、飛行機などでもよく、すなわち、携帯デバイス１０を携帯するユーザが乗り降り可能な輸送手段であればよい。

【0053】

図５は、実施例２の携帯デバイス１０例えばスマートフォンの構成例を示すブロック図である。携帯デバイス１０は、或る種のコンピュータ装置であり、そのハードウェア構成は、図示しないが、各種プログラムに従い処理を行うＣＰＵ（Central Processing Unit）を含み、以下の各要素を制御して各種のタスクを実行して機器全体の動作を制御する制御部３５と、該ＣＰＵに接続され該ＣＰＵによって実行される各種のプログラムを記憶し、さらに、文字ファイルＤＢや画像ファイルＤＢや地図情報ＤＢ等を記憶するＲＡＭ（Random Access Memory）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等（図示せず）からなる記憶部３３と、を有する。更に、携帯デバイス１０は、それぞれがデータバス等を介して相互に接続されている、ディスプレイ（図示せず）やスピーカ（図示せず）等の出力部３１及びマイクロフォン（図示せず）やタッチパネル（図示せず）や物理ボタン等の入力部３２と、制御部３５の制御下でネットワークＮＥを介してインターネット信号の入出力等の通信を行うためのＮＩＣ等を含む通信部３４と、制御部３５にそれぞれ検出信号を送るＧＮＳＳ受信機や傾きセンサ及び慣性検出用の３Ｇセンサ等を含むセンサ部３６と、制御部３５に制御されるカメラ３７及び振動モータ等の振動子（図示せず）を有する。

【0054】

制御部３５は、実施例１の制御部２５と同様に、テキスト音声変換部（図示せず）や、音声テキスト変換部（図示せず）を備え、これらにより、出力部３１及び入力部３２がユーザとのインターフェイスとして機能することができる。

【0055】

さらに、制御部３５は、実施例１の制御部２５と同様に、IMEプログラムが実行されるテキスト入力変換部（図示せず）を備え、これにより、入力部３２のタッチパネル（図示せず）等から入力されるテキストを日本語に変換して、コメント等の文字列情報を取得できる。

【0056】

特に、制御部３５は、実施例１の制御部２５と同様に、ＣＰＵによって、記憶部３３に記憶された各種プログラムが実行されることにより、移動手段検出部ＩＫＰ、コメント誘導部ＣＹＰ、コメント取得部ＣＧＰ、データ紐付け部ＤＨＰとして機能する。

【0057】

例えば、携帯デバイス１０は、センサ部３６のＧＮＳＳ受信機を用いて自己位置を測位し、自己位置の移動速度及び３Ｇセンサによる振動パターンに基づいて、車両ＶＥでの移動と他の方法（ユーザの歩行）での移動を識別可能である。例えば、車両移動の場合では、携帯デバイス１０は、車両ＶＥでの移動が一度中断し、他の方法での移動が検出された後に再び車両ＶＥでの移動が検出された場合に、ユーザが訪問スポットを訪問後に車両ＶＥに戻ってきたと判定でき、或いは、車両ＶＥでの移動が一度中断した位置から、携帯デバイス１０の位置が離れた後、再び、車両ＶＥでの移動が一度中断した位置に戻った場合に、車両ＶＥに戻ってきたと判定できる。

【0058】

ユーザ（携帯デバイス１０）が当該位置に戻ってきた後、携帯デバイス１０は、携帯デバイス１０により新たに撮影された画像ファイルがあるか否か調べ、新たな画像があれば、当該画像に関するコメントの入力を誘い、ユーザからコメントを取得すると、当該画像ファイルと当該コメントを紐づけて、記憶部３３の文字ファイルＤＢに蓄積する。この時、訪問スポットの位置情報と、当該位置情報に基づいて地図情報から取得した訪問スポットの名称や各種情報を画像ファイルに紐づけて記憶してもよい。また、携帯デバイス１０は各種情報が紐づけられた画像ファイルを地図運用サーバＭＤＳにアップロードすることもできる。

【0059】

実施例２における画像データ情報処理手順について、携帯デバイス１０を携帯するユーザが、移動体の一例である車両ＶＥによりドライブする際の携帯デバイス１０による処理を、図６に示すフローチャートを用いて説明する。この処理は、携帯デバイス１０のユーザの起動操作（電源ＯＮ）、又は、ユーザにより携帯デバイス１０のコメント入力自動リクエスト機能がＯＮされた場合に、携帯デバイス１０内の制御部３５が、予め用意されたプログラムを実行することによりスタートする。また、携帯デバイス１０が電源ＯＦＦされる、又は、ユーザにより、携帯デバイス１０のコメント入力自動リクエスト機能がＯＦＦされるまで処理を繰り返す。

【0060】

制御部３５の移動手段検出部ＩＫＰは、ユーザが車両に搭乗しているかを判定する（ステップＳ１１）。具体的には、携帯デバイス１０の移動速度や、３Ｇセンサによる振動パターンに基づいて、ユーザが車両に搭乗しているか否かを判定する。或いは、所定の車載装置と有線通信または近距離無線通信で通信が確立している場合に、車両に搭乗していると判定してもよい。車両で移動していないと判定された場合（Ｓ１１；Ｎ）、処理を一旦終了し、本フローチャートを初めから繰り返す。

【0061】

車両に搭乗中と判定した場合（Ｓ１１；Ｙ）、制御部３５の移動手段検出部ＩＫＰは、ユーザが車両から降車して、車両以外の移動手段で移動を開始したかを判定する（ステップＳ１２）。具体的には、携帯デバイス１０の移動速度や、３Ｇセンサによる振動パターンに基づいて、車両以外の方法（歩行など）で移動しているかを判定する。或いは所定の車載装置と有線通信又は近距離無線通信で通信が確立しなくなった状態で携帯デバイス１０の位置が移動している場合に、車両以外の移動手段で移動を開始したと判定してもよい。

【0062】

車両以外の移動手段で移動を開始したと判定されない場合、すなわち、車両への搭乗が継続している場合（Ｓ１２；Ｎ）、車両以外の移動手段で移動を開始するまで、ステップＳ１２に戻り監視を継続する。

【0063】

次に、車両以外の移動手段での移動が開始されたと判定された場合（Ｓ１２；Ｙ）、移動手段検出部ＩＫＰは、車両からの降車位置を記録する（ステップＳ１３）。具体的には車両に搭乗していると最後に判定された位置を、車両からの降車位置として記憶する。

【0064】

ここで、ユーザが車両から離れて、車両以外の移動手段で移動を開始したということは、この時、ユーザは訪問スポットを訪問している可能性が高く、訪問スポットにおいて、携帯デバイス１０による撮影を行う可能性がある。

【0065】

次に、制御部３５の移動手段検出部ＩＫＰは、ユーザが車両に戻ったか否かを検出する（ステップＳ１４）。具体的には、携帯デバイス１０の位置が降車位置に戻った場合、又は、所定の車載装置と有線通信又は近距離無線通信で通信が確立した場合に、ユーザが車両に戻ったと判定する。ユーザが車両に戻ったと判定されない場合（Ｓ１４；Ｎ）、ユーザが車両に戻ったと判定されるまで、ステップＳ１４に戻り監視を継続する。

【0066】

次に、ユーザが車両に戻ったと判定された場合（Ｓ１４；Ｙ）、移動手段検出部ＩＫＰの判定部ＨＮＰは、車両の降車から車両に戻って来るまでの期間に、携帯デバイス１０により撮影された新しい画像があるかを判定する（ステップＳ１５）。新しい画像が検出されない場合（Ｓ１５；Ｎ）、処理を一旦終了し、本フローチャートを初めから繰り返す。

【0067】

新しい画像が存在する場合（Ｓ１５；Ｙ）、携帯デバイス１０のコメント誘導部ＣＹＰは、スピーカから通知音や振動モータによる振動等により新たに撮影された画像ファイルがある旨をユーザに通知し、さらに新たに撮影された画像についてのコメントを音声入力する旨の誘導を実施例１と同様の方法でユーザに行なう（ステップＳ１６）。

【0068】

次に、携帯デバイス１０のコメント取得部ＣＧＰは、コメント誘導のステップＳ１６の所定時間内に、提示された画像に少なくとも１つのコメント入力があるか否か判定する（ステップＳ１７）。

【0069】

ユーザによるコメント入力がある場合（Ｓ１７；Ｙ）、コメント取得部ＣＧＰは、入力部３２のマイクロフォン（図示せず）からユーザが入力した感想等のコメントを音声認識処理により文字列に変換し、コメントの文字列情報を示すコメントデータを取得し、制御部３５のデータ紐付け部ＤＨＰが当該コメントデータを対応する画像ファイルに関連付けて記憶部３３の文字ファイルＤＢに記憶（ステップＳ１９）し、本フローチャートを繰り返す。また、画像ファイルと対応するコメントデータが紐づけて記憶される限り、記憶先は、携帯デバイス１０でも、ネットワークを介して接続された外部のサーバ装置でもよい。また、この時、携帯デバイス１０で撮影された新しい画像に撮影位置情報が付属されていない場合には、ステップＳ１３において記憶された降車位置を、撮影位置情報として付属して記憶するようにしてもよい。

【0070】

コメント入力の判定の際にコメント入力がない場合（Ｓ１７；Ｎ）、コメント取得部ＣＧＰは、ユーザが入力をキャンセルしたか否か判定する（ステップＳ１８）。コメント取得部ＣＧＰは、ユーザが入力をキャンセルしない場合（Ｓ１８；Ｎ）、ステップＳ１７に戻り、ユーザが入力をキャンセルする場合（Ｓ１８；Ｙ）、処理を終了し、本フローチャートを初めから繰り返す。このように、コメント取得部ＣＧＰはユーザによりコメントが入力されるか、キャンセル（今回はコメントを入力しない旨の意思表示）を受付けるまで待機する。または、所定時間内にコメントもキャンセルも入力されない場合は、キャンセルされたものとして処理を終了してもよい。

【0071】

なお、ここまで、携帯デバイス１０がコメント誘導として、ユーザにコメントを求める音声を出力することを説明したが、コメント誘導は音声出力に限定されず、画像出力により行われてもよい。

【0072】

実施例２によれば、ユーザは、新たに撮影された画像についてのコメント入力の誘導を、移動体に戻ったタイミングにおいて受けることになり、記憶が新しいうちにコメントを入力することができる。

【0073】

携帯デバイス１０を携帯するユーザが車両ＶＥによりドライブした際の携帯デバイス１０による画像情報処理結果の一例を図７に示す。

【0074】

図７は、ドライブを終了後に、携帯デバイス１０の表示画面上に表示されるドライブアルバムの表示例である。ドライブアルバムは、携帯デバイス１０の表示画面の地図ＭＡＰ上に撮影位置マークＭＫから吹き出しユーザ撮影の画像ファイルの写真ＰＩＣが映され、該写真ＰＩＣには、コメント誘導に従ってユーザにより入力されたコメントＣＭＴ「夕食を食べた「アナゴ天」すごく美味しかった。食べながら夜景が見えて良かった」が共に表示される。さらに、コメント誘導部ＣＹＰは登録されていればドライブプランが終了した旨の通知ＡＮＣを地図ＭＡＰ上に表示できる。

【0075】

本発明によれば、何れの実施例によっても、撮影画像と共に撮影直後の新鮮なコメントを地図上に保存できるようになる。また、ドライブプランの回想記録を残すためのコメント（発話）入力のタイミングを増やすことに貢献する。