CN101019408A - 信息处理终端 - Google Patents

Abstract

本发明提供了可以利用另一种表达手段表示通过实时直接表达谈话人情感的方法直接传达给对方的不希望有情感的信息处理终端，从而可以事后回顾和掌握呼叫状态的整个图像。信息处理终端1包括：输入语音的语音信号输出部分102；从所输入的语音中生成情感参数的情感估计部分201；以及通告各种信息的通告部分30、40和50，其中，信息处理终端1进一步包括指定通过所生成的参数的特别参数表达的情感的情感指定部分203，而通告部分30、40和50通告指定情感。

Description

信息处理终端

技术领域

本发明涉及通告从人语中推测出来的谈话人情感的信息处理终端。

背景技术

有人已经公开了从人语、尤其从语音的音量、语音的波形、语音的声调、语音的发音等中推测人情感的技术(专利文件1)。另外，有人还公开了通过三维地改变和显示根据通过基于专利文件1等的技术推测的情感在3D(3维)计算机图形上创建的人脸的仿真模型的表达来表达人情感的另一种技术(专利文件2)。通过这些技术，只从人的语音中就可以直观地得知谈话人的情感。

专利文件1：WO 00/62279

专利文件2：JP-A-2002-298155

发明内容

本发明要解决的问题

当估计包括多种情感的某种语音时，例如，6种要素，即，快乐、悲伤、惊讶、憎恨、愤怒和害怕往往用作情感信息的基本要素。但是，存在着如果按原样实时表达情感结果，也将在交流时不适合表达的情感传达给对方的问题。

如果通过电话进行语音呼叫，只保留呼叫时的记录，而不能像邮件那样保留那里的会话状态。至此，一直存在着无法回溯那里的呼叫状态的问题。

本发明就是在这样的背境下作出的。本发明的一个目的是提供一种可以通过另一种表达手段表示通过实时直接表达谈话人情感的方法直接传达给对方的不希望有情感的信息处理终端。

本发明的另一个目的是提供一种在回溯的时候可以掌握呼叫状态的整个图像的信息处理终端。

解决问题的手段

按照本发明的信息处理终端是包括如下的信息处理终端：从所输入的语音中生成情感参数的参数生成单元；以及通告各种信息的通告单元，其中，该通告单元通告有关于与由该参数生成单元生成的参数相对应的情感的信息。

按照本发明的信息处理终端进一步包括存储数据的存储单元，其中，该存储单元存储由该参数生成单元生成的该情感参数；以及通告单元通告有关于与存储在该存储单元中的该参数相对应的情感的信息。

按照这种配置，可以根据人的输入语音通告谈话人的情感，从而防止谈话人的情感被误读成另一种情感。

在按照本发明的信息处理终端中，存储单元与由该参数生成单元生成该情感参数的顺序相对应地存储参数生成单元生成的情感参数；以及通告单元按照该顺序通告有关于与存储在该存储单元中的该参数相对应的情感的信息。

按照这种配置，可以按时序读取谈话人的情感，以便可以更容易地掌握谈话人的情感。

按照本发明的信息处理终端进一步进行电话呼叫的呼叫单元，其中，语音输入单元在该呼叫单元进行电话呼叫期间输入语音。

按照这种配置，可以输入电话呼叫期间的语音，以便可以容易地将语音输入信息处理终端中。

按照本发明的信息处理终端进一步包括：存储数据的存储单元；以及进行电话呼叫的呼叫单元，其中，语音输入单元在该呼叫单元进行电话呼叫期间输入语音；存储单元与由该参数生成单元生成该情感参数的顺序相对应地存储参数生成单元生成的情感参数；以及通告单元按照该顺序通告有关于与存储在该存储单元中的该参数相对应的情感的信息。

按照这种配置，可以按时序读取谈话方的情感，以便可以容易地掌握谈话方的情感。其结果是，可以达到流畅的交流。

在按照本发明的信息处理终端中，通告单元在该呼叫单元进行的电话呼叫完成之后通告与该情感有关的信息。

按照这种配置，可以在电话呼叫完成之后检验在电话呼叫期间谈话方的情感或用户自己的情感，以便可以达到流畅的交流。

在按照本发明的信息处理终端中，通告单元包括显示各种信息的显示单元；存储单元按照该呼叫单元进行的每次电话呼叫存储该情感参数；以及当该显示单元显示呼叫历史时，该显示单元按照该呼叫历史中的每个呼叫项，通告有关于与存储在该存储单元中的该参数相对应的情感的信息。

按照这种配置，可以按呼叫历史的项目显示每次电话呼叫中谈话方的情感或用户自己的情感，以便可以容易地回忆在每次电话呼叫中进行的会话的内容。

在按照本发明的信息处理终端中，通告单元包括显示各种信息的显示单元；存储单元按照该呼叫单元进行的每次电话呼叫存储该情感参数；以及显示单元按时序显示有关于与存储在该存储单元中的该参数相对应的情感当中与特别参数相对应的情感的信息。

按照这种配置，可以按基于呼叫历史项目的时序显示每次电话呼叫中谈话方的情感或用户自己的情感，以便可以容易地回忆在每次电话呼叫中进行的会话的内容。

在按照本发明的信息处理终端中，通告单元与存储在该存储单元中的该参数相对应地通告与呼叫/被叫方的每一个，该呼叫/被叫方之一，或呼叫方和被叫方两者的情感有关的信息。

按照这种配置，可以直观地识别在来话呼叫期间用户自己情感的瞬时变化，在来话呼叫期间对方情感的瞬时变化，进一步地，情感随整个会话的瞬时变化。因此，可以在呼叫之后从按时序放置的有关情感的信息中回想起整个会话。

在按照本发明的信息处理终端中，存储单元与其脸部图像被拍摄了的每个人相对应地存储脸部信息；以及在对从存储单元中读取的呼叫/被叫方的每一个，该呼叫/被叫方之一，或呼叫方和被叫方两者的一个脸部图像或几个脸部图像应用图像处理之后，通告单元给出一个脸部图像或几个脸部图像，作为与所涉及的一方或多方的一种情感或几种情感有关的信息。

按照这种配置，便携式电话无需检验呼叫方姓名显示就可以容易地直观识别呼叫方。另外，可以容易地将与用户自己有关的时序脸部图像与同对方有关的时序脸部图像区分开。

按照本发明的信息处理终端进一步包括输入语音的语音输入单元；从所输入的语音中生成情感参数的参数生成单元；以及通告各种信息的通告单元，其中，信息处理终端进一步包括指定通过所生成的参数的特别参数(distinctiveparameter)表达的情感的情感指定单元；以及通告单元通告有关指定情感的信息。

按照这种配置，从所输入的语音中指定特别情感(distinctive emotion)，以便可以防止谈话人的情感被误读成另一种情感。

按照本发明的信息处理终端进一步包括：存储数据的存储单元：其中，该存储单元存储由该参数生成单元生成的该情感参数；以及情感指定单元指定通过存储参数的特别参数表达的情感。

按照这种配置，存储从所输入的语音中生成的情感参数，以便可以读出存储的情感参数，从而始终指定特别参数。

按照本发明的信息处理终端进一步包括：进行呼叫的呼叫设备，其中，语音输入单元在呼叫单元进行呼叫期间输入语音。

按照这种配置，输入呼叫期间的语音，以便可以容易地将语音输入信息处理终端中。

按照本发明的信息处理终端进一步包括记录呼叫单元进行呼叫期间的语音的语音记录单元，其中，语音输入单元输入语音记录单元记录的语音。

按照这种配置，便携式电话用户可以知道存在记录语音的事实和可以同时判断记录语音的内容和紧急性。其结果是，可以进行流畅的交流。

在按照本发明的信息处理终端中，通告单元包括显示各种信息的显示单元；存储单元按照每次呼叫存储指定情感；以及当该显示单元显示呼叫历史时，显示单元与呼叫历史一起显示有关指定情感的信息。

在按照本发明的信息处理终端中，存储单元存储反映该指定情感的一部分语音；以及显示单元将与该指定情感同一时刻的一部分语音的存在与该呼叫历史一起显示。

按照这种配置，当检验呼叫历史时，按照呼叫历史的呼叫显示每次呼叫期间的特别情感，以便可以检验呼叫/被叫方在那次呼叫期间处在哪种情感中。

在按照本发明的信息处理终端中，通告单元包括显示各种信息的显示单元；存储单元按照每个呼叫/被叫方存储指定情感；以及当该显示单元显示存储在该存储单元中的呼叫/被叫方的个人信息时，该显示单元将有关该指定情感的信息与该个人信息一起显示。

按照这种配置，当检验个人信息时，显示与人通话期间的特别情感，以便可以检验人在与信息处理终端的用户通话期间处在哪种情感中。

在按照本发明的信息处理终端中，通告单元包括显示各种信息的显示单元；存储单元与呼叫日期相对应地存储指定情感；以及当该显示单元显示日历时，该显示单元将有关该指定情感的信息与该日历的日期一起显示。

按照这种配置，按照每个日期显示从呼叫中指定的情感，以便可以容易地回顾在那个日期进行的呼叫的内容。

在按照本发明的信息处理终端中，通告单元包括显示各种信息的显示单元；存储单元存储与该情感相对应的图像；以及显示单元与指定情感相对应地显示从存储单元中读取的图像。

按照这种配置，以图像形式通告特别情感，以便观看这个图像的信息处理终端的用户可以容易地检验情感。

在按照本发明的信息处理终端中，存储单元存储情感指定单元指定的情感的出现频率；以及显示单元按照情感的出现频率，与指定情感相对应地显示从存储单元中读取的图像。

按照这种配置，按照情感的出现频率改变和显示与特别情感相对应的图像，以便可以提高进行情感通告时的娱乐性，其结果是，可以长时间享受情感通告。

在按照本发明的信息处理终端中，通告单元包括通过发光通告各种信息的发光单元；存储单元存储与情感相对应的颜色；以及发光单元与指定情感相对应地以从存储单元中读取的颜色发光。

按照这种配置，通过发光通告特别情感，以便信息处理终端的用户可以容易地利用他/她的视觉来检验情感。

在按照本发明的信息处理终端中，通告单元包括通过振动通告各种信息的振动单元；存储单元存储与情感相对应的振动频率或振动强度；以及振动单元与指定情感相对应地以从存储单元中读取的振动频率或振动强度振动。

按照这种配置，通过振动通告特别情感，以便信息处理终端的用户可以容易地利用他/她的触觉来检验情感。

按照本发明的信息处理终端进一步包括从记录与该情感相对应的图像的服务器接收数据的接收单元，其中，存储单元存储与情感相对应的所接收的图像。

按照本发明的信息处理终端进一步包括从记录与情感相对应的颜色的服务器接收数据的接收单元，其中，存储单元存储与情感相对应的接收颜色。

按照本发明的信息处理终端进一步包括从记录与情感相对应的振动频率或振动强度的服务器接收数据的接收单元，其中，存储单元存储与情感相对应的接收振动频率或振动强度。

按照这种配置，从配备在信息处理终端外部的服务器接收要由显示单元、发光单元、或振动单元执行的情感通告操作，以便可以容易地重新加入情感通告操作，其结果是，可以长时间享受情感通告。

在按照本发明的信息处理终端中，情感指定单元指定与存储在该存储单元中的情感参数当中数值最高的参数相对应的情感。

按照这种配置，将从所输入的语音开始到所输入的语音结束数值最高的情感设置成特别情感，以便可以通过将重要性附在会话中给人深刻印象部分的内容上指定情感。

在按照本发明的信息处理终端中，情感指定单元指定与存储在该存储单元中的情感参数当中，从语音开始到语音结束生成的总数值最高的参数相对应的情感。

按照这种配置，将从语音开始到语音结束总数值最高的情感设置成特别情感，以便可以通过将重要性附在会话中整个部分的内容上指定情感。

在按照本发明的信息处理终端中，情感指定单元指定与存储在该存储单元中的情感参数当中，在语音结束之前生成的数值最高的参数相对应的情感。

按照这种配置，将在语音结束之前数值最高的情感设置成特别情感，以便可以通过将重要性附在会话的隐含主旨上指定情感。

按照本发明的信息处理终端进一步包括将指定情感发送到另一个信息处理终端的发送单元。

按照这种配置，将特别情感的信息发送到不能从语音信号中估计谈话人情感的信息处理终端，以便其它信息处理终端的用户也可以容易地以与该信息处理终端的用户相同的方式判断谈话人的情感。

发明效果

按照本发明中的信息处理终端，可以通过另一个表达单元表示通过实时直接表达谈话人情感的方法直接传达给对方的不希望有情感。

另外，按照本发明中的信息处理终端，可以事后回顾和掌握呼叫状态的整个图像。

附图说明

图1是按照本发明第一实施例的便携式电话的配置的图形；

图2是按照本发明第一实施例的便携式电话进行的情感估计的例子；

图3是按照本发明第一实施例的便携式电话的显示部分上图像的显示例子；

图4是按照本发明第一实施例的便携式电话中LED的发光例子；

图5是显示在按照本发明第一实施例的便携式电话的显示部分上的图像的类别；

图6是示出由按照本发明第一实施例的便携式电话执行的处理流程的流程图；

图7是在按照本发明第一实施例的便携式电话中检验呼叫历史的流程图；

图8是按照本发明第一实施例的便携式电话中的显示部分上呼叫历史的显示例子；

图9是在按照本发明第一实施例的便携式电话中检验电话簿的流程图；

图10是按照本发明第一实施例的便携式电话中的显示部分上电话簿的显示例子；

图11是在按照本发明第一实施例的便携式电话中检验日程表的流程图；

图12是按照本发明第一实施例的便携式电话中的显示部分上日程表的显示例子；

图13是包括按照本发明第二实施例的便携式电话的系统的配置的图形；

图14是按照本发明第一实施例的便携式电话的另一个例子的配置的图形；

图15是示出由按照本发明第一实施例的便携式电话执行的处理流程的另一个例子的流程图；

图16是按照本发明第三实施例的便携式电话的配置的图形；

图17是便携式电话用户进行有关情感估计的初始设置和在按照本发明第三实施例的便携式电话中显示估计结果的流程图；

图18是示出本发明第三实施例中的便携式电话进行电话呼叫期间的情感指定过程的流程图；

图19是示出本发明第三实施例中的便携式电话进行的电话呼叫终止之后的情感判决过程的流程图；

图20是按照情感指定部分输出的每种情感以单位时间序列依次示出情感强度的图形；

图21是用数项测量如图20所示的图形获得的表格；

图22是在分组成时间分区的同时重新计算如图21所示的单位时间情感参数的例子；

图23是在显示部分上例示性地显示特别情感数据时图标的显示例子；

图24是通过LED输出特别情感时的发光颜色例子；

图25是按照情感强度的LED发光(闪烁)模式例子；

图26是在按照本发明第三实施例的便携式电话的显示部分30上显示一系列来话呼叫历史的例子；

图27是在按照本发明第三实施例的便携式电话的显示部分30上显示呼叫结果的例子；

图28是在按照本发明第三实施例的便携式电话的显示部分30上显示呼叫结果的第二输出形式的另一个例子；

图29是在按照本发明第三实施例的便携式电话的显示部分30上显示呼叫结果的第二输出形式的另一个例子；

图30是在按照本发明第三实施例的便携式电话的显示部分30上显示呼叫结果的第二输出形式的另一个例子；

图31是在按照本发明第三实施例的便携式电话的显示部分30上显示呼叫结果的第二输出形式的另一个例子；

图32是在按照本发明第三实施例的便携式电话的显示部分30上显示呼叫结果的第二输出形式的另一个例子；

图33是与呼叫方相对应的图像，其中，(A)是图像处理之前的图像，(B)是图像处理之后的图像；以及

图34是具有被注册成与被注册人员相对应的图像的、被注册人员的脸部图像的电话簿的屏幕显示例子，其中，(A)是正常电话簿的屏幕显示，(B)是电话簿在按照本发明第三实施例的便携式电话中的屏幕显示。

标号说明

1，11便携式电话

10呼叫设备

101通信部分

102语音信号输出部分

103扬声器

104麦克风

105引导语音存储部分

106语音存储部分

2情感内容存储服务器

20情感通告设备

201情感估计部分

202情感累积部分

203情感指定部分

204情感内容存储部分

205情感通告操作指令部分

206情感内容获取部分

30显示部分

40LED

50振动器

60邮件传输部分

70存储部分

80扬声器

90气味生成设备

95输入操作部分

具体实施方式

下面将便携式电话用作信息处理终端的例子，更详细地描述信息处理终端实现本发明的方式。

(第一实施例)

首先参照附图详细描述按照本发明第一实施例的便携式电话。图1示出了按照本发明第一实施例的便携式电话的配置的图形。按照本发明第一实施例的便携式电话包括：控制语音呼叫的呼叫设备10，根据通过呼叫设备10呼叫期间输入的一个语音或多个语音指定便携式电话用户的情感，该呼叫/被叫方的情感、或两者的情感的情感通告设备20，以及诸如显示部分30、LED40、振动器50、扬声器80、气味生成设备90之类的、将情感通告设备20指定的一种情感或多种情感通告给便携式电话用户的设备。

在呼叫设备10中，语音信号输出部分102向情感通告设备20输出通过发送/接收语音信号的通信部分101从呼叫/被叫方接收的语音信号，或由麦克风104收集的便携式电话用户的语音信号。另外，语音信号输出部分102在向通信部分101输出由麦克风104收集的便携式电话用户的呼叫语音的同时，向扬声器103输出从呼叫/被叫方接收的语音。

在情感通告设备20中，当通过呼叫设备10的通信部分101通告情感估计部分201呼叫开始时，情感估计部分201从从呼叫设备10所输入的语音信号中估计谈话人的情感。在这种情况下，将从呼叫/被叫方接收的语音信号、便携式电话用户的语音信号、或两者的语音信号输入情感估计部分201中。可以设计成使便携式电话用户可以选择从呼叫设备10输入的语音信号，或可以设置成在每个固定时间切换从呼叫设备10输入的语音信号。

情感估计部分201从从呼叫设备10所输入的语音信号中估计谈话人的情感。图2示出了按照本发明第一实施例的便携式电话进行的情感估计的例子。如图2所示，情感估计部分201按照由，例如，爱、幸福/兴奋、愤怒、伤心和平静组成的情感信息的每个要素，从呼叫开始到呼叫结束不断地估计通过值0、1或2(0：无情感；1：情感弱；2：情感强)表达的每种情感的程度。情感估计部分201将各个估计数值逐个输出到情感累积部分202。

情感累积部分202按照输入的时刻或顺序，累积从情感估计部分201输入的每个要素的数值。

情感指定部分203从情感累积部分202中读取在呼叫期间从呼叫开始到呼叫结束每个要素的累积数值，从读取的数值中指定特别情感，并将特别情感输出到情感通告操作指令部分205。当在指定过程中将从呼叫开始到呼叫结束数值最大的情感设置成特别情感时，可以通过将重要性附在呼叫期间给人深刻印象部分的内容上指定情感。另外，当将从呼叫开始到呼叫结束总数值最大的情感设置成特别情感时，可以通过将重要性附在呼叫期间整个部分的内容上指定情感。此外，当将呼叫结束之前数值最大的情感设置成特别情感时，可以通过将重要性附在会话的隐含主旨上指定情感。

情感指定部分203剪辑反映指定特别情感的固定时间(例如，2秒)的语音，并将所剪辑的语音作为特别语音信息存储在情感累积部分202中，以便事后回顾呼叫历史时将所剪辑的语音记录在呼叫历史中。

可以将情感指定部分203设计成不是通过情感累积部分202而是直接接收从情感估计部分201逐个输出的每个要素的数值，以便情感指定部分203不断指定特别情感。这样，可以与呼叫同步地指定特别情感。

当将特别情感输入情感通告操作指令部分205中时，情感通告操作指令部分205从存储要由诸如显示部分30、LED40和振动器50之类的设备执行的情感通告操作的情感内容存储部分204中读取与特别情感相对应的情感通告操作，并将操作指令输出到这些设备。可以设置成由便携式电话用户预定的设备执行情感通告操作。可替代地，可以由多个设备同时执行情感通告操作，以便可以提高情感通告的表达能力。下面将参照附图描述由显示部分30和LED40作出的情感通告操作的操作例子。

图3示出了按照本发明第一实施例的便携式电话的显示部分上图像的显示例子。当在显示部分将执行情感的通告操作的情况下将特别情感输入情感通告操作指令部分205中时，情感通告操作指令部分205从情感内容存储部分204中读取与特别情感相对应的图像，以便指令显示部分30输出读取的图像。当显示部分30与特别情感相对应地显示如图3所示的图像之一时，便携式电话用户可以利用他/她的视觉容易地判断谈话人的情感。顺便提一下，显示部分30可以包括配备在最新便携式电话中的副液晶显示器(LCD)部分(显示面积小于主LCD部分，往往配备在便携式电话的主LCD部分的背面，也称为后液晶显示器)。作为显示部分30执行的其它显示例子，显示在显示部分30上的信息的背景色可以随情感而改变，可以连续地显示一系列表意文字、图像和象形文字等(运动图形)，或可以显示拍摄的图像或存储的视频。

图4示出了打开按照本发明第一实施例的便携式电话中的LED的例子。当在LED40将执行情感通告操作的情况下将特别情感输入情感通告操作指令部分205中时，情感通告操作指令部分205从情感内容存储部分204中读取与特别情感相对应的颜色信息，并且指令LED40发出读取颜色的光。当LED40与特别情感相对应地发出如图4所示的颜色之一的光时，便携式电话用户可以容易地直观判断谈话人的情感。LED可以包括配备在便携式电话中的操作键的背光。作为打开LED的方法，可以按照情感改变发出光的颜色或强度、发光范围、或闪烁节奏(可以按照情感改变闪烁的间隔，或可以按照从如后所述的扬声器80输出的声音或按照如后所述的振动器的振动使LED闪烁打开和关闭)。当存在多个LED时，这些LED可以分别发出不同颜色的光，或可以将这些LED当作用于表达指示情感的字符或标记的点。

当在振动器50将执行情感的通告操作的情况下将特别情感输入情感通告操作指令部分205中时，情感通告操作指令部分205从情感内容存储部分204中读取与特别情感相对应的振动器的振动信息，并且指令振动器50以包含在读取的振动信息中的振动频率或振动强度振动。当振动器50以与特别情感相对应的振动频率或振动强度振动时(例如，如果情感的波动较小，降低振动强度。如果情感的波动较大，提高振动强度)，便携式电话用户可以利用他/她的触觉容易地判断谈话人的情感。顺便提一下，可以将振动器50设计成与如后所述的扬声器80输出的声音一起振动。作为组合振动器50的振动和扬声器80的声音输出的方法，例如，存在如果情感的波动较小则使振动器50以降低的振动强度振动，而如果波动较大则使振动器50以与声音的频率相对应的振动频率和以提高的振动强度振动的方法。

当在扬声器80将执行情感的通告操作的情况下将特别情感输入情感通告操作指令部分205中时，情感通告操作指令部分205从情感内容存储部分204中读取与特别情感相对应的声音信息，以便指令扬声器80输出读取的声音信息。当扬声器80输出与特别情感相对应的声音信息时(例如，可以按照各自情感设置不同的歌曲或乐曲。可以将每当存在来话呼叫时便携式电话发出的铃声乐曲选作乐曲)，便携式电话用户可以利用他/她的听觉容易地判断谈话人的情感。尽管已经描述了按照各自情感设置不同歌曲或乐曲的配置，但也可以设置数种情感共有的歌曲或乐曲，而将歌曲或乐曲的音调设置成随每种情感而改变。

当在气味生成设备90将执行情感的通告操作的情况下将特别情感输入情感通告操作指令部分205中时，情感通告操作指令部分205从情感内容存储部分204中读取与特别情感相对应的气味信息，以便指令气味生成设备90生成与读取的气味信息相对应的气味。当气味生成设备90生成与特别情感相对应的气味时，便携式电话用户可以利用他/她的嗅觉容易地判断谈话人的情感。尽管可以配置成按照各自情感生成不同气味，但也可以设置数种情感共有的气味，而将气味的浓度设置成随每种情感而改变。

按照本发明的便携式电话可以配置成使用诸如显示部分30、LED40、振动器50、扬声器80、气味生成设备90之类的设备中的任何一个，或可以配置成组合操作多个设备。

情感通告操作指令部分205指令图1中的邮件传输部分60将与从情感内容存储部分204中读取的特别情感相对应的情感通告操作发送到另一个便携式电话。当通过邮件将与特别情感相对应的情感通告操作信息发送到未配有情感通告设备20，从而无法从语音信号中估计谈话人情感的另一个便携式电话时，其它便携式电话的用户可以容易地以与该便携式电话用户相同的方式判断谈话人的情感。邮件可以在该便携式电话用户已经检验了情感通告操作之后发送，或可以自动地将邮件传输到呼叫/被呼方的便携式电话。

情感通告操作指令部分205指令图1中的存储部分70将情感指定部分203指定的特别情感和根据其指定情感的呼叫的呼叫状态记录到呼叫历史701中。呼叫历史701记录在存储部分70中，指示过去呼叫中诸如呼叫/被叫方、呼叫时刻、呼叫次数等的呼叫状态。当便携式电话用户将呼叫历史701显示在显示部分30上并且已经在记录了呼叫历史701之后检验记录在呼叫历史中的感情之一时，从情感内容存储部分204中读取与记录在呼叫历史中的情感相对应的情感通告操作，以便将操作指令输出到这些设备。

在背景技术中，难以从呼叫历史中回顾过去呼叫的内容，因为，即使记录了呼叫历史，也不能通过检验像邮件传输/接收历史那样的发送/接收历史来检验过去会话状态。按照本发明第一实施例中的便携式电话，可以将从某个呼叫中指定的情感和呼叫中的呼叫状态记录在呼叫历史中，以便可以检验便携式电话用户或呼叫/被叫方在呼叫期间处在哪种情感下，并且当已经检验呼叫历史时可以容易地回顾呼叫中的呼叫内容。

当情感通告操作指令部分205想从情感内容存储部分204中读取与特别情感相对应的情感通告操作时，如果诸如便携式电话通告情感的通告频率之类由情感通告设备20引起的内部因素，或诸如读取情感通告操作的日期和时间、便携式电话的呼叫时间、或配备在便携式电话中的位置信息获取功能指定的当前位置之类由除情感通告设备20之外的其它设备引起的其它因素满足指定条件，则情感通告操作指令部分205可以读取与正常读取的情感通告操作不同的另一个情感通告操作。在这种情况下，指定条件包含就情感的通告频率而言，情感指定部分203指定某种情感达预定次数或更多次的情况、就日期和时间而言，该日期是诸如新年或圣诞节之类的日期或该时间与中午、晚上、午夜等的时区一致或包括在中午、晚上、午夜等的时区中的情况，以及就当前位置而言，当前位置包括在诸如游乐园、大海之类的地方中或在诸如游乐园、大海之类的地方附近的情况。

图5示出了显示在按照本发明第一实施例的便携式电话的显示部分上的图像的类别。类别1包括无条件显示在显示部分30上的图像。类别2包括当指定某种情感达预定次数或更多次时显示的图像。类别3包括当已经指定了某种情感时概率非常低地显示的图像。类别1、2和3按照每个内部因素分类，以便显示频率从类别1到类别3逐步降低。类别4包括当便携式电话的当前位置包括在预定地方内时显示的图像。类别5包括当便携式电话的当前位置包括在预定地方内和便携式电话的呼叫时间超过了预定时间时显示的图像。类别4和5主要按照每个外部因素分类。通过以这种方式设置每个图像的显示频率，便携式电话用户可以提高通过便携式电话进行情感通告时的娱乐性。于是，便携式电话用户可以长时间享受情感通告。

尽管已经描述了将情感指定部分203指定的特别情感和根据其指定情感的呼叫的呼叫状态记录在存储部分70的呼叫历史701中的情况，但也可以记录与特别情感相对应地从情感内容存储部分204中读取的情感通告操作和根据其指定情感的呼叫的呼叫状态。借助于这种配置，当便携式电话用户检验了记录在呼叫历史701中的情感时，情感通告操作指令部分205无需花费时间从情感内容存储部分204中检索情感通告操作，可以直接从呼叫历史中读取与记录在呼叫历史中的情感相对应的情感通告操作。于是，可以缩短从检验记录在呼叫历史中的情感到操作设备花费的时间。

接着，描述按照本发明第一实施例的便携式电话中从输入语音到通告和记录情感的处理流程。图6示出了示出由按照本发明第一实施例的便携式电话执行的处理流程的流程图。

当通过通信部分101通告情感估计部分201呼叫开始时(S600)，将一个语音信号或几个语音信号从语音信号输出部分102输入情感估计部分201中(S601a-S601c)。在这种情况下，输入从呼叫/被叫方接收的语音信号、便携式电话用户的语音信号或这两种语音信号。情感估计部分201从输入的语音信号中估计每个谈话人的情感(S602)，以便将情感信息的每个基本要素的估计数值依次输出到情感累积部分202。当通过通信部分101通告情感估计部分201呼叫结束时(S603)，情感指定部分203根据某个呼叫从呼叫开始到呼叫结束每个要素的数值指定特别情感(S604)，以便将特别情感输出到情感通告操作指令部分205。当将特别情感输出到情感通告操作指令部分205时，情感通告操作指令部分205从情感内容存储部分204中读取与特别情感相对应的情感通告操作，以便将操作指令输出到诸如显示部分30、LED40、振动器50之类的设备(S605)。

当便携式电话用户发出将特别情感或与特别情感相对应的情感通告操作和呼叫状态记录到呼叫历史701中的指令时(S607中的“是”)，将特别情感或与特别情感相对应的情感通告操作和呼叫状态记录到呼叫历史701中(S608)。当便携式电话用户发出将与特别情感相对应的情感通告操作发送到另一个便携式电话的指令时(S609)，将与特别情感相对应的情感通告操作发送到另一个便携式电话(S610)。

在图6的流程图中，已经描述了如图1所示的配置下的按照本发明第一实施例的便携式电话进行从呼叫期间输入的语音信号中估计谈话人情感的处理的情况。但是，也可以设想出从通过其它手段输入的语音信号中估计谈话人情感的处理。这里，作为其它手段的例子，使用配备在最新便携式电话中的回答机功能(当便携式电话用户不能回答来话语音呼叫时，自动回答来话语音呼叫和记录呼叫方的语音的便携式电话功能。如下的描述是在呼叫方的语音存储在配备在便携式电话中的存储设备中的假设下作出的)和描述从通过回答机功能记录的语音信号中估计谈话人情感的处理。图14示出了按照本发明第一实施例的便携式电话的另一个例子的配置的图形。图15示出了示出由按照本发明第一实施例的便携式电话执行的处理流程的另一个例子的流程图。顺便提一下，在图14和15中，指定了与图1和6中的那些相同的标号的各个部分和各个步骤的功能与如上所述的相同，因此，省略对它们的描述。

在作为便携式电话配置图的图14中，进一步将引导语音存储部分105和语音存储部分106加入图1的配置中。引导语音存储部分105存储了当在便携式电话用户不能回答来话语音呼叫的情况下呼叫设备10自动回答来话语音呼叫时，通过语音将便携式电话用户不能回答来话语音呼叫的消息输出到呼叫方的语音信号。语音存储部分106存储呼叫设备10自动回答了来话语音呼叫之后从呼叫方接收的语音信号。

接着，参照图15描述在按照本发明第一实施例的便携式电话中根据利用回答机功能记录的语音通告情感的处理流程。

一旦接收到来话语音呼叫(步骤S1401)，通信部分101判断便携式电话是否被设置成使用回答机功能(步骤S1402)。当通信部分101判定便携式电话被设置成使用回答机功能时(在当从接收到来话呼叫以来的预定时间内没有对来话呼叫作出响应时将便携式电话设置成使用回答机功能的情况中，将判断从接收到来话以来计数的时间是否超过预定时间的判据加入步骤S1402的判据中。适当地加入和组合像这种情况那样判断便携式电话是否被设置成使用回答机功能的判据)，语音信号输出部分102响应来话语音呼叫，输出从引导语音存储部分105中读取的语音信号作为发送语音(S1403)。当在步骤S1403之后通过通信部分101将来自呼叫方的接收语音输入语音信号输出部分102中时，语音信号输出部分102将接收语音存储到语音存储部分106中。情感估计部分201从通过语音信号输出部分102输入和存储在语音存储部分106中的语音信号中估计谈话人的情感。当接着在步骤S603的处理中终止呼叫时，语音信号输出部分102完成将接收语音存储到语音存储部分106中的处理，并且根据情感估计部分201估计的情感控制各种设备执行情感通告操作。

在背景技术的回答机功能中，由于通告单元(例如，显示部分、LED、振动器等)只通告指示存在记录在回答机中的语音的信息，所以除非再现记录的语音，否则人们不会知道记录语音本身的内容和紧急性。由于这个原因，便携式电话用户可能知道存在记录语音的事实，但不能判定记录语音是高度紧急的内容。其结果是，便携式电话用户未再现记录语音，致使与记录了语音的呼叫方的通信中断。当配置成在按照本发明第一实施例的便携式电话中，利用回答机功能记录呼叫方的语音时，通告有关从通过回答机功能记录的语音信号中估计的情感的信息。借助于这种配置，便携式电话用户可以知道存在记录语音的事实和同时判断记录语音的内容和紧急性。其结果是，便携式电话用户可以进行流畅的通信。在这样的配置下，便携式电话用户可以更有效地实现流畅的通信，尤其在便携式电话用户在一些环境下不能回答来话呼叫，但可以(在相对短时间内)知道存在正在记录的语音或已经记录的语音的事实的状况下(例如，在便携式电话用户在火车时或正在开会的情况下)。

接着，描述在按照本发明第一实施例的便携式电话中检验呼叫历史的处理流程。图7示出了在按照本发明第一实施例的便携式电话中检验呼叫历史的流程图。图8示出了按照本发明第一实施例的便携式电话中的显示部分上呼叫历史的显示例子。

当便携式电话用户按下图8(a)中的呼叫历史检验按钮，以便在显示部分30上显示如图8(b)所示的呼叫历史，然后，从呼叫历史中选择一项(S700)，以便试图针对那项来检验呼叫中的情感时(S701中的“是”)，情感通告操作指令部分205读取记录在呼叫历史701中的特别情感，并且从情感内容存储部分204中读取与特别情感相对应的图像，以便指令显示部分30显示图像(S702)。显示部分30输出如图8(d)所示的图像(S703)。

当以这种方式将从呼叫中指定的情感和呼叫的呼叫状态记录在呼叫历史中时，可以检验便携式电话用户或呼叫方在呼叫期间处在哪种情感之中，并且如果已经检验了呼叫历史，可以容易地回顾呼叫中的呼叫内容。

尽管已经描述了在按照本发明第一实施例的便携式电话中利用呼叫历史检验指定特别情感的情况，但本发明不局限于呼叫历史。可替代地，可以利用用作便携式电话功能的电话簿或日程表检验指定特别情感。下面将描述在按照本发明第一实施例的便携式电话中检验电话簿的处理流程和检验日程表的处理流程。

首先描述在按照本发明第一实施例的便携式电话中检验电话簿的处理流程。图9示出了在按照本发明第一实施例的便携式电话中检验电话簿的流程图。图10示出了按照本发明第一实施例的便携式电话中的显示部分上电话簿的显示例子。

在如图6所示的步骤608中，已经与呼叫时刻一起将特别情感或与特别情感相对应的情感通告操作记录在电话簿702中，作为记录在电话簿中的呼叫方个人信息之后，便携式电话用户按下图10(a)中的电话簿选择按钮，以便在显示部分30上显示电话簿，然后，从如图10(c)所示的电话簿中选择一个人(S900)，以便试图检验该人在呼叫期间的情感(S901中的“是”)。在这种情况下，情感通告操作指令部分205读取记录在电话簿702中的特别情感(S902)，并且从情感内容存储部分204中读取与特别情感相对应的图像，以便指令显示部分30按基于呼叫时刻的时序显示图像(S903)。显示部分30输出如图10(e)所示的图像(S904)。

当从呼叫中指定的情感如此记录在电话簿中作为记录在电话簿中的呼叫方个人信息时，如果已经检验了电话簿，可以容易地检验记录在电话簿中的人的情感如何随与便携式电话用户的呼叫而改变。

以下描述在按照本发明第一实施例的便携式电话中检验日程表的处理流程。图11示出了在按照本发明第一实施例的便携式电话中检验日程表的流程图。图12示出了按照本发明第一实施例的便携式电话中的显示部分上日程表的显示例子。

当便携式电话用户按下图12(a)中的日程表选择按钮，以便在显示部分30上显示日程表，然后，从如图12(b)所示的日历上选择一个日期(S1100)，以便试图检验那个日期的呼叫期间的情感时(S1101中的“是”)，情感通告操作指令部分205读取那个日期记录在电话历史701中的特别情感(S1102)，并且从情感内容存储部分204中读取与特别情感相对应的图像，以便指令显示部分30按照每个呼叫方显示这些图像(S1103)。显示部分30输出如图12(d)所示的图像(S1104)。

当从呼叫中指定的情感如此按照日期读出时，可以容易地回顾在那些日期进行的呼叫的内容。

尽管已经描述了在按照本发明第一实施例的便携式电话中在显示部分上将利用呼叫历史、电话簿或日程表读出的每种情感显示成图像和检验它的情况，但也可以操作LED、振动器等来检验情感。

(第二实施例)

现在参照附图详细描述按照本发明第二实施例的便携式电话。图13示出了包括按照本发明第二实施例的便携式电话的系统的配置的图形。除了按照第一实施例的便携式电话的配置之外，按照本发明第二实施例的便携式电话还包括情感内容获取部分206。情感内容获取部分206从已经存储了要由诸如显示部分30、LED40、振动器50之类的设备执行的情感通告操作的情感内容存储服务器2中获取情感内容。顺便提一下，与图1中的那些具有相同标号的部分具有相同的配置，因此，省略对它们的描述。

情感内容获取部分206将从情感内容存储服务器2中获取的情感通告操作输出到情感内容存储部分204。情感内容存储部分204新加入和存储从情感内容获取部分206输入的情感通告操作。

当从配备在便携式电话外部的服务器中获取情感通告操作时，便携式电话的用户可以容易地加入由显示部分30、LED40、振动器50等执行的新情感通告操作，以便便携式电话用户可以长时间享受情感通告。

(第三实施例)

图16是示出按照本发明第三实施例的便携式电话的配置的图形。由于便携式电话11的配置中的大多数部件与按照第一实施例的便携式电话1的配置相同，下面只主要描述配置中的不同部件。

在便携式电话11的情感通告设备20中，语音输入切换控制部分200有选择地控制要输入到情感估计部分201的一个语音或多个语音。输入发送语音和接收语音之一或两者的设置由便携式电话的用户操作输入操作部分95完成。这种设置存储在控制设置存储部分206中。当通过接收输入的呼叫设备10的通信部分101通告语音输入切换控制部分200呼叫开始时，语音输入切换控制部分200根据上述语音输入设置，有选择地输出从语音设备10输入的每个语音信号。将输出的语音信号输入情感估计部分201中，以便估计谈话人的情感。

情感累积部分202临时累积估计的情感。

当情感估计部分203根据累积的估计情感输出特别情感时，在与特别情感的时间点相关联的同时，将特别情感作为情感数据703存储在存储部分70中。

情感内容存储部分204为来自已经存储了要由诸如显示部分30、LED40、振动器50之类的设备执行的情感通告操作的情感内容存储服务器2的与特别情感相对应的情感通告操作存储输出控制数据704和图像数据705。

当参照存储在存储部分70中的呼叫历史数据701时，情感通告操作指令部分205参照情感数据703，读取输出控制数据704和图像数据705，以便指令输出控制部分80将情感通告操作输出到设备。

输出控制部分80对这些设备进行操作控制。

至于情感通告操作到诸如显示部分、LED40、振动器50之类的设备的输出，可以控制便携式电话用户通过输入操作部分95设置的一个设备执行情感通告操作，或可以控制多个设备同时执行情感通告操作。当多个设备执行操作时，例如，可以提高情感通告的表达能力，以便产生可以更有效地将呼叫期间的情感发送到便携式电话用户的效果。由于显示部分30和LED40是直观但以不同输出方法进行输出的设备，最好让LED40位于显示部分30附近。当显示部分30和LED40相互接近时，显示部分30和LED40几乎同时出现。于是，当显示部分30和LED40同时进行输出时，产生视觉刺激大于显示部分30和LED40之一输出的单个视觉刺激的效果。

作为输出控制数据704，存在显示部分30的发光颜色控制数据、LED40的闪烁模式控制数据、振动器50的振动模式控制数据等。例如，当配备语音输出设备作为设备时，只要包含作为输出控制数据的相应语音模式控制数据，就可以控制语音输出设备。

图像数据705与输出控制数据704一起存储在情感内容存储部分204中。尤其，图像数据705是在显示部分30上显示图像的数据。作为图像数据705，包括具有诸如位图格式、GIF格式、JPEG格式等的静止画面格式的图像数据和具有诸如Flash格式、Motion JPEG格式等的运动画面格式的图像数据。

这里将描述存储在存储部分70和情感内容存储部分204中的这些数据的合成、上述这些数据之间的联系和呼叫历史显示中每个数据的显示。

呼叫历史数据701至少由诸如呼叫时刻或呼叫次数(例如，由未示出的计时器部分208所计数的)之类的时间信息和诸如电话号码等的呼叫/被叫方专用号码信息组成。电话簿数据702至少由诸如电话号码等的呼叫/被叫方专用号码信息和与号码信息相关联的诸如名称、昵称等的呼叫/被叫方信息组成。另外，可以加入呼叫/被叫方相关信息(与呼叫/被叫方相关联的字符、图像、语音等)。在呼叫历史的显示中，通过诸如电话号码等的呼叫/被叫方专用号码信息使呼叫历史数据701和电话簿数据702相互联系，以便显示呼叫时刻和通信方信息。在呼叫/被叫方未包括在电话簿数据中的呼叫历史的显示中，呼叫历史数据701和电话簿数据702不能相互联系，从而显示呼叫时刻和诸如电话号码等的呼叫/被叫方专用号码信息。

情感数据703至少由呼叫时刻、所输入的语音的类型(呼叫/被叫方的语音或用户自己的语音)和特别情感组成。情感数据703可以进一步包括每一个标识在某个呼叫时刻进行的呼叫中的呼叫时间内的时区的数据的可标识索引。图像数据705至少由特别情感和与特别情感相关联的图像的数据组成。在呼叫历史的显示中，通过呼叫时刻将呼叫历史数据701、情感数据703和图像数据705相互联系，以便至少显示呼叫时刻和与特别情感相关联的图像的数据。

在上面的描述中，情感数据703和电话簿数据702也相互联系，从而在呼叫历史的显示中可以一起显示，例如，呼叫时刻、呼叫/被叫方信息和特别情感。利用上述这些数据之间的联系可以易于组合地显示除了上述信息之外的其它信息。

当显示每种情感的设置已经存储在控制设置存储部分206中时，可以呼叫结束之后或通过便携式电话用户在输入操作部分95中发出的呼叫历史浏览指令按如下显示情感。情感通告操作指令部分205根据存储的情感数据703将呼叫历史数据701与输出控制数据704相关联，以便将输出指令发送到输出控制部分80。输出控制部分80对设备进行情感显示控制。

接着，参照图17描述便携式电话用户进行情感估计的初始设置和估计结果的显示。

便携式电话用户通过输入操作部分95上的输入操作进行情感估计的输入(S171中的“是”)。当不进行情感设置时(S171中的“否”)，终止初始设置。接着，关于设置成一个或多个情感估计目标的一个或多个所输入的语音，便携式电话用户从只输入发送语音、只输入接收语音、输入发送和接收语音的混合物和分别输入发送和接收语音中选择一种(S172)。接着，关于情感估计结果的显示形式，便携式电话用户从按时序显示图标图像、显示代表性图标图像、将运动画面显示成大图像和加入运动画面作为小图像中选择一种(S173)。当执行了上述步骤时，初始设置就完成了。

接着，参照作为流程图的图18描述呼叫期间指定情感的过程。

当开始呼叫时，操作计时器部分208(S181)。由语音输入切换部分200切换输入情感估计部分201的语音(S182)。计时器部分208开始计数单位时间(S183)。在经过了单位时间之后(S184中的“是”)，情感估计部分201输出单位时间内情感的情感参数(S185)。情感累积部分202累积单位时间内的输出情感参数(S186)。情感指定部分203从单位时间的情感参数中指定单位时间内的特别情感(S187)。情感累积部分202累积单位时间内的指定特别情感(S188)。当呼叫还未终止时(S189中的“否”)，处理例程返回到步骤S183，以便开始下一个单位时间内呼叫的情感估计。当呼叫终止时(S189中的“是”)，结束情感估计。当按这个过程进行情感指定时，在情感累积部分203中以按单位时间划分的时序累积情感参数和特别情感。

下面参照附图具体描述上述判定每种情感的过程。

图20是按照情感指定部分203输出的每种情感以单位时间序列依次示出情感强度的图形。在图20中，水平轴表示时间，而垂直轴表示每种情感的强度。情感指定部分203不提取一种所指定的情感，但输出由爱、幸福/兴奋、愤怒、伤心和平静组成的所有种类情感的强度(每一个指示情感表达强弱程度的索引)。图21是用数项测量如图20所示的图形获得的表格。每个单位时间内每种情感类型的强度被表示成数值。当从单位时间中的数种情感类型中提取示出最大值的情感和最大值不小于预定阈值时，该情感被判定为单位时间内的情感。例如，在第1单位时间内，爱的强度是80，幸福/兴奋的强度是30，愤怒的强度是20，伤心的强度是10和平静的强度是50。于是，第1单位时间内具有最大值的情感是爱。由于爱的强度80大于强度阈值50，所以第1单位时间内的情感被判定为爱。另外，在第8单位时间内，爱的强度是30，幸福/兴奋的强度是20，愤怒的强度是10，伤心的强度是10和平静的强度是10。于是，第2单位时间内具有最大值的情感是爱。但是，爱的强度30小于强度阈值50，使得第8单位时间内的情感被判定为无法判断。在图21的最低部分中，每个单位时间内具有最大值的每种情感类型指出了单位时间内最特别的情感类型。

接着，参照作为流程图的图19描述呼叫终止之后判定每种情感的过程。

当呼叫终止时，用预定除数将呼叫时间划分成多个片段。这里，将在呼叫时间内的片段除数被设置成N(N是自然数)的假设下加以描述。将呼叫时间除以片段除数N和单位时间计算每个片段(一个片段分区)的单位时间数(S191)。将在情感累积部分203中累积的每个单位时间的情感参数分组成属于每个时间分区。按照时间分区中的情感重新计算为每个时间分区分组的每个单位时间的情感参数的累积值，以便判定每个时间分区内的特别情感。将以上述方式判定的片段的估计情感与呼叫时刻相关联地同时存储在存储部分70中。

这里，将参照附图具体描述上述判定每种情感的过程。图22示出了在分组成时间分区的同时重新计算如图21所示的单位时间情感参数的例子。将小于将呼叫时间除以片段除数N和单位时间获得的数字的整数加1获得的数字设置成单位时间数。在图21的例子中，呼叫时间内的单位时间数是11，并且片段除数是4，从而每个片段的单位时间数是3。于是，第1到第3单位时间内的情感参数被分组成第1片段。类似地，第4到第6单位时间内的情感参数被分组成第2片段，并且第7到第9单位时间内的情感参数被分组成第3片段。例如，可以将第10和第11单位时间内的情感参数或第9到第11单位时间内的情感参数分组成第4片段。接着，相加和累积每个片段中情感参数的值。通过与判定单位时间内的情感的方法相似的方法进行基于每个情感参数的累积值的情感判定。

当判定了每个情感时，根据输出控制数据在设备上进行输出。

接着，描述呼叫历史中每种情感的输出。图23示出了在显示部分30上例示性地显示存储在存储部分70中的特别情感数据时的图标例子。在图23中，左列指出了情感的类型，并且右列指出了与情感类型相对应的图标。将每个图标作为图像数据705存储在情感内容存储部分204中。例如，将当幸福/兴奋的情感改变成表达幸福/兴奋的情感的图标和例示性地显示它时，可以利用视觉直观地识别该情感。尽管作为情感，在图23中举例示出了平静、幸福/兴奋、愤怒、惊讶和伤心，但也可以将其它情感与图标相关联，只要情感提取/指定部分可以提取它们即可。相关图标不局限于所例示的那些，也可以是存储在情感内容存储部分204中的其它图像数据。

图24和25是示出当将存储在存储部分70中的特别情感数据703输出到LED40时发光颜色的例子和与情感强度相对应的LED发光(闪烁)模式的例子的图形。在图24中，左列指出了情感的类型，而右列指出了与情感类型相对应的发光颜色的设置。在图25中，左列指出了情感强度，而右列指出了LED的开关时间控制的设置。将每种LED发光颜色和每种LED发光模式作为输出控制数据704存储在情感内容存储部分204中。例如，当用表达愤怒的红色LED发光颜色代替愤怒的情感和输出它时，便携式电话用户可以从由红色给出的情感图像直观地识别愤怒的情感。在图24中，分别与淡蓝色、粉红色、红色、黄色和蓝色相对应地举例示出了平静、幸福/兴奋、愤怒、惊讶和伤心的情感。其它情感也可以对应于LED发光颜色，只要这些情感是可以通过情感提取/指定部分203提取的情感即可。相应LED发光颜色不局限于如图24所示的那些，也可以是存储在情感内容存储部分204中的其它输出控制数据的LED发光颜色。当通过LED的高速闪烁输出某种情感强烈(例如，当情感是愤怒时强烈愤怒的状态)的事实时，便携式电话用户可以通过视觉刺激直观地识别情感强烈的事实。当通过一直打开LED输出一种情感微弱(例如，当情感是愤怒时稍微有点愤怒的状态)的事实时，便携式电话用户可以通过视觉刺激直观地识别情感微弱的事实。相应LED发光模式不局限于如图25所示的那些，也可以是存储在情感内容存储部分204中的其它输出控制数据的LED发光模式。上面已经描述了在LED40用二进制值输出开关状态的情况下的实施例。当使用利用多个三重值或其中不止一个可以被指定成输出打开状态的LED时，可以进一步以各种电平输出情感强度，从而可以拓宽利用LED发光模式表达情感的能力。当利用发光模式输出情感强度与利用LED40的发光颜色输出情感结合在一起使用时，可以拓宽表达情感的能力，从而使便携式电话用户可以精细地识别情感。

[来话呼叫历史的输出形式1]

现在参照附图描述来话呼叫历史的第一输出形式。

图26是在便携式电话11的显示部分30上显示一系列来话呼叫历史的例子。图26中的一个来话呼叫历史项301由图标302、来话呼叫时刻303、呼叫时间304和呼叫方名称305构成，每个图标302示出与从接收语音(呼叫方)中提取的情感相对应的图像。

当这些显示用于一个来话呼叫历史时，可以在图26中的显示部分30的屏幕上示出两个显示项。当累积了三个或更多个来话呼叫历史时，可以对输入操作部分95进行操作，显示另一个来话呼叫历史。每个屏幕的显示项数量可以是三个或更多个。只要不损坏显示在屏幕上的来话呼叫历史的可见度，显示项的数量可以不受限制。

图标302按从呼叫开始到呼叫结束的时序横向排列着。当按时序排列和显示图标302时，便携式电话用户可以直观地识别呼叫期间呼叫方情感的瞬时变化。便携式电话用户可以在呼叫之后通过视觉刺激回想会话的内容。当与来话呼叫时刻303和呼叫方名称305一起显示图标302时，产生便携式电话用户可以更精确地回想会话的内容、会话的流程和会话期间对对方的印象。

作为呼叫方名称305，将按如下显示名称。当存在来话呼叫时，根据来话呼叫的电话号码引用电话簿数据，以便将与电话号码相对应记录在电话簿数据702中的名称显示成呼叫方名称305。当来话呼叫的电话号码未注册时，不显示名称，但可以直接显示来话呼叫的电话号码(参见图26中的显示部分33中的对方电话号码306的显示)，或可以显示指示电话号码未注册的消息。

图标302和对方名称305是个人信息。由于这个原因，便携式电话用户可能想隐藏图标302或对方名称305。在这种情况下，便携式电话用户可以作为处理器进行不显示特定方的图标302和对方名称305的设置和消除该设置。作为不显示图标302和对方名称305的设置，例如，可以将图标302和对方名称305显示成空白，或者，用其它图像或其它字符串取代图像302和对方名称305和显示其它图像或其它字符串。另外，可以用预定字符显示色、预定背景色等显示来自特定方的来话呼叫历史。当进行如此显示时，便携式电话用户可以准确地将特定方的来话呼叫历史与其它方的来话呼叫历史区分开。另外，可以将特定方设置成除了作为处理器的便携式电话用户之外的任何其它人都不知道的，从而产生当便携式电话丢失时防止个人信息泄漏出去的效果。并且，可以设置成不显示与呼叫方无关的特定来话呼叫历史显示项，以便也可以获得上述效果。

来话呼叫历史可以按照每个呼叫方提取和显示在屏幕上。并且，提取的历史可以按来话呼叫时刻或呼叫时间的长度的次序重新排列和显示在屏幕上。当每个来话呼叫历史按照每个呼叫方提取和显示在屏幕上时，就与特定方的会话而言，可以容易回想起会话的时间和内容。当来话呼叫历史按时刻或呼叫时间的长度的次序重新排列和显示在屏幕上时，便携式电话用户可以容易地从大量来话呼叫历史中提取所选来话呼叫历史。

尽管已经描述了以输出形式在显示部分30上的输出，但也可以同时进行利用LED40的发光的输出。当一起进行显示部分30上的输出和LED40上的输出时，与进行只在显示部分30上的输出的情况相比，便携式电话用户可以更精细地识别情感。

[来话呼叫历史的输出形式2]

现在参照附图描述来话呼叫历史的第二输出形式。

在以第一输出形式的来话呼叫历史的屏幕显示中，可以显示显示屏幕上的任何一个来话呼叫历史的更详细呼叫结果。在图26中，反色显示一个来话呼叫历史显示项301，以便将它与另一个来话呼叫历史显示项区分开。当进一步对输入操作部分95进行操作，以便从这个显示状态中选择呼叫结果显示指令键307时，显示呼叫结果。

图27是在显示部分30上显示呼叫结果的例子。图27与第一输出形式的不同之处在于，在屏幕上的一个呼叫结果显示项321中按时序将从发送语音(用户自己)和接收语音(对方)中提取的情感一起显示成分别横向排列的用户自己和对方的图标302；并且不同之处还在于，在屏幕上显示了历史标题(用户自己显示)308和历史标题(对方显示)309，以便可以与对方的图标302区分开地识别出用户自己的图标302。就其它屏幕显示而言，图27与第一输出形式相同。

在第二输出形式中，与呼叫方情感的瞬时变化一起按时序显示用户自己情感的变化，使便携式电话用户可以从图像302的横向行中直观地识别呼叫期间对方和用户自己的情感的瞬时变化，并且可以从图标302的垂直列中直观地识别会话期间某个时刻的情感。于是，产生可以更精确地回想起会话的内容、会话的流程、对对方的印象和用户自己在某个时刻的精神状态的效果。

[来话呼叫历史的输出形式3]

现在参照附图描述来话呼叫历史的第三输出形式。

图28是在显示部分30上显示呼叫结果的第二输出形式的另一个例子。图28与第二输出形式的不同之处在于，在屏幕上的一个呼叫结果显示项331中显示只从发送语音(用户自己)中提取的情感，作为按时序横向排列在屏幕上的图标。

当按时序显示只与用户自己有关的图标302时，尤其可以精确地直观识别来话呼叫期间用户自己情感的瞬时变化。另外，可以在呼叫之后直观地从按时序排列的图标302中回想起会话的内容。

图29是在显示部分30上显示呼叫结果的第二输出形式的另一个例子。图29与第二输出形式的不同之处在于，在屏幕上的一个呼叫结果显示项341中显示只从接收语音(对方)中提取的情感，作为按时序横向排列在屏幕上的图标。

当在屏幕上按时序显示只与对方有关的图标302时，尤其可以精确地直观识别来话呼叫期间对方情感的瞬时变化。另外，可以在呼叫之后直观地从按时序排列的图标302中回想起会话的内容。

只与用户自己有关的呼叫结果显示和只与对方有关的呼叫结果显示可以相互切换。这样，产生了可以通过切换引用一个来话呼叫历史中图标302按时序的每个显示的效果。

[来话呼叫历史的输出形式4]

现在参照附图描述来话呼叫历史的第四输出形式。

图30是在显示部分30上显示呼叫结果的第二输出形式的另一个例子。图30与第二输出形式的不同之处在于，在屏幕上的一个呼叫结果显示项351中显示从发送语音(用户自己)和接收语音(对方)两者中提取的情感，作为按时序横向排列在屏幕上的图标302。

当在屏幕上按时序显示与用户自己和对方有关的图标302时，可以直观地识别情感随整个会话的瞬时变化。另外，可以在呼叫之后从按时序排列的图标中回想起整个会话的内容。

[来话呼叫历史的输出形式5]

现在参照附图描述来话呼叫历史的第五输出形式。

图31是在显示部分30上显示呼叫结果的第二输出形式的另一个例子。图31与第二输出形式的不同之处在于，在屏幕上的一个呼叫结果显示项361中显示从接收语音(对方)中提取的情感，作为与情感相对应的用运动画面表达的动画310。

当在屏幕上将对方随整个会话变化的情感显示成运动画面时，与利用诸如图标之类的静止画面在屏幕上显示对方的情感的情况相比，可以更直观地识别随整个会话变化的情感。另外，在呼叫之后通过运动画面可以更精确地回想起会话的内容。

尽管已经描述了在屏幕上以这种输出形式显示与从对方的整个会话中提取的情感相对应的运动画面的情况，但也可以显示与从用户自己的整个会话中提取的情感相对应的运动画面，或与从用户自己与对方之间的整个会话中提取的情感相对应的运动画面。与利用图标显示相比，通过显示各自运动画面可以更直观地识别与整个会话有关的情感。另外，在呼叫之后通过运动画面可以更精确地回想起会话的内容。

[来话呼叫历史的输出形式6]

现在参照附图描述来话呼叫历史的第六输出形式。

图32是在显示部分30上显示呼叫结果的第二输出形式的另一个例子。这种输出形式与第二输出形式的不同之处在于，取代图像302，在一个呼叫结果显示项371中将从(用户自己的)发送语音和(对方的)接收语音中提取的情感分别排列成与用户自己有关的图像时序显示片段311和与对方有关的图像时序显示片段312，并且在屏幕上显示它们。

在与对方相对应的图像时序显示片段312中，排列与对方相对应的不同图像。具体地说，排列两种类型的图像，即，图像313和图像314。在这种输出形式下，图33(A)中与呼叫方“Nomura”对应的每个图像是情感平静时的图像(图像313)。将图像313存储在存储部分70中，也可以将它用在便携式电话1的电话簿显示中。不对图像313进行处理图像。另一方面，图33(B)中与呼叫方“Nomura”对应的每个图像是情感伤心时的图像(图像314)。图像314是图像处理部分207对图像313进行图像处理生成的。在这种输出形式下对图像313进行图像处理是将表达落泪的辅助图像315叠加在图像313上。这里，辅助图像315是与情感指定部分203指定的伤心情感相关联的图像。将图像315存储在情感内容存储部分204中。于是，为了以这种输出形式显示情感，可以通过对带有辅助图像的基本图像进行图像处理生成显示图像，从而没有必要将表达大量情感的与用户自己和对方相对应的各个图像事先存储在存储部分中，其结果是，可以有效地利用存储部分。另一方面，可以将要对其进行图像处理的图像事先存储在存储部分中。在这种情况下，当将图像显示在屏幕上时，没有必要对每个图像都进行图像处理，从而产生可以高速地进行屏幕显示的效果。作为图像处理，可以使与对方相对应的图像本身变形，以及叠加上述辅助图像。当与对方相对应的图像是，例如，脸部图像时，为了表示愤怒的情感，存在诸如使眉毛和眼睛升高的变形、使脸部颜色变红的色调校正等的数种图像处理。对图像处理的类型没有限制，只要图像处理能产生经过图像处理的图像能使用户想起相应情感的效果即可。

当与用户自己和对方相对应的图像被排列成情感屏幕显示时，便携式电话用户无需检验呼叫方名称305的显示，利用他/她的视觉就可以容易地识别呼叫方。另外，便携式电话用户无需检验历史标题308和309就可以将与用户自己相对应的图像时序显示片段311与同对方相对应的图像时序显示片段312区分开。

尤其当呼叫方和用户自己的脸部图像被用作与呼叫方和用户自己相对应的图像时，产生可以更精确地识别情感的效果。另外，当利用用户自己和进行交流的对方的脸部图像时，可以在呼叫之后更精确地回想起会话的内容。

当以上述方式将与呼叫方相对应的图像用在来话呼叫显示中时，由于不同的图像用于不同的呼叫方，可以容易地直观识别呼叫方。并且，可以直观地从来话呼叫历史中精确回想起呼叫的内容。可以更加依附呼叫方。

与第三或第四输出形式相同，图像显示可以只与用户自己有关，只与对方有关，或与用户自己和对方两者的整个会话有关。在这种情况下获得的效果包括在第三和第四输出形式中描述的上述效果，以及第六输出形式中的上述效果。

(第四实施例)

下面针对呼叫终止之后利用情感数据703和电话簿数据702之间的联系更新便携式电话11中的电话簿的情况描述按照本发明第四实施例的便携式电话。

关于电话簿数据702中的每个注册人员，当与注册人员相对应的图像已经注册在存储部分70中时，情感通告操作指令部分205指令图像处理部分207根据情感数据703，对与注册人员相对应的图像进行图像处理。图像处理是将情感与同注册人员相对应的原始图像相关联的处理。作为图像处理的类型，与第三实施例的第六输出形式相同，存在将存储在情感内容存储部分204中的辅助图像叠加在与电话簿数据的注册人员相对应的图像上的图像处理和使注册图像变形的图像处理等。但是，对图像处理的类型没有限制，只要图像处理能产生经过图像处理的图像能使用户想起相应情感的效果即可。

每当在屏幕上显示图像时，可以更新注册在电话簿中的图像，或者，可以在每个呼叫之后更新注册在电话簿中的图像和将更新的图像数据存储在存储部分中。当在每个呼叫之后进行更新时，没有必要对屏幕上电话簿的显示进行图像处理，从而产生可以高速进行屏幕显示的效果。

作为与电话簿中的注册人员相对应的图像，使用事先存储在存储部分中的图像或通过图像拾取设备、数据通信功能、或外部存储媒体摄入的图像。作为图像的类型，最好使用可以容易回忆注册人员的图像。例如，优先选择注册人员的脸部图像。

图34示出了将注册人员的脸部图像注册成与注册人员相对应的图像的电话簿，其中，(A)是正常电话簿的屏幕显示，(B)是按照本实施例的电话簿的屏幕显示。图34(A)和图34(B)的相互不同之处在于，在图34(B)中，在根据按照最新呼叫判定的情感对图像进行图像处理之后，将与每个注册人员相对应的图像显示在屏幕上。例如，由于最新呼叫期间注册人员的情感被判定为伤心，对图34(B)中与注册人员“Nomura”相对应的注册图像进行与伤心相对应的图像处理和在屏幕上显示它。

这样，根据按照最新呼叫判定的情感对与电话簿中的注册个人相对应的图像进行图像处理，并且，在呼叫了电话簿中的注册人员之后，与电话簿中的电话号码和注册人员姓名一起更新所得图像。于是，当便携式电话用户在呼叫之后在屏幕上显示电话簿和参考电话簿时，可以直观地将电话簿中的注册人员和情感相互联系，从而产生刺激记忆以便容易回想以前呼叫电话簿中的注册人员的内容的效果相同。这个效果与通过显示在屏幕上的呼叫历史回想呼叫的内容的效果。另外，当便携式电话用户在下一次呼叫之前参考电话簿时，便携式电话用户可以回想以前呼叫的内容，以便在呼叫之前考虑会话的内容。因此，产生了便携式电话用户可以在呼叫之后有效地进行会话，从而使会话变得流畅的效果。

尽管通过参照本发明的特定实施例已经详细描述了本发明，但对于本领域的普通技术人员来说，显而易见，可以作出各种各样的改变或修改，而不偏离本发明的精神和范围。

本申请基于2004年9月10日提出的日本专利申请(专利申请第2004-264350号)，特此全文引用以供参考。

按照本发明的信息处理终端可以使用另一种表达手段表示通过实时直接表达谈话人情感的方法直接传达给对方的不希望有情感，并且可以产生可以事后回顾和掌握呼叫状态的整个图像的效果。因此，按照本发明的信息处理终端可用作根据从语音中估计情感通告谈话人的情感的信息处理终端。

Claims (29)

1.一种信息处理终端，包含：

输入语音的语音输入单元；

从所输入的语音中生成情感参数的参数生成单元；以及

通告各种信息的通告单元，

其中，该通告单元通告有关于与由该参数生成单元生成的参数相对应的情感的信息。

2.根据权利要求1所述的信息处理终端，进一步包含存储数据的存储单元，

其中，该存储单元存储由该参数生成单元生成的该情感参数；以及

其中，该通告单元通告有关于与存储在该存储单元中的该参数相对应的情感的信息。

3.根据权利要求2所述的信息处理终端，其中，该存储单元存储由该参数生成单元生成的该情感参数，使得与由该参数生成单元生成该情感参数的顺序相对应；以及

其中，该通告单元按照该顺序通告有关于与存储在该存储单元中的该参数相对应的情感的信息。

4.根据权利要求1到3的任何一项所述的信息处理终端，进一步包含进行电话呼叫的呼叫单元，

其中，该语音输入单元在该呼叫单元进行电话呼叫期间输入语音。

5.根据权利要求1所述的信息处理终端，进一步包括：

存储数据的存储单元；以及

进行电话呼叫的呼叫单元；

其中，该语音输入单元在该呼叫单元进行电话呼叫期间输入语音；

其中，该存储单元存储由该参数生成单元生成的该情感参数，使得与由该参数生成单元生成该情感参数的顺序相对应；以及

其中，该通告单元按照该顺序通告有关于与存储在该存储单元中的该参数相对应的情感的信息。

6.根据权利要求5所述的信息处理终端，其中，该通告单元在该呼叫单元进行的电话呼叫完成之后通告与该情感有关的信息。

7.根据权利要求5或6所述的信息处理终端，其中，该通告单元包括显示各种信息的显示单元；

其中，该存储单元按照该呼叫单元进行的每次电话呼叫存储该情感参数；以及

其中，当该显示单元显示呼叫历史时，该显示单元按照该呼叫历史中的每个呼叫项，通告有关于与存储在该存储单元中的该参数相对应的情感的信息。

8.根据权利要求5或6所述的信息处理终端，其中，该通告单元包括显示各种信息的显示单元；

其中，该存储单元按照该呼叫单元进行的每次电话呼叫存储该情感参数；以及

其中，该显示单元按时序显示有关于与存储在该存储单元中的该参数相对应的情感当中与特别参数相对应的情感的信息。

9.根据权利要求5到8的任何一项所述的信息处理终端，其中，该通告单元与存储在该存储单元中的该参数相对应地通告与呼叫/被叫方的每一个、该呼叫/被叫方之一或呼叫方和被叫方两者的情感有关的信息。

10.根据权利要求9所述的信息处理终端，其中，该存储单元存储脸部图像信息，使得将该脸部图像与其脸部图像被拍摄了的每个人相关联；以及

其中，该通告单元通过对从该存储单元中读取的该对方脸部的一个或多个图像进行图像处理，通告与呼叫/被叫方的每一个、该呼叫/被叫方之一或呼叫方和被叫方两者的情感有关的信息。

11.根据权利要求1所述的信息处理终端，进一步包含指定通过该所生成的参数中的特别一个所表达的情感的情感指定单元，

其中，该通告单元通告有关于该所指定的情感的信息。

12.根据权利要求11所述的信息处理终端，进一步包含存储数据的存储单元，

其中，该存储单元存储由该参数生成单元生成的该情感参数；以及

其中，该情感指定单元指定通过该所存储的参数中的特别一个所表达的情感。

13.根据权利要求11或12所述的信息处理终端，进一步包含进行呼叫的呼叫单元，

其中，该语音输入单元在该呼叫单元进行电话呼叫期间输入语音。

14.根据权利要求13所述的信息处理终端，进一步包含在该呼叫单元进行电话呼叫期间记录语音的语音记录单元，

其中，该语音输入单元输入由该语音记录单元所记录的语音。

15.根据权利要求13或14所述的信息处理终端，其中，该通告单元包括显示各种信息的显示单元；

其中，该存储单元按照每次电话呼叫存储指定情感；以及

其中，当该显示单元显示呼叫历史时，该显示单元与呼叫历史一起显示有关于该所指定的情感的信息。

16.根据权利要求15所述的信息处理终端，其中，该存储单元存储反映该指定情感的一部分语音；以及

其中，该显示单元将与该指定情感同一时刻的一部分语音的存在与该呼叫历史一起显示。

17.根据权利要求13或14所述的信息处理终端，其中，该通告单元包括显示各种信息的显示单元；

其中，该存储单元按照每个呼叫/被叫方存储指定情感；以及

其中，当该显示单元显示存储在该存储单元中的呼叫/被叫方的个人信息时，该显示单元将有关该指定情感的信息与该个人信息一起显示。

18.根据权利要求13或14所述的信息处理终端，其中，该通告单元包括显示各种信息的显示单元；

其中，该存储单元与呼叫日期相对应地存储指定情感；以及

其中，当该显示单元显示日历时，该显示单元将有关该指定情感的信息与该日历的日期一起显示。

19.根据权利要求11到18的任何一项所述的信息处理终端，其中，该通告单元包括显示各种信息的显示单元，

其中，该存储单元存储与该情感相对应的图像；以及

其中，该显示单元与该指定情感相对应地显示从该存储单元中读取的图像。

20.根据权利要求19所述的信息处理终端，其中，该存储单元存储该情感指定单元指定的情感的出现频率；以及

其中，该显示单元按照情感的该出现频率，与该指定情感相对应地显示从该存储单元中读取的图像。

21.根据权利要求11到18的任何一项所述的信息处理终端，其中，该通告单元包括通过发光通告各种信息的发光单元，

其中，该存储单元存储与该情感相对应的颜色；以及

其中，该发光单元与该指定情感相对应地以从该存储单元中读取的颜色发光。

22.根据权利要求11到18的任何一项所述的信息处理终端，其中，该通告单元包括通过振动通告各种信息的振动单元，

其中，该存储单元存储与该情感相对应的振动频率或振动强度；以及

其中，该振动单元与该指定情感相对应地以从该存储单元中读取的振动频率或振动强度振动。

23.根据权利要求19或20所述的信息处理终端，进一步包含从记录与该情感相对应的图像的服务器接收数据的接收单元，

其中，该存储单元存储与情感相对应的所接收的图像。

24.根据权利要求21所述的信息处理终端，进一步包含从记录与情感相对应的颜色的服务器接收数据的接收单元，

其中，该存储单元存储与该情感相对应的所接收的颜色。

25.根据权利要求22所述的信息处理终端，进一步包含从记录与该情感相对应的振动频率或振动强度的服务器接收数据的接收单元，

其中，该存储单元存储与该情感相对应的所接收的振动频率或振动强度。

26.根据权利要求12到25的任何一项所述的信息处理终端，其中，该情感指定单元指定与存储在该存储单元中的情感参数当中数值最高的参数相对应的情感。

27.根据权利要求12到25的任何一项所述的信息处理终端，其中，该情感指定单元指定与存储在该存储单元中的情感参数当中，从语音开始到语音结束生成的总数值最高的参数相对应的情感。

28.根据权利要求12到25的任何一项所述的信息处理终端，其中，该情感指定单元指定与存储在该存储单元中的情感参数当中，在语音结束之前生成的数值最高的参数相对应的情感。

29.根据权利要求12到28的任何一项所述的信息处理终端，进一步包含将该指定情感发送到另一个信息处理终端的发送单元。

Images