[go: up one dir, main page]

WO2011152072A1 - コンテンツ出力装置、コンテンツ出力方法、プログラム、プログラム記録媒体及びコンテンツ出力集積回路 - Google Patents

コンテンツ出力装置、コンテンツ出力方法、プログラム、プログラム記録媒体及びコンテンツ出力集積回路 Download PDF

Info

Publication number
WO2011152072A1
WO2011152072A1 PCT/JP2011/003160 JP2011003160W WO2011152072A1 WO 2011152072 A1 WO2011152072 A1 WO 2011152072A1 JP 2011003160 W JP2011003160 W JP 2011003160W WO 2011152072 A1 WO2011152072 A1 WO 2011152072A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
image
attribute
user
contents
Prior art date
Application number
PCT/JP2011/003160
Other languages
English (en)
French (fr)
Inventor
飯田 裕美
郁 大濱
紹二 大坪
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2012518264A priority Critical patent/JP5879544B2/ja
Priority to CN201180003127.3A priority patent/CN102473196B/zh
Priority to US13/387,217 priority patent/US8732149B2/en
Publication of WO2011152072A1 publication Critical patent/WO2011152072A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454Content or additional data filtering, e.g. blocking advertisements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Definitions

  • the present invention relates to a system that outputs content such as video, video, and audio, and more particularly to a technique for searching and outputting content.
  • a search can be performed using the metadata of the content, and related content can be further displayed.
  • the present invention has been made in view of such problems, and an object of the present invention is to provide a content output apparatus that displays related content that is highly likely to be of interest to the user.
  • a content output device includes a storage unit that stores a plurality of content and the attribute of the content in association with each other, and a plurality of contents stored in the storage unit.
  • First output control means for outputting predetermined content on the screen, and a relation for specifying a set of related contents having attributes related to the attributes of the outputted contents from a plurality of contents stored in the storage means.
  • the content specifying means and the plurality of contents stored in the storage means are classified into a plurality of groups based on the respective attributes of the plurality of contents, and the total number of contents belonging to each classified group is calculated.
  • the content included in the group in which the calculated total number of contents exceeds a predetermined value is set as a high preference container.
  • User preference specifying means for specifying as a set of items, and second output control means for outputting content belonging to both the set of contents and the set of highly preferred content to the screen. .
  • the content output method is a content output method for outputting content for presentation to a user, and is stored in a storage unit that stores a plurality of content and attributes of the content in association with each other.
  • a first output control step for outputting predetermined content to the screen among a plurality of existing content, and a set of related content having an attribute related to the attribute of the output content are stored in the storage means
  • a related content specifying step for specifying from a plurality of contents, and a plurality of contents stored in the storage means are classified into a plurality of groups based on respective attributes of the plurality of contents, and belong to each of the classified groups
  • the total number of content items is calculated, and the calculated total number of content items exceeds a predetermined value.
  • the program according to the present invention is a program described in a computer-readable format so that a processing procedure for outputting content to be presented to a user is executed on a computer, and the processing procedure includes the content and the content.
  • a first output control step for outputting a predetermined content on the screen, and an association with the attributes of the output contents
  • a related content specifying step for specifying a set of related content having an attribute to be determined from a plurality of contents stored in the storage means; and a plurality of contents stored in the storage means for each attribute of the plurality of contents Classify into multiple groups and belong to each group
  • a second output control step of outputting contents belonging to both of the two sets to
  • a program recording medium is a program recording medium that records a program described in a computer-readable format so that a processing procedure for outputting content to be presented to a user is executed on the computer,
  • the processing procedure includes a first output control step of outputting a predetermined content on a screen among a plurality of contents stored in a storage unit that stores a plurality of contents and corresponding attributes of the contents, and the output
  • a related content specifying step for specifying a set of related content having an attribute related to the attribute of the stored content from the plurality of contents stored in the storage means; and a plurality of contents stored in the storage means Classify into a plurality of groups based on respective attributes of the plurality of content;
  • a user preference specifying step of calculating a total number of contents belonging to each of the classified groups, and specifying a content included in the group in which the calculated total number of contents exceeds a predetermined value as a set of high-preference content.
  • a second output control step of outputting content belonging to both the content set
  • a content output integrated circuit is a content output integrated circuit that outputs content to be presented to a user, and is stored in a storage unit that stores a plurality of content and attributes of the content in association with each other.
  • a first output control means for outputting predetermined contents on the screen and a set of related contents having attributes related to the attributes of the outputted contents are stored in the storage means.
  • Related content specifying means for specifying from a plurality of contents, and a plurality of contents stored in the storage means are classified into a plurality of groups based on respective attributes of the plurality of contents, and belong to each of the classified groups The total number of content items that have been calculated, and the calculated total number of content items exceeds a predetermined value.
  • User preference specifying means for specifying the content included in the content as a set of high-preference content
  • second output control means for outputting content belonging to both the set of content and the set of high-preference content to the screen, , Provided.
  • the content output apparatus can display related content that is highly likely to be of interest to the user by having the above-described configuration.
  • the content output device includes a user preference function generation unit, and the user preference function generation unit generates a user preference function for calculating a user preference level for content belonging to the set of high preference content,
  • the second output control means uses the generated user preference function to calculate a user preference level of each content belonging to the set of high-preference content, and sets the related content set and the high-preference content set. It is also possible to process the content belonging to both of the two so as to be prominent according to the degree of user preference of the content and output it on the screen.
  • the display mode of the related content to be displayed is changed according to the user's preference level for each related content (for example, processing is made more conspicuous if the user preference level is high, and is not noticeable if the user preference level is low) Therefore, the user can pay more attention to related content that is more likely to be of interest to the user.
  • the user preference function generation unit may be configured to display each attribute belonging to the set of high-preferred content on the horizontal axis when the attribute commonly held by the set of high-preferred content can be expressed by a numerical value.
  • the user preference function may be generated by plotting attribute values and calculating a probability density function assuming that the plotted attribute values are samples according to a normal distribution.
  • FIG. 1 is a configuration diagram of an image display apparatus 1000 according to Embodiment 1.
  • FIG. This is the structure of data stored in the storage unit 1100.
  • 5 is a flowchart illustrating processing performed by the image display apparatus 1000.
  • 10 is a flowchart showing processing performed by related content specifying means 1500.
  • 5 is a diagram showing an example of listing attributes associated with all images stored in a storage unit 1100.
  • FIG. It is a figure which shows the example of the result of having specified the related image by the related content specific
  • FIG. It is a flowchart which shows the process which the user preference specific
  • FIG. 6 is a configuration diagram of an image display apparatus 2000 according to Embodiment 2.
  • FIG. 10 is a flowchart illustrating processing performed by the image display apparatus 2000. It is a figure which shows the concept of the user preference calculation which the 2nd output control means 2600 performs in the "creation date" attribute of the image display apparatus 2000. FIG. It is a figure which shows the concept of the user preference degree calculation which the 2nd output control means 2600 in the "place" attribute of the image display apparatus 2000 performs. 10 is a diagram illustrating an example of an output result by the image display device 2000. FIG. It is a figure which shows the example of the other output result by the image display apparatus.
  • FIG. 10 is a configuration diagram of an image display device 3000 according to a third embodiment. It is a figure which shows the data structure and content example of the attached data 1800 for every image. It is a figure which shows the example of the content of the life event information memorize
  • FIG. 5 is a flowchart showing the operation of the image display device 3000.
  • FIG. 10 is a configuration diagram of an image display device 4000 according to a fourth embodiment. 5 is a flowchart showing the operation of the image display device 4000.
  • FIG. 10 is a flowchart showing an arrangement determining process performed by an arrangement determining unit 4400. It is a figure which illustrates the output result by the image display apparatus 4000.
  • FIG. It is a flowchart which shows the attribute information evaluation process which the attribute information evaluation means 4200 performs. It is a figure which illustrates the other output result by the image display apparatus 4000.
  • FIG. It is a figure which illustrates the output result of an image display device. It is a figure which illustrates the output result of an image display device. It is a figure which illustrates the output result of an image display device. It is a figure which illustrates the output result of an image display device. It is a figure which illustrates the output result of an image display device. It is a figure which illustrates the output result of an image display device. It is a figure which illustrates the output result of an image display device. It is a figure which illustrates the output result of an image display device.
  • the image display apparatus 1000 includes a storage unit that stores a plurality of images, displays an image based on a user operation, and displays an image that is related to the displayed image and that matches the user's preference.
  • a search is made from a plurality of images stored in the storage means and displayed to the user.
  • a creation date and time, a place, a creator name, a character string (hereinafter referred to as a keyword) representing the content of the image, and the like are associated with each other as attributes and stored in the storage unit.
  • the image display device searches for an image related to the displayed image based on a user operation by extracting an image having an attribute related to the attribute of the displayed image.
  • a search for an image that matches the user's preference from among images stored in the storage means is grouped according to attributes, and the number of images is counted for each group, and the number of images is greater than the reference value. This is done by extracting images belonging to. Since it can generally be estimated that an image with a large number of possession is important for the user, it can be expected to extract an image considered to meet the user's preference.
  • the image belonging to both the above-described set of related images and the set of images estimated to meet the user's preference is displayed on the display device.
  • a keyword attribute representing content is used as an attribute used for processing for specifying an image suitable for preference. If the keyword has a large amount of travel images, the keyword attribute will display the travel image from among the related images. In this case, since it can be expected that travel is important for the user, an image that is highly likely to be of interest to the user is displayed.
  • the image display apparatus 1000 will be described with reference to the configuration diagram shown in FIG.
  • the image display apparatus 1000 includes a storage unit 1100, a user preference specifying unit 1200, a user operation receiving unit 1300, a first output control unit 1400, a related content specifying unit 1500, and a second output control unit 1600.
  • a display device 1700 that is a display or the like for drawing an image is connected to the image display device 1000 as an external output device.
  • the storage unit 1100 includes an HDD (Hard Disk Drive), a memory, and the like, and stores a plurality of images 1101 and attributes 1102 of the images in association with each other. Is obtained in association with attributes and stored.
  • HDD Hard Disk Drive
  • the user preference specifying unit 1200, the user operation accepting unit 1300, the first output control unit 1400, the related content specifying unit 1500, and the second output control unit 1600 are composed of a processor and a memory, and the control program stored in the memory is processed by the processor. Each function described later is realized by executing the above.
  • the user operation accepting unit 1300 additionally includes a pointing device for accepting an operation from the user.
  • the user preference specifying unit 1200 When the user preference specifying unit 1200 receives a notification of image input from the user operation receiving unit 1300 to the storage unit 1100, the user preference specifying unit 1200 refers to the attribute of the image in the storage unit 1100, and groups the images having the same keyword attribute.
  • a group in which the total number of images in the group exceeds a predetermined reference number hereinafter referred to as a high user preference group
  • images included in the group hereinafter referred to as a high user preference image It has a function of notifying the output control means 1600.
  • the user operation accepting unit 1300 stores an image input in the storage unit 1100 in association with the attribute when an image input by the user is received, and notifies the user preference specifying unit 1200 of the image input,
  • a function for notifying the first output control means 1400 of an image display command and an operation for selecting one of the images output to the display device 1700 are received from the user.
  • a function of notifying the first output control means 1400 of an image selection command is an instruction to create a plurality of reduced images (thumbnail images) of images stored in the storage unit 1100 and display them on the display device 1700.
  • the image selection command is to search for the selected image from the storage unit 1100 and display it on the display device 1700 and to instruct the related content specifying unit 1500 to specify the related image.
  • the first output control unit 1400 has a function of receiving two types of commands from the user operation receiving unit 1300 and processing them.
  • an image display command is received, a plurality of images to be displayed are acquired from the storage unit 1100, a thumbnail image is created, output to the external display device 1700, and displayed.
  • an image selection command is received, an image selected by the user is acquired from the storage unit 1100, and the image is output and displayed on the external display device 1700, and a related image of the image selected by the user is displayed on the related content specifying unit 1500. Instruct to specify.
  • the related content specifying unit 1500 has a function of receiving the specific instruction of the related image of the image selected by the user from the first output control unit 1400 and performing the following process.
  • an image having an attribute having a predetermined relationship with the image selected by the user for each of the three types of attributes, the creation date attribute, the creator name attribute, and the location attribute is identified as a related image
  • the second output control means 1600 is notified of the image. The predetermined relationship will be described later.
  • the second output control unit 1600 receives the notification of the set of high user preference images from the user preference specifying unit 1200 and the set of related images from the related content specifying process, and specifies images belonging to both sets as recommended images.
  • the recommended image is acquired from the storage unit 1100, and the recommended image is output and displayed on the external display device 1700.
  • the display device 1700 has a function of displaying an image on a display or the like when an image output from the first output control unit 1400 or a recommended image output from the second output control unit 1600 is received.
  • Storage unit 1100 stores a plurality of images and attributes corresponding to the images in association with each other.
  • the image here refers to still image data such as a photograph taken with a digital camera (JPEG (Joint Photographic Experts Group) or the like).
  • FIG. 2 is an example showing a data structure 200 associated with an image stored in the storage unit 1100.
  • the table 200 includes a column 201 indicating the type of data and a column 202 that is actual data, and has a plurality of sets of elements. Each element in the example of FIG. 2 will be described.
  • “File path” represents a location where an image is stored.
  • the “content ID” is a number for uniquely identifying the image stored in the “file path”.
  • “Type” is the type of the file stored in “file path”, and in the first embodiment, all are “images”.
  • “Created date / time attribute”, “Location attribute”, “Creator name attribute”, and “Keyword attribute” are the date / time when the image stored in “File path” was created, the location where the image was created, and the name of the image creator
  • the attribute means a character string representing the contents of the image.
  • the image is a file in the abc folder in the storage unit 1100. xxx.
  • Content ID as an element of 204 in the table is a numerical value given by the image display device when an image is stored in the storage unit 1100, and is uniquely assigned to each content. In the example of FIG. 2, / abc / 00123. This indicates that the content ID, which is a number for uniquely identifying the xxx image, is 8.
  • “Location” as the attribute type 207 in the table represents the latitude and longitude of the created location in the format of “latitude and longitude” using numerical values. This data may be given by the specifications of the device that was created when the file was created. In the example of FIG. 2, the image is created at latitude x6 and longitude y6.
  • the “creator name” which is the attribute type 208 in the table may be given depending on the specifications of the device that created the image. However, since it is not necessarily given, the user may input using the image display device. In the example of FIG. 2, the image is created by a DD man.
  • “Keyword”, which is the attribute type 209 in the table, may be given depending on the specifications of the device that created the image. However, since it is not necessarily given, the user may input using the image display device. In the example of FIG. 2, the image represents content related to travel.
  • Attribute type “location”, “creator name”, and “keyword” are not necessarily given, so data may not exist.
  • FIG. 3 is a flowchart showing display processing performed by the image display apparatus 1000.
  • the user operation receiving means 1300 receives an image display request from the user (step S301).
  • the process returns to step S301.
  • the first output control unit 1400 reads a plurality of images from the storage unit 1100, creates thumbnail images, and outputs them to the display device 1700. It is displayed (step S302).
  • the display process may be referred to as a first output control process. Thereafter, it waits for one image to be selected in response to a request to view an image that the user is interested in (step S303). If not selected (“NO” in step S303), the process waits until it is selected.
  • the first output control unit 1400 displays the selected image (step S304), and the related content specifying unit 1500 performs related content specifying processing (step S305).
  • FIG. 4 is a flowchart showing the related content specifying process performed by the related content specifying unit 1500 in step S305.
  • the related content specifying unit 1500 acquires a creation date attribute, a creator name attribute, and a location attribute from the attributes of the image selected by the user (step S401).
  • the creation date / time attribute, the creator name attribute, and the location attribute are each checked for an association with the image selected by the user (step S402).
  • the creation date attribute if the difference value from the creation date of the image selected by the user is within the reference value, the image is regarded as a related image (step S403).
  • the creator name attribute if it is the same as the creator name of the image selected by the user, it is regarded as a related image (step S404).
  • the location attribute if the difference value from the location of the image selected by the user is within the reference value, the image is regarded as a related image (step S405).
  • the related content specifying unit 1500 having the attribute having a predetermined relationship with the image selected by the user by the related content specifying unit 1500 described in the above configuration is executed by the related content specifying unit 1500 executing the processing from step S403 to step S405. Made. Note that the processes in steps S403 to S405 may be executed in order or may be performed in parallel.
  • the related image of the creation date attribute, the related image of the creator name attribute, and the related image of the place attribute are specified (step S406).
  • related content specifying processing is performed using the table of FIG. In FIG. 5, data with a content ID of 11 or more is omitted and displayed.
  • processing performed by the related content specifying unit 1500 for images having content IDs up to 10 will be described.
  • “ ⁇ ” indicates that there is no attribute. In this case, it is excluded from the related content specifying process as having no attribute.
  • the “creation date” attribute is selected as the attribute of this image.
  • the “author name” attribute will be described.
  • the “location” attribute is also described.
  • the attribute “ ⁇ x6, y6 ⁇ (latitude is x6, longitude is y6) for the“ location ”attribute of the image with content ID 8.
  • the user operation accepting unit 1300 confirms whether or not an image is input based on the presence / absence of an input signal from an external storage unit (flash memory, SD (Secure Digital) card, etc.) to the internal storage unit 1100 ( Step S306). If there is no image input by the user (“NO” in step S306), the user waits for an image input. When the user inputs an image (“YES” in step S306), the user preference specifying unit 1200 performs a user preference specifying process (step S307).
  • an external storage unit flash memory, SD (Secure Digital) card, etc.
  • FIG. 7 is a flowchart showing the user preference specifying process performed by the user preference specifying unit 1200 in step S307.
  • the user preference specifying unit 1200 performs grouping for all images stored in the storage unit 1100. Grouping is performed using keyword attributes. First, each group having the same keyword attribute is divided (step S701). The number of images is counted for each divided group, and a group exceeding the predetermined reference number is set as a high user preference group (step S702). Finally, an image included in the high user preference group is specified as a high user preference image (step S703).
  • FIG. 5 shows a table of data recorded in the storage unit 1100.
  • data with a content ID of 11 or more is omitted and displayed.
  • a process performed by the user preference specifying unit 1200 with an image having a content ID of up to 10 will be described.
  • a group exceeding the predetermined reference number is set as a high user preference group (step S702).
  • the reference number is 3
  • the group having the keyword attributes “sweets” and “travel” is set as a high user preference group.
  • an image included in the high user preference group is specified as a high user preference image (step S703).
  • the second output control means 1600 uses the images belonging to both the set of high user preference images and the set of related images as recommended images.
  • the recommended image is displayed together with the image selected by the user (step S308), and the process returns to step S301.
  • the specification and display processing of the recommended image by the second output control means 1600 may be referred to as second output control processing.
  • An icon indicating content ID 10, which is a highly user-preferred image, is displayed together with the keyword attribute “sweets” (902A in FIG. 9).
  • the image display apparatus 2000 which is an embodiment of the content output apparatus will be described.
  • FIG. 10 is a configuration diagram of the image display apparatus 2000 according to the second embodiment.
  • the image display device 2000 is obtained by changing the constituent elements so as to calculate the user preference level based on the attribute of the high user preference image from the image display device 1000 shown in the first embodiment.
  • the second output control means 2600 having a function for calculating the user's preference is connected to the image display apparatus 1000 shown in the first embodiment. did. Thereby, before displaying a recommendation image, the user preference degree which shows the height of a user's preference degree is calculated, and it is reflected on an output.
  • the image display apparatus 2000 includes the same storage means 1100, user preference specifying means 1200, user operation accepting means 1300, first output control means 1400, and related contents as the image display apparatus shown in the first embodiment.
  • description of the same components as those of the image display apparatus 1000 is omitted.
  • the second output control means 2600 includes a processor and a memory, and the following functions are realized when the processor executes a control program stored in the memory.
  • the second output control unit 2600 receives notification of a set of high user preference images from the user preference specifying unit 1200 and a set of related images from the related content specifying process, and specifies images belonging to both sets as recommended images. Then, a recommended image is acquired from the storage unit 1100, the user preference level is calculated using the image attribute selected by the user and the image attribute specified by the user preference specifying unit 1200, and recommended to the external display device 1700. It has a function of outputting and displaying the user preference level together with the image. A method for calculating the user preference will be described later.
  • the second output control unit 2600 includes a user preference function generation unit 2610.
  • the user preference function generation unit 2610 has a function of generating a user preference function for calculating a user preference level.
  • the second output control means 2600 includes the user preference function generation means 2610. However, if the user preference function generation means 2610 is in the image display device 2000, the second output control means 2600 includes. In this case, the user preference function generation unit 2610 may be configured to output the user preference function generated to the second output control unit 2600.
  • the data structure of the storage unit 1100 handled by the image display apparatus 2000 having the above-described configuration will also be described.
  • the data structure handled in the image display apparatus 2000 is the same as the data structure handled in the first embodiment. Therefore, the description is omitted.
  • FIG. 11 is a flowchart showing the operation of the image display apparatus 2000.
  • the same reference numerals as in the first embodiment are used for the same operations as those in the flowchart shown in FIG. 3 of the first embodiment, and the description thereof is omitted.
  • the image display device 2000 uses the second output control unit 2600 to specify an image belonging to both the related image and the high user preference image as a recommended image (step S1108).
  • the display content is determined using the user preference degree calculated using the image attribute selected by the user and the image attribute specified by the user preference specifying unit 1200, output to the display device 1700, and displayed. This is performed (step S1109).
  • the second output control process is described in step S1109, but strictly speaking, the processes in steps S1108 and S1109 are the second output control process.
  • the high user preference group has two attributes “sweets” and “travel” as shown in FIG.
  • the attributes that can be represented by numerical values are “creation date” and “location”.
  • the probability density function is defined as a user preference function F_creation date (t) with “creation date” t of a high user preference group having “sweets” as a variable.
  • the value obtained by substituting x and y in the user preference function F_place (x, y) having “place” ⁇ x, y ⁇ of the high user preference group as a variable is 0.5.
  • the second output control means 2600 displays an image that is a related image and a high user preference image according to the user preference level. For example, as shown in FIG. 14, an area (1401) for displaying a related image of the “creation date” attribute of an image selected by the user and an area (1402) for displaying a related image of the “location” attribute are provided. Similarly, in each area, a user preference degree is selected from an image that is a related image of the “creation date” attribute and is a high user preference image and an image that is a related image of the “location” attribute and is a high user preference image. Display in descending order.
  • the second output control means 2600 may change the display mode of each recommended image according to the user preference level and output it. For example, a recommended image with a higher user preference is more conspicuous (for example, a recommended image with a higher user preference is displayed larger), and a recommended image with a lower user preference is less noticeable (for example, the user preference The image may be displayed smaller than a highly recommended image), or the display mode may be changed. Further details of the change of the display mode according to the user preference level will be described in the third and fourth embodiments.
  • the image display device 3000 includes a storage unit 3100 that stores a plurality of images, and displays a plurality of images in the same size and in the order of created date and time based on a user operation. By changing the shade of the image according to the user's operation, the user's image search is assisted.
  • the creation date / time, location, and face information of the person shown in the image are stored in the storage unit 3100 in association with each other as attributes.
  • the image display device 3000 calculates an importance component that constitutes an importance for each attribute, and uses a slide bar as a user interface in the screen to express a weighting factor and an importance indicating an importance degree for each attribute specified by the user
  • the sum of products with the components is used as the importance of the image.
  • the importance of the image is classified into N levels (here, 3 levels), and the image display device 3000 controls to display the images in different display modes according to the classification results. That is, the display mode of the image is controlled so that the display size is the same, and the image classified in the higher level is darker and the image classified in the lower level is lighter. Further, the arrangement for displaying the image is controlled so that the images are arranged in the order of the date and time indicated by the creation date and time attribute. This facilitates user image search.
  • N levels here, 3 levels
  • the image display device 3000 includes a storage unit 3100, an attribute information evaluation unit 3200, a user operation reception unit 3300, an arrangement determination unit 3400, a display mode classification unit 3500, and a display control unit 3600.
  • the image display device 3000 is connected to a display device 3700 that is a display or the like for drawing an image.
  • a range surrounded by a dotted line in FIG. 17 corresponds to the second output control means 2600 shown in the first and second embodiments.
  • the user operation accepting unit 3300 corresponds to the user operation accepting unit 1300 shown in the first and second embodiments
  • the storage unit 3100 corresponds to the storage unit 1100 shown in the first and second embodiments.
  • the storage unit 3100 includes an HDD (Hard Disk Drive), a memory, and the like, and stores a plurality of images 1101 and attributes 1102 of the images in association with each other. For example, a user input from a digital camera takes a picture. The image is stored in association with the attribute.
  • HDD Hard Disk Drive
  • the attribute information evaluation unit 3200, the user operation reception unit 3300, the arrangement determination unit 3400, the display mode classification unit 3500, and the display control unit 3600 include a processor and a memory. Each function of these units (described in detail later) is realized by the processor executing a control program stored in the memory.
  • the user operation accepting unit 3300 additionally includes a USB (Universal Serial Bus) interface for accepting image input, a mouse for accepting an operation from the user, and the like.
  • USB Universal Serial Bus
  • the attribute information evaluation unit 3200 has a function of performing attribute information evaluation processing, which will be described later when receiving a notification of image input from the user operation reception unit 3300 to the storage unit 3100, that is, an attribute of an image in the storage unit 3100.
  • the importance component for each attribute of each image is calculated by using life event information and frequent location information configured by information input in advance by the user and frequent human information generated based on the input image. , Having a function of storing in the storage means 3100. The calculation method of the importance component for each of the life event information, the frequent location information, the frequent human information, and the attribute of each image will be described in detail later.
  • the user operation receiving means 3300 has four functions.
  • the creation date attribute and the location attribute are acquired from information added to the image by the device that created the image
  • Information attributes are acquired by analyzing an image by a face recognition program using a conventional face recognition technique immediately after receiving an input, and these acquired attributes for the image are set to “file path” or “content ID” described later. ”And“ type ”, and has a function of storing attached data that is associated with information. Further, after storing the image and the attached data in the storage unit 3100, it has a function of notifying the attribute information evaluation unit 3200 that the image is input.
  • it has a function of notifying the display mode classification means 3500 of the weighting factor for each attribute when receiving an input operation on the slide bar for inputting the weighting factor for each attribute output to the display device 3700 from the user.
  • the arrangement determining unit 3400 receives a notification from the user operation accepting unit 3300 to determine the arrangement for display, and performs an arrangement determination process based on a display arrangement algorithm for the creation date attribute that arranges the images in the order of the date and time when the images are created.
  • the display position is determined, and the determined arrangement is notified to the display control means 3600.
  • the display mode classification unit 3500 receives a notification of the weight coefficient value for each attribute notified from the user operation reception unit 3300, that is, a function for performing a display mode classification process to be described later.
  • a value is acquired from the storage means 3100, and for each attribute, a weighting factor for each attribute and an importance component are multiplied, and all the products (values of the multiplied results) are added to obtain the importance of the image, It has a function of notifying the display control means 3600 that all the images have the same size and the display mode is such that the higher the importance of the image, the darker the display mode.
  • the display control unit 3600 receives a notification of the display arrangement of each image from the arrangement determination unit 3400, receives a notification of the display mode for each image from the display mode classification unit 3500, acquires the displayed image from the storage unit 3100, and It has a function of outputting an image to an external display device 3700 according to the display arrangement and display mode of the image.
  • the display device 3700 has a function of displaying an image on a display or the like when an image input from the display control means 3600 is received.
  • the image display device stores a plurality of images and attributes corresponding to the images in the storage unit 3100 in association with each other.
  • the image here refers to still image data (JPEG: Joint Photographic Groups, etc.) such as a photograph taken with a digital camera.
  • FIG. 18 is a diagram showing a data structure and example contents of the attached data 200 including attributes that are associated with each image stored in the storage unit 3100.
  • the attached data 1800 includes a file path 1803, a content ID 1804, a type 1805, a creation date / time attribute 1806, a location attribute 1807, a face information attribute 1808, a creation date / time attribute importance component 1809, a location attribute importance component 1810, and a face information attribute significance.
  • a degree component 1811 is included. Each element in the example of FIG. 18 will be described.
  • the file path 1803 represents the storage location of the file, and is determined by the user operation accepting means 3300 to indicate the location of the image in response to the user specifying where to save the input image.
  • the image is a file in the abc folder in the storage unit 3100. It represents that it is stored in xxx.
  • the content ID 1804 is a numerical value given by the user operation accepting unit 3300 when the image is stored in the storage unit 3100, and is uniquely assigned to each image. In the example of FIG. 18, / abc / 00123. This indicates that the content ID, which is a number for uniquely identifying the xxx image, is 8.
  • the type 1805 represents the type of content, and will be described here as being “image” uniformly.
  • image indicates that the image as the file content is a still image.
  • the creation date / time attribute 1806 indicates the date and time at which the image was created by numerical values. This data is given to the image as indicating the time of image creation by a device (such as a digital camera) that created the image. The example of FIG. 18 indicates that the image was created at 15:01 on November 3, 2009.
  • the location attribute 1807 is a numerical value indicating the latitude and longitude of the created location. This data is given to the image as indicating the location of the image creation by a device (such as a digital camera) that created the image. The example in FIG. 18 indicates that the image is created at latitude x6 and longitude y6.
  • the face information attribute 1808 is given by analyzing the image by the user operation receiving means 3300.
  • the number of people shown in the image is two, and each person is assigned a face number of 1 or 2 and shows an image feature for face identification as an analysis result of the face recognition program.
  • Parameter values are represented by “parameter A”, “parameter B”, and the like.
  • the importance component 1809 of the creation date / time attribute, the importance component 1810 of the place attribute, and the importance component 1811 of the face information attribute are importance components of an image configured for each attribute given by the attribute information evaluation unit 3200.
  • the range is 0 to 1. Details will be described later.
  • the life event information is a set of date information representing the date and time of the event for the user. For example, if the user was a woman born on May 10, 1990, the birthday was May 10, the first visit to the palace was June 10, 1990, the first phrase was March 3, 1991, etc. Candidate.
  • the life event information as shown in FIG. 19 is stored in the storage unit 3100 by the user. Since the life event may be a date that the user considers as an event, date information other than that shown in FIG. 19 may be input.
  • the frequently-occurring place information is information relating to places where the user frequently goes.
  • Each location shown in the frequent location information is specifically represented by longitude and latitude information.
  • ⁇ 35, 135 ⁇ indicates a latitude of 35 degrees and a longitude of 135 degrees.
  • the frequent location information as shown in FIG. 20 is stored in the storage unit 3100 by the user.
  • location information other than having shown in FIG. 20 can also be input.
  • the frequent human information is information related to people that the user frequently appears with. For example, as shown in FIG. 21, the user himself / herself or the parents of the user.
  • the parameter values obtained by the same method as the analysis by the face recognition program used for obtaining the parameter values in the face information attribute 1808 shown in FIG. 18 are also used in FIG. 21, and “parameter A” and “parameter B” are used.
  • Etc. The frequent human information as shown in FIG. 21 is stored in the storage unit 3100 by the user.
  • the frequent human information may be a person other than that shown in FIG. 21 because it is sufficient if the user thinks that the user “photographs frequently”.
  • FIG. 22 is a flowchart showing display processing performed by the image display device 3000.
  • the user operation receiving means 3300 transfers the image from the external storage device to the storage unit 3100, and the attribute information evaluation unit 3200 performs the attribute information evaluation process on the newly input image (step S2202).
  • FIG. 23 is a flowchart showing the attribute information evaluation process performed by the attribute information evaluation unit 3200 in step S2202.
  • steps S2301 to S2303 are the importance component 1809 of the creation date attribute in the data of FIG. 18
  • steps S2304 to S2306 are the importance component 1810 of the location attribute
  • steps S2307 to S2308 are the facial information attributes. This is a process for obtaining the importance components 1811 respectively.
  • the attribute information evaluation unit 3200 refers to the life event information shown in FIG. 19 (step S2301).
  • the attribute information evaluation unit 3200 displays the closest date / time among the date / time indicated by the creation date / time attribute of the image subject to attribute information evaluation processing and the date / time registered as the life event information.
  • the difference value is calculated using the day as the unit (step S2302). However, for a life event with no year designation such as a birthday, the difference value is calculated as a life event of the same year as the date indicated by the creation date attribute.
  • the difference value is 177 days.
  • the attribute information evaluation unit 3200 normalizes the difference value calculated in step S2302 so that the difference value becomes 1 as the difference value increases and becomes 0 as the difference value decreases.
  • the component is obtained (step S2303).
  • the importance component of the creation date attribute is a value between 0 and less than 1.
  • the value becomes negative it is set to 0.
  • the attribute information evaluation unit 3200 refers to the frequent location information as shown in FIG. 20 (step S2304).
  • the attribute information evaluation unit 3200 refers to the frequent location information, and then compares the location attribute of the image that is the target of the attribute information evaluation process with the closest location information among the locations registered as frequent location information.
  • the distance is calculated in km (step S2305). For example, when an image having the attribute shown in FIG. 18 is used as an example, the frequent location information shown in FIG. 20 is registered. For example, the location attribute “latitude x6, longitude y6” and the distance between the homes are 30 km, If the distance is greater than 30 km, the distance is 30 km.
  • the attribute information evaluation unit 3200 normalizes the distance calculated in step S2305 so that the distance is 1 as the distance increases and 0 as the distance decreases.
  • the degree component is obtained (step S2306).
  • step S2307 and step S2308 will be described.
  • the attribute information evaluation unit 3200 After calculating the importance component of the place attribute, the attribute information evaluation unit 3200 refers to the frequent human information as shown in FIG. 21 and obtains the number of people who are not frequently photographed, that is, the number of people who are not frequently photographed (step). S2307). For example, when an image having the attribute shown in FIG. 18 is used as an example, the frequent human information shown in FIG. 21 is registered. The number of people who do not have two.
  • step S2201 when there is no image input by the user (“NO” in step S2201) and when the attribute information evaluation process shown in FIG. 23 (step S2202 in FIG. 22) is performed, an image display request from the user is issued. (Step S2203). If there is an image display request from the user (“YES” in step S2203), the arrangement determining unit 3400 performs an arrangement determining process (step S2204).
  • the arrangement determining unit 3400 arranges the displayed images in the order of the creation date attribute (step S2401). As a result, the images are arranged in order of date. Next, grouping is performed for each month, and the display order is determined (step S2402). Thereby, the images displayed for each month are classified, and the display order for each month is determined in the order of date. Finally, the arrangement of each image is determined (step S2403).
  • step S2403 The arrangement in step S2403 will be described.
  • the month is output on the left side of the screen so that the creation date is known.
  • images are arranged on the screen in the order of the created date and time. Accordingly, the arrangement is determined so that images indicating months having different creation date attributes are displayed in different rows, and images indicating the same month are displayed side by side in date order in the horizontal direction.
  • the arrangement is performed such that three vertically and four horizontally.
  • the image may be displayed by scrolling the screen by providing a scroll bar or the like.
  • step S2203 If there is no image display request from the user (“NO” in step S2203), the process returns to step S2201.
  • the display mode classification means 3500 After the arrangement determination process shown in FIG. 24 (step S2204 in FIG. 22), the display mode classification means 3500 performs a display mode classification process (step S2205).
  • the importance of each displayed image is calculated (step S2601).
  • the importance is obtained by multiplying the weighting factor of each attribute, which is a value between 0 and 1, and the importance component, and adding all the resulting values.
  • classification is made into three groups using importance values (step S2602).
  • the importance is from 0 to 1/3 of the sum of the weight values, from 1/3 of the sum of the weight values to 2/3 of the sum of the weight values
  • This group is a group from 2/3 of the sum of the weight values to the sum of the weight values.
  • the number of groups to be classified may be any number as long as it is three or more.
  • each image to be displayed is reduced to a certain size (for example, 60 ⁇ 60 pixels).
  • the reduced image is hereinafter referred to as a reduced image.
  • Each image in the column 2701 of the table was created using the pixels of the reduced image as they were. Therefore, it is a reduced image itself. “0%” in the top element of the column 2701 means that the ratio of information thinned out from the original reduced image is 0%.
  • Each image in the column 2702 of the table was created by thinning out 50% of information by using a pattern in which only 2 pixels out of every 2 ⁇ 2 pixels in the vertical and horizontal directions among the pixels of the reduced image were masked. “50%” in the top element of the column 2702 means that the ratio of the thinned information is 50%.
  • the display shade is determined by thinning out information from the reduced image.
  • the display mode is determined using each reduced image created so that the shades of FIG. 27 are different.
  • the group of weight values 2/3 to the weight value sum group displays each image in column 2701, and the weight value sum 1/3 to the weight value sum 2/3.
  • the group displays the respective images in the column 2702, and the group of 0 to 1/3 of the sum of the weight values displays the respective images in the column 2703.
  • the display control means 3600 performs screen display according to the display arrangement when using the creation date attribute and the shade of each image (step S2206), and displays a slide bar for inputting the weighting factor of each attribute (step S2207). ).
  • FIG. 25 shows an example of a screen displayed in this state.
  • a rectangle such as 800 in FIG. 25 represents an image. The greater the importance of the image, the darker the image is displayed, and the smaller the image, the lighter the image is displayed.
  • 800 in FIG. 25 is an image associated with the attribute shown in FIG. 18 and is displayed at a medium density because the importance of the creation date attribute is 0.52.
  • the slide bar displayed at the bottom of the screen is operated with the mouse, the weighting factor is 0 at the left end, the weighting factor is 1 at the right end, and continuously changes from 0 to 1.
  • step S2208 the selection of an image from the user is awaited (step S2208). If an image is selected by double clicking with the mouse (“YES” in step S2208), the selected image is displayed (step S2209), and the process ends. If no image is selected (“NO” in step S2208), input to the slide bar is awaited (step S2210). If there is no input to the slide bar (“NO” in step S2210), the process returns to step S2208. If there is an input to the slide bar (“YES” in step S2210), the process returns to step S2205 to display the screen again. A display example of the screen when there is an input to the slide bar is shown in FIG. A rectangle such as 900 in FIG. 28 represents an image as in FIG. 28 in FIG.
  • FIG. 29 is a configuration diagram of an image display device 4000 according to the fourth embodiment.
  • the image display device 4000 is obtained by changing the constituent elements so as to support searching for another similar image based on the image selected by the user from the image display device 3000 shown in the third embodiment.
  • the image display device 3000 shown in the third embodiment uses the attribute of the image selected by the user from the attribute information evaluation unit 3200 and the attribute of the displayed image to determine the importance for each attribute.
  • the attribute information evaluation unit 4200 has a function of calculating the degree component. Accordingly, the importance of an image similar to the image selected by the user is greatly evaluated, and the image is displayed darker than other images that are not similar, thereby assisting the user in searching for an image.
  • the image display device 4000 includes the same storage means 3100, display mode classification means 3500, and display control means 3600 as the image display apparatus shown in the third embodiment.
  • description of the same components as those of the image display device 3000 is omitted.
  • the attribute information evaluation unit 4200, the user operation reception unit 4300, and the arrangement determination unit 4400 each include a processor and a memory, and the functions described later are realized by the processor executing a control program stored in the memory.
  • the user operation accepting unit 4300 additionally has a USB (Universal Serial Bus) interface for accepting image input, a mouse for accepting an operation from the user, and the like.
  • USB Universal Serial Bus
  • the attribute information evaluation unit 4200 When the attribute information evaluation unit 4200 receives a notification from the user operation reception unit 4300 that the user has selected one image to search for another similar image, the attribute information evaluation unit 4200 Using the attribute of each image displayed on the display device 3700, an importance component is calculated for each attribute, and the value is stored in the storage unit 3100. A method for calculating the importance component for each attribute will be described later.
  • the user operation receiving means 4300 has four functions. First, when inputting an image from an external storage device connected to a USB interface or the like to the storage means 3100, the creation date attribute and the location attribute are set immediately after receiving the input of the face information attribute from the device that created the image. It has a function of acquiring attributes by performing analysis using a face recognition program, and storing these attributes in association with information such as “file path”, “content ID”, and “type”. In addition, when receiving an operation for displaying an image from a user, a function for instructing the arrangement determining unit 4400 to determine a display arrangement to be adopted among the display arrangements determined for each attribute. Have.
  • the display mode classification unit 3500 has a function of notifying the weighting factor for each attribute.
  • the attribute information evaluation unit 4200 stores the importance component for each attribute. It has a function to notify to perform calculation.
  • the layout determining unit 4400 has a function of receiving a notification from the user operation receiving unit 4300 to determine a layout for display and notifying the display control unit 3600 that a display layout in which images are arranged in order of creation date and time attributes is used.
  • the data in the storage unit 3100 in the image display device 4000 having the above-described configuration is the same as the data handled in the third embodiment.
  • FIG. 30 is a flowchart showing the operation of the image display device 4000.
  • the same reference numerals as those in the third embodiment are used for the processing steps that perform the same operations as those in the third embodiment, and detailed description thereof is omitted.
  • the user operation accepting unit 4300 accepts a display request from the user, and notifies the arrangement determining unit 4400 to determine the arrangement for display. After receiving the notification, the arrangement determining unit 4400 performs an arrangement determining process (step S3001).
  • the arrangement determining means 4400 arranges the displayed images in the order of creation date and time attributes (step S3101). As a result, the images are arranged in order of date. Next, the arrangement of each image is determined (step S3102).
  • step S3102 The arrangement in step S3102 will be described. As shown in FIG. 32, the arrangement is performed such that three vertically and four horizontally. On this arrangement, the images stored in the storage unit 3100 are arranged in the order of the creation date attribute. In FIG. 32, as an example, the arrangement is performed such that three vertically and four horizontally. In addition, when an image cannot be displayed in an arrangement in which three are arranged vertically and four are arranged horizontally, the image may be displayed by scrolling the screen by providing a scroll bar or the like.
  • the display mode classification unit 3500 performs display mode classification processing, thereby determining the shading when displaying each image using the importance component and the weighting factor for each attribute (step S2205).
  • Each image is displayed according to the arrangement for the creation date attribute determined in steps S3001 and S2205 and the display density of each image (step S3002), and is displayed when the user selects the image by single-clicking with the mouse.
  • a slide bar for inputting a frame line and a weighting factor for each attribute is displayed (step S3003).
  • An example of displaying a screen in this state is shown in FIG. In FIG. 32, reference numeral 1201 denotes a frame line.
  • step S2208 the selection of an image from the user is awaited. If an image is selected by double clicking the mouse (“YES” in step S2208), the selected image is displayed and the process ends (step S2209). ). If it is not selected (“NO” in step S2208), it waits for input to the slide bar (step S3004). When the user moves the slide bar (“YES” in step S3004), the process returns to step S2205. When there is no input to the slide bar (“NO” in step S3004), the selection of an image by single-clicking the mouse is awaited (step S3005). When the user selects an image by single-clicking the mouse (“YES” in step S3005), the attribute information evaluation unit 4200 performs an attribute information evaluation process (step S3006).
  • FIG. 33 is a flowchart showing the attribute information evaluation process performed by the attribute information evaluation unit 4200 in step S3006.
  • the attribute information evaluation unit 4200 is executed when the user selects an image by single-clicking the mouse.
  • steps S3301 to S3303 show the importance component 1809 of the creation date attribute in the data of FIG. 18, steps S3304 to S3306 show the place component importance component 1810, and steps S3307 to S3308 show the face information attribute. This is a process for obtaining the importance components 1811 respectively.
  • the attribute information evaluation unit 4200 refers to the creation date attribute of the image selected by the user (step S3301).
  • the attribute information evaluation unit 4200 calculates the difference between the creation date / time attribute of the displayed image and the creation date / time attribute of the image selected by the user in units of days (step S3302).
  • steps S3301 to S3303 which is a method for calculating the importance component of the creation date attribute.
  • the attribute information evaluation unit 4200 refers to the location attribute of the image selected by the user (step S3304).
  • the attribute information evaluation unit 4200 calculates the distance between the location attribute of the displayed image and the location attribute of the image selected by the user in km (step S3305).
  • steps S3304 to S3306, which is a method for calculating the importance component of the place attribute.
  • step S3307 and step S3308 will be described.
  • the attribute information evaluation unit 4200 After calculating the importance component of the place attribute, the attribute information evaluation unit 4200 refers to the face information attribute of the image selected by the user and the displayed image, and the displayed image is the same as the image selected by the user. If a person is shown, the number of persons is calculated (step S3307).
  • the attribute information evaluation unit 4200 After calculating the number of persons when the same person is shown, the attribute information evaluation unit 4200 performs normalization so that the larger the number of persons calculated in step S3307 is, the smaller the number is 0 (step S3308). If the number of persons in the image selected by the user is a, and the number of persons in the other displayed images is the same person as the person in the image selected by the user, b is b. ⁇ Calculate importance component as a.
  • steps S3307 and S3308, are methods for calculating the importance component of face information attributes.
  • step S3005 If the user does not select an image by single clicking with the mouse (“NO” in step S3005), the process returns to step S2208. After the attribute information evaluation process in step S1106 is completed, the process returns to step S2205 and the screen is displayed again.
  • FIG. 34 shows a display example of the screen when there is an input by a slide bar or a single click of the mouse. Images that are similar to the image surrounded by the frame selected by the user with a single mouse click are displayed darker.
  • an image (still image) is stored in the storage unit 1100, and a recommended image is searched using the attribute.
  • a moving image, audio, etc. May be stored in the storage means, and the recommended content may be searched using the attribute.
  • “moving image” or “sound” may be recorded in the “type” of the data structure shown in FIG.
  • a representative scene in the moving image may be a thumbnail image, or the size of the moving image is reduced and there is no sound. It may be played back with.
  • a moving image in which the user is interested is selected in step S303 in FIG. 3 and a recommended moving image is displayed in step S308, the moving image selected by the user is displayed on the left side as illustrated in FIGS.
  • a recommended video may be displayed on the right side.
  • the recommended video may be a thumbnail image of a representative scene, or may be played back without sound as a reduced video.
  • step S301 in FIG. 3 When voice is presented instead of an image, when there is a voice presentation request in step S301 in FIG. 3 and a plurality of voices are presented, some icons such as a photograph of the creator's face and a note mark are created as a voice creation date attribute and creation. You may display with attributes, such as a person name attribute. Further, when the user's interested voice is selected in step S303 in FIG. 3 and the recommended voice is presented in step S308, some icon indicating the voice selected by the user is displayed on the left as shown in FIG. 9 or FIG. In addition, some icons representing the recommended sound may be displayed on the right side as well as being played back.
  • images, moving images, voices, and the like may be mixed.
  • the number after grouping using keywords in the user preference specifying unit 1200, when counting the number of each group, the number may be weighted according to the format of image, video, audio, and the like.
  • a group having a large number of contents included in the group is set as a high user preference group.
  • a group having a large sum of the number of reproductions of contents included in the group is set as a high user preference group.
  • a group with a large total sum of playback times of content included in a group is set as a highly user-preferred group, or the sum of scores is obtained by multiplying the number of times of content playback and the total playback time by a weighting factor.
  • a group with a large value becomes a high user preference group, or a group with a large sum of values obtained by multiplying the score by the content coefficient by setting a content coefficient for each type of content (image, video, audio), etc. May be.
  • the number of reproductions and the reproduction time may be measured when the first output control unit 1400 outputs to the display device 1700. At this time, the number of times of reproduction may be incremented by one if a predetermined reference time has elapsed since the reproduction was performed, and the measurement of the reproduction time may be started from the time of reproduction. Further, the number of reproductions and the reproduction time may be stored in the storage unit 1100.
  • Embodiments 1 and 2 described above it is assumed that there is only one user, but it may be used by a plurality of users. In this case, history such as the number of times of content playback and playback time may be stored in the storage unit 1100 for each user.
  • a user name may be input to identify the user at the start of use.
  • a history such as the number of times of content playback and playback time can be recorded for each user, and recommended content can be proposed for each user.
  • the second output control unit 2600 obtains the user preference level by substituting the creation date / time attribute and location attribute of the image selected by the user into the user preference function. You may substitute. As a result, it is possible to obtain the degree of user preference when a related image that is considered to be preferred by the user is created. Further, the current date and time displayed on the display device 1700 may be substituted into the user preference function. As a result, the user preference level at the date and time when the display device 1700 is to be displayed can be obtained.
  • the attribute of the high user preference group is a sample according to a normal distribution, but a distribution other than the normal distribution may be used.
  • the frequency distribution using the number of images, the number of times of reproduction, the reproduction time, and the like, or a numerical value created by combining them may be used as the user preference function.
  • weighting was not performed when the number of belonging images for each high user preference group was counted in the user preference specifying unit 1200, but considering that user preferences change over time,
  • the number of images may be counted by applying a larger weighting factor to images created at a date and time closer to the present than images created in the past.
  • the keyword attribute stored in the storage unit 1100 is one keyword per image, but a plurality of keywords may be included per image.
  • the grouping by the user preference specifying unit 1200 may be performed for each of a plurality of keywords.
  • the user preference specifying unit 1200 has the keyword attributes “sweet” and “travel” as shown in FIG. However, if there is a difference in the number of images, for example, if there are 6 “candy” and 3 “travel”, the relationship included in 6 “candy” The image may be displayed with emphasis, for example, in a display order earlier than the related image included in the “travel”.
  • the user preference specifying unit 1200 has a predetermined reference number in advance, but after performing grouping using keywords, the one having the largest number of images belonging to the group May be set as a high user preference group, or a plurality of upper groups may be set as a high user preference group.
  • the user preference specifying unit 1200 uses “keyword” as a predetermined attribute as an example, but any attribute may be used. Information about which attribute is to be a predetermined attribute may be incorporated in the image display device, or by presenting an attribute list screen to the user before step S701 in FIG. It may be selected.
  • the predetermined attributes are, for example, “creation date”, “creator name”, and “location”. However, any number of attributes may be used.
  • Information about which attribute is to be a predetermined attribute may be incorporated in the image display device, or may be displayed by the user by presenting an attribute list screen to the user before step S401 in FIG. It may be selected.
  • the same attributes are grouped into the same group, but when the attribute is expressed as text (character information), the storage unit The same group may be used as long as the attributes are similar even if they are not the same using a synonym dictionary stored in 1100. Further, when attributes are expressed as numerical values such as date and time, latitude / longitude, the same group may be used as long as the difference value between attributes is within a certain range. Also, in the related content specifying unit 1500, when the attribute is expressed as text, the related image can be used as long as the attributes are similar even if they are not the same using the synonym dictionary or the like stored in the storage unit 1100. It may be.
  • the list as shown in FIG. 5 is used for explanation, but the user preference specifying unit 1200 only needs to be able to refer to the attributes of all the contents in order to group the images according to predetermined attributes. Instead of creating a list such as 5, images stored in the storage unit 1100 may be searched one by one to refer to attributes.
  • the predetermined reference number in step S702 of FIG. 7 by the user preference specifying unit 1200 is a value preset in the image display device or a value set by the user, and the method of determining the value is not limited.
  • a screen for allowing the user to determine the number may be displayed and selected before step S701 in FIG.
  • the reference value for the related content specifying unit 1500 to specify the related image performed in step S403 or step S405 in FIG. 4 may be designed in advance in the image display device, or may be set by the user. When the user sets, a screen to be set by the user may be displayed and selected before step S401 in FIG.
  • the second output control unit 1500 As shown in FIG. 9, an area for displaying the related image is provided for each attribute.
  • the content ID high-user-preferred image, which is a related image without doing so.
  • the two or ten icons may be displayed as shown in FIG. 15 without distinguishing which attribute the related attribute is.
  • an area for displaying an image that is a related image and a high user preference image is provided for each attribute as shown in FIG. 14, but which attribute is shown in FIG. May be displayed without distinction.
  • the user preference level of the “creation date” attribute may be different from the user preference level of the “location” attribute.
  • the maximum user preference level Shall be used.
  • grouping is performed according to a predetermined attribute.
  • two or more attributes among a plurality of attributes of the content are used, and the content is grouped for each attribute.
  • a group having a high user preference may be identified from among all the divided groups. For example, a case where not only the “keyword” attribute but also the “creator name” attribute is considered in the user preference specifying process will be described.
  • FIG. 5 using an image with a content ID of up to 10, when grouping is performed by the creator name attribute, the group “A mountain A child” has IDs of 1, 3, 5, 6 Images belong.
  • “-” Indicates that the attribute does not exist. In this case, it is excluded from the target of the user preference specifying process on the assumption that there is no creator name attribute.
  • the image has been described as being stored in the storage unit 1100, but may be stored in an external storage unit.
  • at least “file path” pointing to the address of the image in the external storage means) that is the element 203 in the table in the data structure of FIG. 2 needs to be stored in the internal storage means 1100. .
  • an image (still image) is stored in the storage unit 3100, and an image is searched using the attribute.
  • a moving image, audio, or the like is used instead of the image (still image).
  • the content may be stored in the storage device, and the content may be searched using the attribute.
  • “moving image” or “sound” may be recorded instead of “image” in the “type” of the data shown in FIG.
  • a representative scene in the moving image may be a thumbnail image, or there is no sound by reducing the size of the moving image. It may be played back with.
  • voice when there is a voice presentation request in step S2208 of FIG. 22 and a plurality of voices are presented, some icons such as a photograph of the creator's face and musical note marks may be displayed together with the voice creation date / time attribute.
  • images, moving images, voices, and the like may be mixed.
  • the shade of the image is expressed by thinning out the information of the image, but may be expressed by other methods.
  • ⁇ blending may be performed with the background image as a white monochrome image.
  • the ⁇ blend is a pixel value Value of a new image generated as a result of the ⁇ blend, where the pixel value of the original image is Value 0, the pixel value of the background image is Value 1, and the coefficient is ⁇ ( ⁇ is a value from 0 to 1).
  • the coefficient ⁇ By setting the coefficient ⁇ to 1, the color of the background image gradually becomes.
  • the background image is a single white color, the entire image gradually becomes white.
  • the shade of the image may be expressed by changing the value of ⁇ .
  • the background image for performing the ⁇ blend may be a gray single color image, or the ⁇ blend may be performed using the background image for displaying the result by the image display device.
  • the entire image may be made gray by gradually setting the RGB values for each pixel of the image to intermediate values. Further, the entire image may be gradually changed into a mosaic shape.
  • the slide bar is displayed and the user is allowed to input the weighting factor for each attribute.
  • the user may select a value using a pull-down menu.
  • An area to be directly input may be provided to allow the user to input a weighting factor.
  • the slide bar need not be displayed.
  • the weight coefficient may be a value set in advance by the user or a value given by the designer of the image display apparatus.
  • the arrangement in the case where the creation date / time attribute is used as the display arrangement in the arrangement determination means 3400 and in the fourth embodiment, the arrangement in the case where another arrangement date / time attribute is used in the arrangement determination means 4400.
  • a display arrangement in the case of other attributes such as a location attribute and a display arrangement in the case of a face information attribute may be adopted.
  • an image may be arranged at a position represented by the place attribute on the map as shown in FIG.
  • the display mode in the display mode classification unit 3500 is such that the image size is the same and the importance is expressed by the shading of the image, and the attribute evaluation method in the attribute information evaluation unit Are calculated in the same manner as in the third embodiment, and the weighting factor is 1 for the location attribute and 0 for the other attributes. Therefore, the image is displayed so dark that it is not always a place to go.
  • the display mode in the display mode classification unit 3500 has the same image size and the importance is expressed by the shading of the image, and the attribute information evaluation unit uses the attribute information evaluation unit.
  • the weighting coefficient is set to 1 for the face information attribute and 0 for the other attributes. Therefore, an image that is captured by a small number of people who are not frequently captured is displayed darker.
  • the display mode is set so that the size of the image is the same, for example, 60 ⁇ 60 pixels vertically and horizontally, and the importance is expressed by the shade of the image.
  • the importance may be set to be expressed by the size of the image.
  • it is displayed as shown in FIG.
  • the attribute information is evaluated by the attribute information evaluation unit
  • the display arrangement is the display arrangement in the case of the location attribute
  • the weighting factor is 1, and the other Is set to 0. Therefore, the image is displayed larger as it is not always a place to go.
  • the size of each reduced image is the same, the size is not limited to 60 ⁇ 60 pixels. If the input image is smaller than the size, the image is enlarged rather than reduced.
  • the image size and the image density may be the same, and the importance may be represented by the thickness of the frame surrounding the image.
  • the display is as shown in FIG.
  • the attribute information is evaluated by the attribute information evaluation unit in the same manner as in the third embodiment
  • the layout for display adopts the layout for the creation date attribute in the fourth embodiment
  • the weighting coefficient is the creation date attribute. 1 and other attributes are set to 0. Therefore, the frame line is displayed thicker as the image is closer to the life event.
  • the image size and the image density may be the same, and the degree of importance may be expressed by the number of marks attached to the image.
  • the display is as shown in FIG.
  • the attribute information is evaluated by the attribute information evaluation unit
  • the arrangement for display adopts the arrangement for the creation date attribute in the fourth embodiment
  • the weighting coefficient is the creation date attribute. 1 and other attributes are set to 0.
  • the degree of importance of the image there are no stars and one, two, three stars are expressed. Therefore, the number of stars that are marks increases as the image is closer to the life event.
  • the size and contrast of the image may be the same as the display mode, and the image may be arranged according to the importance value on the axis perpendicular to the reference plane.
  • the front is large and the back is small and blurry.
  • the importance of an image may be expressed by arranging the image so that the smaller the importance of the image falls, and the larger the image stands.
  • the attribute information evaluation unit 3200 calculates the importance for each attribute by using the life event information, frequent location information, and frequent human information input by the user.
  • the calculation of the importance for each attribute may be performed without using information input by the user.
  • the creation date attribute if the number of images that are usually taken is about 5 but there is a day when 50 shots are taken, the importance is assumed to be a unique day that is not a normal day. Also good.
  • location attributes if the location is taken from a location far away from the location where you usually shoot from the information of latitude and longitude, the location is more important as it is a unique location that is not a normal location. May be.
  • face information attributes the importance may be increased as the number of persons in the captured image is smaller and the more specific the person is.
  • step S2307 to step S2308 need not be calculated in the order shown in FIG. 23, and may be performed by changing the order. For example, the processing may be executed in the order of (ii), (i), and (iii).
  • the attribute information evaluation process is shown in FIG. 33, but (iv) the process from step S1301 to step S1303, (v) the process from step S1304 to step S1306, and (vi) step S1307. From the processing in step S1308, it is not necessary to calculate in the order shown in FIG. 33, and calculation may be performed by changing the order. For example, the processing may be executed in the order of (vi), (v), and (iv).
  • the importance component configured for each attribute is calculated.
  • the calculation method of the importance component and the normalization method may be other than those described.
  • the value may be changed by the user after calculating the importance component for each attribute.
  • the range and size of the value of the weighting factor may be freely determined.
  • the attribute information evaluation unit 3200 is more important as the number of people captured from the face information attribute of the image is smaller. However, the number of people in the image is larger. It may be determined that the group photo at the time is important. In this case, it may be selected whether the photograph is a crowd photograph or a group photograph according to the size of the face in the image.
  • the display mode classification unit 3500 uses the sum of the weight values to determine the importance from 0 to 1/3 of the weight value sum, 1/3 of the weight value sum to 2/2 of the weight value sum. 3. The grouping was performed from 2/3 of the sum of the weight values to the sum of the weight values, but using the maximum importance value, the importance value is from 0 to 1/3 of the maximum value, and the maximum value. Grouping may be performed from 1/3 to 2/3 of the maximum value and from 2/3 of the maximum value to the maximum value. The importance range for each group need not be equally spaced, and may be determined freely. Moreover, a frequency distribution of importance may be created, and display modes may be grouped from the distribution.
  • the age of the person shown in the image may be calculated using the face information of the image, and the importance may be increased as the image shows the person of the same age. For example, if an image showing an infant is selected, the importance of an image including not only the infant shown in the selected image but also other infants may be increased.
  • the user operation receiving means 3300 and 4300 have a mouse or the like for receiving an operation from the user, but may have a general pointing device or the like and a keyboard or the like.
  • the single click with the mouse may be performed by coordinate designation by the pointing device, and the double click may be performed by simultaneous input of the coordinate designation and the Enter key of the keyboard.
  • the image display devices according to the first to fourth embodiments described above are typically realized as an LSI which is a semiconductor integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • the name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, and implementation with a dedicated circuit or a general-purpose processor is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • An image output device can be used as information drawing means in a mobile phone, a television, a digital video recorder, a digital video camera, a car navigation system, or the like.
  • a display a cathode ray tube (CRT), a liquid crystal, a PDP (plasma display panel), a flat display such as an organic EL, a projection display represented by a projector, or the like can be combined.
  • a control program composed of a program code for causing a processor and various circuits connected to the processor to execute the program is recorded on a recording medium, or various communication paths, etc. It can also be distributed and distributed via Such recording media include IC cards, hard disks, optical disks, flexible disks, ROMs, and the like.
  • the distributed and distributed control program is used by being stored in a memory or the like that can be read by the processor, and the processor executes the control program to realize various functions as shown in each embodiment. Will come to be.
  • a control device includes a storage unit that stores a plurality of contents in association with attributes of the content, and one content among the contents stored in the storage unit.
  • First output control means for outputting, and related content for specifying content having an attribute having a predetermined relationship with the attribute of the content output by the first output control means, from a plurality of contents stored in the storage means
  • Classifying means and a plurality of contents stored in the storage means are classified into a plurality of groups based on attributes, and an amount relating to the contents belonging to each classified group is calculated, and the amount is a predetermined reference
  • User preference specifying means for specifying content included in a group exceeding the amount, and related content specified by the related content specifying means.
  • a second output control means for outputting a content to a set of tools to belong to both the set of identified content in the user preference specifying means.
  • this content output device has content that is related to the user's preference and has an attribute related to the attribute of the content being presented, from a plurality of content stored in the storage means by the user with respect to the content presented to the user. Can be presented to the user.
  • the storage means may store information relating to the content as an attribute of the content, and the user preference specifying means may be classified into a plurality of groups based on the information relating to the content.
  • the content is an image
  • the first output control unit performs the output by display
  • the second output control unit performs the output by display
  • the storage unit includes a plurality of storage units for each content.
  • the attribute of the content includes a character string representing the content of the content
  • the user preference specifying unit represents a plurality of contents stored in the storage unit as characters representing the content of the content. It is good also as classifying based on a column.
  • images can be handled and displayed as content, and content belonging to a large number of groups along with the content can be specified when specifying user preferences.
  • the user preference specifying means may calculate the total number of contents belonging to each group as an amount related to the contents belonging to each group.
  • the storage unit stores information relating to content creation as the content attribute, and the related content specifying unit includes information relating to creation of the content without using a character string representing the content. It is good also as specifying related content based on.
  • information at the time of content creation can be obtained as content attributes.
  • the attribute of information at the time of content creation without using the keyword that is the attribute used by the user preference specifying means The related content can be specified using.
  • the information related to the creation indicates a place where the content is created, and the related content specifying unit is created at a location within a predetermined distance from the location of the content output by the first output control unit.
  • the content may be specified from the content stored in the storage means.
  • the location where the content is created can be included as an attribute, and the content created in a location within a predetermined distance from the location of the content output by the first output control means in the related content specifying means is related content. It can be.
  • (G) comprising user operation accepting means for accepting a user operation, wherein one content output by the first output control means is determined based on a user operation accepted by the user operation accepting means, and the storage means , Storing information indicating the creation date and time of the content as the attribute of the content, and the second output control means of the one content to be output based on the distribution of the creation date and time of the content specified by the user preference specifying means It is also possible to calculate the preference level at the creation date and output according to the preference level.
  • the content output by the first output control means can be determined by the user's operation, the date and time when the content was created can be included as the content attribute, and the user preference specifying means when calculating the user preference level
  • the user preference function can be determined based on the creation date and time of the content specified in, the user preference level is calculated by the creation date and time of the content output by the first output control means determined based on the user operation, Output can be performed according to the degree of preference.
  • the attribute of the content includes information indicating the creation date and time of the content
  • the second output control unit is based on the distribution of the creation date and time of the content specified by the user preference specifying unit and the time when the content is output. Then, the second output control means may calculate the preference level at the time when the content is output, and output according to the preference level.
  • the date and time when the content was created can be included as an attribute of the content
  • the user preference function can be determined based on the creation date and time of the content specified by the user preference specifying means when calculating the user preference level.
  • the user preference function can be determined based on the creation date and time of the content specified by the user preference specifying unit when calculating the user preference level, and the user preference level at the date and time when the second output control unit outputs the content. It is possible to calculate and output according to the degree of preference.
  • the attribute of the content includes a character string representing the content of the content
  • the storage unit stores a table in which character strings having meanings related to each other are stored
  • the related content specifying unit includes Based on the content stored in the storage unit, the content associated with the character string representing the content of the content output by the first output control unit may be specified.
  • a keyword can be used as an attribute of the content, and the related content specifying unit can specify the related content using a table in which keywords having meanings are related.
  • (J) comprising user operation accepting means for accepting a user operation, wherein the first output control means measures the number of times content is output based on the user operation accepted by the user operation accepting means,
  • the storage means stores information indicating the number of outputs measured for each content sequentially output by the first output control means as the content attribute, and the content belonging to each group in the previous period in the user preference specifying means The amount is the number of output times of the contents belonging to each group, and the calculation may be performed by summing up the number of output times of all contents belonging to each group.
  • the number of output times of the content can be measured in accordance with the user's operation by the first output control unit, the number of output times measured for each content output to the storage unit can be stored, and the user's preference When specifying the content, it is possible to specify the content that belongs to the group that follows the content and has a large number of user outputs.
  • the storage means stores information indicating a place where the content is created as an attribute of the content, and the user preference specifying means uses a plurality of contents stored in the storage means as predetermined points and the content It is good also as classifying based on the distance with the place which created.
  • a content output apparatus includes a storage unit that stores a plurality of contents in association with attributes of the content, and a plurality of displays stored in the storage unit.
  • An arrangement determining means for determining an arrangement for display according to a predetermined standard for each content to be displayed, and calculating the importance of each content based on the attribute of each content to be displayed, and each content based on the importance
  • Display mode classification means for determining the display mode, and display control means for displaying the plurality of contents to be displayed in the determined display mode of each content according to the arrangement for display.
  • this content output apparatus uses a display arrangement determined by the importance based on the arrangement of a plurality of contents from the contents stored in the storage device by the user for the user and the attribute of the contents. Can be displayed on the display.
  • the content attribute includes the time when the content is created, the storage means stores the time of the event for the user, and the display mode classification means is the time when the content is created and for the user.
  • the calculation of the importance may be performed so that the smaller the difference value from the time of the event, the more important.
  • the content may be an image, and the display mode classification unit may thin out pixels of each content according to the importance of each content.
  • the storage means stores a plurality of attributes for each content, and the display mode classification means calculates an importance component constituting the importance for each attribute, and the importance for each of the plurality of attributes It is good also as performing the said calculation of the said importance by applying a weight to a component and taking the sum total.
  • the content can have a plurality of attributes
  • the importance component that constitutes the importance for determining the display mode for each attribute can be calculated, the importance component is weighted, and the sum is calculated. By taking it, the importance can be calculated.
  • the predetermined criterion followed by the arrangement determining means may be that the contents to be displayed are arranged in the order in which they were created as attributes of the contents.
  • the content may be an image, and the display control unit may display the content by changing the display size of the content to be displayed according to the importance.
  • the attribute of the content includes a location where the content is created, the storage means stores a predetermined location, and the display mode classification means is a difference between the location where the content is created and the predetermined location. It is good also as performing the said calculation of the said importance so that it is so important that a value is large.
  • the location created as the content attribute can be used, and the importance of the content can be increased as the difference value of the distance from the predetermined location determined by the user is larger.
  • (I) further comprising face information generating means for generating face information for each person appearing in the content based on the content and storing it in the storage means as one of the attributes of the content, wherein the content is an image
  • the display mode classification means may perform the calculation of the importance based on the number of people who do not match the predetermined person.
  • the content output device further includes user operation accepting means, the user operation accepting means accepts selection of one content from the displayed contents, and the display mode classification means The calculation of the importance may be performed so that the content having an attribute similar to the content attribute is more important.
  • the display control means Before accepting a user operation, the display control means may display all the display modes of the contents to be displayed as the same.
  • the content output device of the present invention can be used for various purposes.
  • menu display web browser, editor, battery-powered portable display terminal such as mobile phone, portable music player, digital camera, digital video camera, etc.
  • high-resolution information display equipment such as TV, digital video recorder, car navigation
  • the utility value is high as information display means in EPG, map display, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

 ユーザに提示するためにコンテンツを出力するコンテンツ出力装置は、コンテンツとその属性とを対応づけて複数記憶している記憶手段と、それらの中から所定のコンテンツを画面に出力する第一出力制御手段と、出力されているコンテンツの属性と関連する属性を持つ関連コンテンツの集合を、前記記憶手段に記憶されている複数のコンテンツから特定する関連コンテンツ特定手段と、前記記憶手段に記憶されている複数のコンテンツからユーザの嗜好に合致するコンテンツを特定するユーザ嗜好特定手段と、関連コンテンツ特定手段により特定されたコンテンツとユーザ嗜好特定手段により特定されたコンテンツ双方に共通するコンテンツを画面に出力する第二出力制御手段とを備え、ユーザが欲していると推定される画像を出力する。

Description

コンテンツ出力装置、コンテンツ出力方法、プログラム、プログラム記録媒体及びコンテンツ出力集積回路
 本発明は、映像、動画、音声等のコンテンツを出力するシステムに関し、特にコンテンツを検索して出力する技術に関する。
 デジタルカメラ、デジタルビデオカメラ、HDD(Hard Disk Drive)レコーダ等の普及に伴い、個人が所有するコンテンツの量が増大している。このような多量のコンテンツの中からユーザが利用を望むコンテンツを提供するため、コンテンツの検索技術が知られている。コンテンツの検索技術のうち、コンテンツに対してコンテンツの作成日時、作成場所、作成者名、コンテンツの内容を表す文字列等を含むコンテンツの属性であるメタデータを付与し、そのメタデータを用いて検索を行う手法が存在する(特許文献1参照)。
特開2003-67397号公報
 上述の技術を用いると、ユーザが表示装置を用いてコンテンツを表示している際にそのコンテンツのメタデータを用いて検索を行い、関連するコンテンツをさらに表示することができる。
 しかしながら、上述の従来技術では、表示しているコンテンツに関連するコンテンツを表示すると、ユーザが興味を持たないコンテンツまで表示してしまう。ユーザが興味を持たないコンテンツまで表示するため、この中から興味を持つものを探し出すのが容易ではないことから、ユーザにとってあまり好ましくない。
 本発明は係る問題に鑑みてなされたものであり、ユーザに対してなるべくそのユーザが興味を持つ可能性が高い関連コンテンツの表示を行うコンテンツ出力装置を提供することを目的とする。
 上記課題を解決するために本発明に係るコンテンツ出力装置は、コンテンツと当該コンテンツの属性とを対応させて複数記憶している記憶手段と、前記記憶手段に記憶されている複数のコンテンツのうち、所定のコンテンツを画面に出力する第一出力制御手段と、前記出力されているコンテンツの属性と関連する属性を持つ関連コンテンツの集合を、前記記憶手段に記憶されている複数のコンテンツから特定する関連コンテンツ特定手段と、前記記憶手段に記憶されている複数のコンテンツを前記複数のコンテンツのそれぞれの属性に基づいて複数のグループに分類し、前記分類された各グループに属しているコンテンツの総数を計算し、前記計算されたコンテンツの総数が所定値を超えたグループに含まれるコンテンツを、高嗜好コンテンツの集合として特定するユーザ嗜好特定手段と、前記コンテンツの集合と前記高嗜好コンテンツの集合との双方に属しているコンテンツを画面に出力する第二出力制御手段と、を備えることを特徴とする。
 また、本発明に係るコンテンツ出力方法は、ユーザに提示するためにコンテンツを出力するコンテンツ出力方法であって、コンテンツと当該コンテンツの属性とを対応させて複数記憶している記憶手段に記憶されている複数のコンテンツのうち、所定のコンテンツを画面に出力する第一出力制御ステップと、前記出力されているコンテンツの属性と関連する属性を持つ関連コンテンツの集合を、前記記憶手段に記憶されている複数のコンテンツから特定する関連コンテンツ特定ステップと、前記記憶手段に記憶されている複数のコンテンツを前記複数のコンテンツのそれぞれの属性に基づいて複数のグループに分類し、前記分類された各グループに属しているコンテンツの総数を計算し、前記計算されたコンテンツの総数が所定値を超えたグループに含まれるコンテンツを、高嗜好コンテンツの集合として特定するユーザ嗜好特定ステップと、前記コンテンツの集合と前記高嗜好コンテンツの集合との双方に属しているコンテンツを画面に出力する第二出力制御ステップと、を含むことを特徴とする。
 また、本発明に係るプログラムは、ユーザに提示するコンテンツを出力するための処理手順をコンピュータ上で実行するようにコンピュータ可読形式で記述されたプログラムであって、前記処理手順は、コンテンツと当該コンテンツの属性とを対応させて複数記憶している記憶手段に記憶されている複数のコンテンツのうち、所定のコンテンツを画面に出力する第一出力制御ステップと、前記出力されているコンテンツの属性と関連する属性を持つ関連コンテンツの集合を、前記記憶手段に記憶されている複数のコンテンツから特定する関連コンテンツ特定ステップと、前記記憶手段に記憶されている複数のコンテンツを前記複数のコンテンツのそれぞれの属性に基づいて複数のグループに分類し、前記分類された各グループに属しているコンテンツの総数を計算し、前記計算されたコンテンツの総数が所定値を超えたグループに含まれるコンテンツを、高嗜好コンテンツの集合として特定するユーザ嗜好特定ステップと、前記コンテンツの集合と前記高嗜好コンテンツの集合との双方に属しているコンテンツを画面に出力する第二出力制御ステップと、を含むことを特徴とする。
 また、本発明に係るプログラム記録媒体は、ユーザに提示するコンテンツを出力するための処理手順をコンピュータ上で実行するようにコンピュータ可読形式で記述されたプログラムを記録したプログラム記録媒体であって、前記処理手順は、コンテンツと当該コンテンツの属性とを対応させて複数記憶している記憶手段に記憶されている複数のコンテンツのうち、所定のコンテンツを画面に出力する第一出力制御ステップと、前記出力されているコンテンツの属性と関連する属性を持つ関連コンテンツの集合を、前記記憶手段に記憶されている複数のコンテンツから特定する関連コンテンツ特定ステップと、前記記憶手段に記憶されている複数のコンテンツを前記複数のコンテンツのそれぞれの属性に基づいて複数のグループに分類し、前記分類された各グループに属しているコンテンツの総数を計算し、前記計算されたコンテンツの総数が所定値を超えたグループに含まれるコンテンツを、高嗜好コンテンツの集合として特定するユーザ嗜好特定ステップと、前記コンテンツの集合と前記高嗜好コンテンツの集合との双方に属しているコンテンツを画面に出力する第二出力制御ステップと、を含むことを特徴とする。
 また、本発明に係るコンテンツ出力集積回路は、ユーザに提示するコンテンツを出力するコンテンツ出力集積回路であって、コンテンツと当該コンテンツの属性とを対応させて複数記憶している記憶手段に記憶されている複数のコンテンツのうち、所定のコンテンツを画面に出力する第一出力制御手段と、前記出力されているコンテンツの属性と関連する属性を持つ関連コンテンツの集合を、前記記憶手段に記憶されている複数のコンテンツから特定する関連コンテンツ特定手段と、前記記憶手段に記憶されている複数のコンテンツを前記複数のコンテンツのそれぞれの属性に基づいて複数のグループに分類し、前記分類された各グループに属しているコンテンツの総数を計算し、前記計算されたコンテンツの総数が所定値を超えたグループに含まれるコンテンツを、高嗜好コンテンツの集合として特定するユーザ嗜好特定手段と、前記コンテンツの集合と前記高嗜好コンテンツの集合との双方に属しているコンテンツを画面に出力する第二出力制御手段と、備えることを特徴とする。
 本発明に係るコンテンツ出力装置は、上述の構成を備えることにより、ユーザが興味を持つ可能性が高い関連コンテンツの表示を行うことができる。
 また、前記コンテンツ出力装置は、ユーザ嗜好関数生成手段を備え、前記ユーザ嗜好関数生成手段は、前記高嗜好コンテンツの集合に属するコンテンツに対するユーザの嗜好度を算出するためのユーザ嗜好関数を生成し、前記第二出力制御手段は、前記生成されたユーザ嗜好関数を用いて、前記高嗜好コンテンツの集合に属する各コンテンツのユーザ嗜好度を計算し、前記関連コンテンツの集合と前記高嗜好コンテンツの集合との双方に属しているコンテンツを、前記コンテンツのユーザ嗜好度の高さに応じて目立つように加工して、画面に出力することとしてもよい。
 これにより、各関連コンテンツに対するユーザの嗜好度に応じて、表示される関連コンテンツの表示態様を変化させる(例えば、ユーザ嗜好度が高ければ目立つように加工し、ユーザ嗜好度が低ければ目立たないように加工させる)ことができるので、ユーザはより一層、自分が興味を持つ可能性が高い関連コンテンツに注目することができる。
 また、前記ユーザ嗜好関数生成手段は、前記高嗜好コンテンツの集合が共通して保有する属性が数値で表現できる場合に、前記属性を横軸にして、前記高嗜好コンテンツの集合に属する各コンテンツの属性値をプロットし、前記プロットした各属性値が正規分布に従う標本であるとして確率密度関数を算出して、ユーザ嗜好関数を生成することとしてもよい。
 このようにして作成したユーザ嗜好関数を用いることにより、高嗜好コンテンツに対する任意の属性値(例えば、任意の時刻や任意の場所)におけるユーザの嗜好度を計算することができる。
実施形態1に係る画像表示装置1000の構成図である。 記憶手段1100に記憶されているデータの構造である。 画像表示装置1000の行う処理を示すフローチャートである。 関連コンテンツ特定手段1500の行う処理を示すフローチャートである。 記憶手段1100に記憶されている全ての画像に対応付けられている属性を列挙した例を示す図である。 関連コンテンツ特定手段1500によって関連する画像を特定した結果の例を示す図である。 ユーザ嗜好特定手段1200の行う処理を示すフローチャートである。 ユーザ嗜好特定手段1200によって画像をグループ分けした結果の例を示す図である。 画像表示装置1000による出力結果の例を示す図である。 実施形態2に係る画像表示装置2000の構成図である。 画像表示装置2000の行う処理を示すフローチャートである。 画像表示装置2000の「作成日時」属性における第二出力制御手段2600が行うユーザ嗜好度計算の概念を示す図である。 画像表示装置2000の「場所」属性における第二出力制御手段2600が行うユーザ嗜好度計算の概念を示す図である。 画像表示装置2000による出力結果の例を示す図である。 画像表示装置1000による他の出力結果の例を示す図である。 画像表示装置2000による他の出力結果の例を示す図である。 実施形態3に係る画像表示装置3000の構成図である。 画像ごとの付属データ1800のデータ構造及び内容例を示す図である。 記憶手段3100に記憶されるライフイベント情報の内容例を示す図である。 記憶手段3100に記憶される頻出場所情報の内容例を示す図である。 記憶手段3100に記憶される頻出人間情報の構成及び内容例を示す図である。 画像表示装置3000の動作を示すフローチャートである。 属性情報評価手段3200の行う属性情報評価処理を示すフローチャートである。 配置決定手段3400の行う配置決定処理を示すフローチャートである。 画像表示装置3000による出力結果を例示する図である。 表示態様分類手段3500の行う表示態様分類処理を示すフローチャートである。 表示態様分類手段3500の行う濃淡処理の説明図である。 画像表示装置3000による他の出力結果を例示する図である。 実施形態4に係る画像表示装置4000の構成図である。 画像表示装置4000の動作を示すフローチャートである。 配置決定手段4400の行う配置決定処理を示すフローチャートである。 画像表示装置4000による出力結果を例示する図である。 属性情報評価手段4200の行う属性情報評価処理を示すフローチャートである。 画像表示装置4000による他の出力結果を例示する図である。 画像表示装置の出力結果を例示する図である。 画像表示装置の出力結果を例示する図である。 画像表示装置の出力結果を例示する図である。 画像表示装置の出力結果を例示する図である。 画像表示装置の出力結果を例示する図である。
<実施形態1>
 以下、コンテンツ出力装置の一実施形態である画像表示装置1000について説明する。
 <概要>
 実施形態1の画像表示装置1000は、画像が複数記憶されている記憶手段を含み、ユーザ操作に基づいて画像を表示し、その表示している画像と関連し且つユーザの嗜好に合った画像を記憶手段に記憶された複数の画像の中から探索し、ユーザに表示する。
 画像には予め作成日時、場所、作成者名、画像の内容を表す文字列(以下キーワードと呼ぶ)等が属性として対応付けられて記憶手段に記憶されている。画像表示装置は、ユーザ操作に基づいて表示している画像と関連する画像の探索を、その表示している画像の属性と関連する属性を有する画像の抽出により行う。
 また、記憶手段に記憶されている画像の中からのユーザの嗜好に合った画像の探索を、画像を属性によってグループ分けし、グループごとに画像の個数を数えその個数が基準値よりも多いグループに属している画像を抽出することにより行う。所有している個数が多い画像がユーザにとって重要であろうと一般的に推測できるため、これによりユーザの嗜好に合うと考えられる画像を抽出することが期待できる。
 上記の関連する画像の集合と、ユーザの嗜好に合うだろうと推定される画像の集合の両方に属している画像を表示装置に表示する。
 例えば、嗜好に適合する画像を特定する処理に用いる属性として、内容を表すキーワード属性を用いた場合を考える。キーワードが旅行の画像を多量に有していた場合、関連画像の中からキーワード属性が旅行の画像を表示することになる。この場合、ユーザにとって旅行が重要であると期待できるため、ユーザにとって興味を持つ可能性が高い画像が表示されたことになる。
 <構成>
 以下、画像表示装置1000の構成について説明する。
 図1に示した構成図を用いて画像表示装置1000を説明する。
 同図に示すように、画像表示装置1000は、記憶手段1100とユーザ嗜好特定手段1200とユーザ操作受付手段1300と第一出力制御手段1400と関連コンテンツ特定手段1500と第二出力制御手段1600とを備える。また、外部出力用の装置として画像表示装置1000には、画像を描画するためのディスプレイ等である表示装置1700が接続されている。
 記憶手段1100は、HDD(Hard Disk Drive)、メモリ等から構成され、画像1101と当該画像の属性1102とを対応付けて複数記憶するためのものであり、例えばユーザが撮影した画像データをデジタルカメラから取得し、属性と対応付けて保存するためのものである。
 ユーザ嗜好特定手段1200とユーザ操作受付手段1300と第一出力制御手段1400と関連コンテンツ特定手段1500と第二出力制御手段1600とは、プロセッサとメモリから構成され、メモリに格納された制御プログラムをプロセッサが実行することにより後述する各機能が実現される。ユーザ操作受付手段1300は加えてユーザからの操作を受け付けるためのポインティングデバイス等を有する。
 ユーザ嗜好特定手段1200は、ユーザ操作受付手段1300から記憶手段1100への画像入力の旨の通知を受けた場合に、記憶手段1100内の画像の属性を参照し、キーワード属性が同じ画像同士をグループ分けし、グループの画像の総数が所定の基準個数を超えたグループ(以下、高ユーザ嗜好グループと呼ぶ)を特定し、そのグループに含まれる画像(以下、高ユーザ嗜好画像と呼ぶ)を第二出力制御手段1600に通知する機能を有する。
 ユーザ操作受付手段1300は、ユーザによる画像入力を受けた場合に記憶手段1100に入力された画像をその属性と対応付けて記憶させてユーザ嗜好特定手段1200に画像入力の旨を通知する機能と、ユーザから画像を表示するよう操作を受けた場合に第一出力制御手段1400に画像表示命令を通知する機能と、ユーザから表示装置1700に出力されている画像のうち一個を選択する操作を受けた場合に第一出力制御手段1400に画像選択命令を通知する機能とを有する。画像表示命令とは記憶手段1100に記憶されている画像の縮小画像(サムネイル画像)を複数個作成し表示装置1700に表示する指示を出すことである。また、画像選択命令とは選択された画像を記憶手段1100から探索し表示装置1700に表示すると共に関連コンテンツ特定手段1500に関連画像を特定するよう指示を出すことである。
 第一出力制御手段1400は、ユーザ操作受付手段1300から二種類の命令を受け、それらを処理する機能を有する。画像表示命令を受けた場合は、記憶手段1100から表示する画像を複数個取得し、サムネイル画像を作成し外部の表示装置1700へ出力し表示させる。画像選択命令を受けた場合は、記憶手段1100からユーザが選択した画像を取得し、外部の表示装置1700へ画像を出力し表示させると共に、関連コンテンツ特定手段1500にユーザが選択した画像の関連画像の特定を指示する。
 関連コンテンツ特定手段1500は、第一出力制御手段1400からユーザが選択した画像の関連画像の特定の指示を受け、次の処理を行う機能を有する。記憶手段1100内の画像の属性を参照し、作成日時属性と作成者名属性と場所属性の3種類の属性それぞれについてユーザが選択した画像と所定の関係を有する属性を持つ画像を関連画像として特定し、その画像を第二出力制御手段1600に通知する。所定の関係については後述する。
 第二出力制御手段1600は、ユーザ嗜好特定手段1200からの高ユーザ嗜好画像の集合と関連コンテンツ特定処理からの関連画像の集合の通知を受け、双方の集合に属している画像を推薦画像として特定し、記憶手段1100から推薦画像を取得し、外部の表示装置1700へ推薦画像を出力し表示させる機能を有する。
 表示装置1700は、第一出力制御手段1400からの画像の出力や第二出力制御手段1600からの推薦画像の出力を受けた場合に、ディスプレイ等に画像を表示させる機能を有する。
 <データ構造>
 以下、上述の構成を備える画像表示装置1000で扱うデータの構造について説明する。
 記憶手段1100は、画像と、画像に対応する属性とを対応付けて複数記憶する。ここでいう画像とは、デジタルカメラで撮影された写真などの静止画データ(JPEG(Joint Photographic Experts Group)等)を指す。
 図2は、記憶手段1100に記憶されている画像に対応付けられるデータ構造200を示す一例である。表200はデータの種別を表す列201と実際のデータである列202から構成され、複数組みの要素を有している。図2の例での各要素に関して説明する。「ファイルパス」は画像を格納している場所を表す。「コンテンツID」は「ファイルパス」に格納されている画像を一意に識別するための番号である。「種類」は「ファイルパス」に格納されているファイルの種類であり、実施形態1では全て「画像」である。「作成日時属性」、「場所属性」、「作成者名属性」、「キーワード属性」はそれぞれ「ファイルパス」に格納されている画像を作成した日時、画像を作成した場所、画像の作成者名、画像の内容を表す文字列を意味する属性である。
 表中203の要素である「ファイルパス」には画像の存在場所を表す文字列が画像表示装置によって入力される。図2の例では、画像が記憶手段1100におけるabcフォルダ内のファイル00123.xxxであることを表している。
 表中204の要素である、「コンテンツID」は画像を記憶手段1100に記憶させた際に画像表示装置によって付与される数値であり、コンテンツそれぞれに一意に付与される。図2の例では、/abc/00123.xxxの画像の一意に識別する番号であるコンテンツIDが8であることを表している。
 表中205の要素である「種類」は、図2では「画像」となっているが、これはファイル/abc/00123.xxxが静止画データであることを表す。
 表中206の属性の種類である「作成日時」は、年月日と時間とを数値を用いて「年/月/日 時間」というフォーマットで表現している。このデータは、画像が作成されたときに作成した装置によって画像に与えられる。図2の例では、画像が2009年11月3日の15:01に作成されたことを表している。
 表中207の属性の種類である「場所」は作成した場所の緯度と経度とを数値を用いて「緯度,経度」というフォーマットで表している。このデータは、ファイルが作成されたときに作成した装置の仕様によって与えられることもある。図2の例では、画像が緯度x6,経度y6にて作成されたことを表している。
 表中208の属性の種類である「作成者名」は画像を作成した装置の仕様によっては与えられることもある。ただし、必ず与えられるものではないため、ユーザが画像表示装置を用いて入力する場合もある。図2の例では、画像がDD男によって作成されたことを表している。
 表中209の属性の種類である「キーワード」は画像を作成した装置の仕様によっては与えられることもある。ただし、必ず与えられるものではないため、ユーザが画像表示装置を用いて入力する場合もある。図2の例では、画像が旅行に関する内容であることを表している。
 属性の種類である「場所」、「作成者名」、「キーワード」は必ず与えられるものではないため、データが存在しない場合がある。
 <動作>
 以下、上述の構成とデータ構造を備える画像表示装置1000の動作について説明する。
 図3は画像表示装置1000の行う表示処理を示すフローチャートである。
 まず、ユーザ操作受付手段1300は、ユーザからの画像表示要求を受け付ける(ステップS301)。ユーザによって表示要求がなされない場合(ステップS301の「NO」)、ステップS301に戻る。ユーザからの画像表示要求があった場合(ステップS301の「YES」)、第一出力制御手段1400は、記憶手段1100から画像を複数個読み込み、サムネイル画像を作成して表示装置1700に出力し、表示する(ステップS302)。本明細書においては、当該表示処理を第一出力制御処理と称することもある。その後、ユーザが興味を持った画像を見たいという要求によって一個の画像が選択されるのを待つ(ステップS303)。選択されなかった場合(ステップS303の「NO」)、選択されるまで待機する。選択された場合(ステップS303の「YES」)、第一出力制御手段1400は、選択した画像を表示し(ステップS304)、関連コンテンツ特定手段1500が、関連コンテンツ特定処理を行う(ステップS305)。
 関連コンテンツ特定処理について、図4を用いて詳しく述べる。
 図4は、関連コンテンツ特定手段1500がステップS305で行う関連コンテンツ特定処理を示すフローチャートである。関連コンテンツ特定手段1500は、まずユーザによって選択された画像の属性から、作成日時属性と作成者名属性と場所属性とを取得する(ステップS401)。次に、記憶手段1100に記憶されている全ての画像について、作成日時属性と作成者名属性と場所属性とのそれぞれについて、ユーザが選択した画像との関連を調べる(ステップS402)。作成日時属性の場合、ユーザによって選択された画像の作成日時との差分値が基準値以内であれば関連する画像であるとみなす(ステップS403)。作成者名属性の場合、ユーザによって選択された画像の作成者名と同一であれば、関連する画像であるとみなす(ステップS404)。場所属性の場合、ユーザによって選択された画像の場所との差分値が基準値以内であれば、関連する画像であるとみなす(ステップS405)。上記構成にて説明した関連コンテンツ特定手段1500によるユーザが選択した画像に所定の関係を有する属性を持つ関連画像の特定は、関連コンテンツ特定手段1500がステップS403からステップS405の処理を実行することによりなされる。なお、ステップS403~ステップS405の処理はその実行順序が前後してもよく、また、並列に処理されてもよい。最後に、作成日時属性の関連画像と作成者名属性の関連画像と場所属性の関連画像とを特定する(ステップS406)。
 例えば、図5の表を用いて関連コンテンツ特定処理を行う。図5では、コンテンツIDが11以上のデータについては省略して表示している。ここでは、例としてコンテンツIDが10までの画像で関連コンテンツ特定手段1500が行う処理について説明する。また、表の要素において、「-」となっているのは属性が存在しないことを表しており、この場合は属性がないものとして関連コンテンツ特定処理の対象から外れる。ユーザが選択した画像がコンテンツID=8の画像であったとする。そしてこの画像の属性として「作成日時」属性を選択したとする。基準値が「作成日時から4日間」であったとすると、ユーザが選択したコンテンツID=8の画像の「作成日時」属性「2009/11/3 15:01」と関連するとみなせる属性の範囲が「2009/11/3 15:01から4日間」となる。すると、この範囲に含まれる属性を持つ画像を検索した結果は、コンテンツID=3、6、10となる。その結果、コンテンツID=8の画像の「作成日時」属性の関連画像はコンテンツID=3、6、10の画像となる。同様に、「作成者名」属性について述べる。コンテンツID=8の画像の場合、コンテンツID=8以外の画像で属性値「DD男」を持つ画像はないため、関連画像は存在しない。同様に、「場所」属性についても述べる。基準値が「その地点を中心にして半径10km以内」であったとすると、コンテンツID=8の画像の「場所」属性については、属性「{x6,y6}(緯度がx6、経度がy6という値を示すとする)」と関連するとみなせる属性の範囲が「{x6,y6}を中心地点とする10km範囲以内」となる。この範囲に含まれる属性を持つ画像を検索した結果がコンテンツID=2のみだったとすると、関連画像はコンテンツID=2の画像となる。このように、コンテンツID=8の画像に対して、作成日時、作成者名、場所の属性それぞれについて関連画像が特定されることになる(ステップS406)。図6は、以上の結果を纏めた表である。この表からコンテンツID=8の関連画像は、コンテンツIDが2,3,6,10の画像となることがわかる。
 以上で図4の関連コンテンツ特定処理の説明を終え、図3のステップS306に戻る。
 次に、ユーザ操作受付手段1300は、画像の入力があるかどうかを外部の記憶手段(フラッシュメモリやSD(Secure Digital)カード等)から内部の記憶手段1100への入力信号の有無で確認する(ステップS306)。ユーザによる画像の入力がなかった場合(ステップS306の「NO」)、ユーザによる画像の入力を待つ。ユーザによる画像の入力があった場合(ステップS306の「YES」)、ユーザ嗜好特定手段1200がユーザ嗜好特定処理を行う(ステップS307)。
 ユーザ嗜好特定処理について、図7を用いて詳しく述べる。
 図7は、ユーザ嗜好特定手段1200がステップS307で行うユーザ嗜好特定処理を示すフローチャートである。ユーザ嗜好特定手段1200は、記憶手段1100に記憶されている全画像を対象としてグループ分けを行う。グループ分けはキーワード属性を用いて行う。まず、同じキーワード属性を有するグループごとに分割する(ステップS701)。分割したグループごとに画像数を数え、所定の基準個数を超えたグループを高ユーザ嗜好グループとする(ステップS702)。最後に高ユーザ嗜好グループに含まれる画像を高ユーザ嗜好画像として特定する(ステップS703)。
 例えば、記憶手段1100に記録されているデータを表にしたものを図5に示す。図5では、コンテンツIDが11以上のデータについては省略して表示している。ここでは、例としてコンテンツIDが10までの画像でユーザ嗜好特定手段1200が行う処理について説明する。まず、キーワード属性によってグループに分割する(ステップS701)。例えば、キーワード属性が「お菓子」のグループにはID=1,7,10の3個の画像が所属する。同様に「旅行」のグループにはID=2,8,9の3個の画像が所属する。他には「海」のグループにはID=3の画像が、「子ども」のグループにはID=4の画像が所属する。「-」となっているのは属性が存在しないことを表しており、この場合はキーワード属性がないものとしてユーザ嗜好特定処理の対象から外れる。これらを表に纏めたものを図8にて示す。次に、所定の基準個数を超えたグループを高ユーザ嗜好グループとする(ステップS702)。この例では、基準個数を3としたため、図8中にも書いてあるが、キーワード属性が「お菓子」と「旅行」のグループを高ユーザ嗜好グループとする。最後に、高ユーザ嗜好グループに含まれる画像を高ユーザ嗜好画像として特定する(ステップS703)。この例では、図8より、ID=1,2,7,8,9,10の6個の画像が高ユーザ嗜好画像となる。
 以上で図7のユーザ嗜好特定処理の説明を終え、図3のステップS308に戻る。
 図7で示したユーザ嗜好特定処理(図3のステップS307)の次に、第二出力制御手段1600は、高ユーザ嗜好画像の集合と関連画像の集合の双方に属している画像を推薦画像と特定し、推薦画像をユーザが選択した画像と共に表示し(ステップS308)、ステップS301へ戻る。本明細書においては、第二出力制御手段1600による推薦画像の特定、表示処理を第二出力制御処理と称することもある。
 例えば、図5の画像リストのうち、ID=10までについて考える。高ユーザ嗜好画像がID=1,2,7,8,9,10であり、ユーザが選択した画像がID=8のとき関連画像はID=2,3,6,10であるため、双方の集合に属している画像はID=2,10となる。これらの画像を推薦画像として特定し、表示装置1700に表示する。表示の例として、図9をあげる。ユーザによって選択されたコンテンツID=8の画像を表示する領域901があり、「作成日時」属性の関連画像を提示する領域902を設け、その領域に「作成日時」属性の関連画像であり、且つ高ユーザ嗜好画像であるコンテンツID=10を示すアイコンをキーワードの属性である「お菓子」とともに表示する(図9の902A)。また「場所」属性の関連画像を提示する領域903を設け、その領域に「場所」属性の関連画像であり、且つ高ユーザ嗜好画像であるコンテンツID=2を示すアイコン(図9の903A)をキーワードの属性である「旅行」とともに表示する(ステップS307)。
 図9において推薦画像902A,903Aを選択した操作を行った場合、選択された画像が図9の901に表示され、図3と同様の動作を経て推薦画像が表示される。
<実施形態2>
 以下、コンテンツ出力装置の一実施形態である画像表示装置2000について説明する。
 <概要>
 図10は、実施形態2の画像表示装置2000の構成図である。
 画像表示装置2000は実施形態1で示した画像表示装置1000から高ユーザ嗜好画像の属性をもとにユーザ嗜好度の計算を行うように構成要素を変更したものである。
 即ち、同図に示すように実施形態1で示した画像表示装置1000に、第二出力制御手段1600の代わりに、ユーザの嗜好度を計算する機能を持たせた第二出力制御手段2600を接続した。これにより、推薦画像を表示する前に、ユーザの嗜好度の高さを示すユーザ嗜好度を計算し、出力に反映させる。
 <構成とデータ構造>
 以下、画像表示装置2000の構成について説明する。
 図10を用いて画像表示装置2000の構成について述べる。同図に示すように、画像表示装置2000は、実施形態1で示した画像表示装置と同一の記憶手段1100、ユーザ嗜好特定手段1200、ユーザ操作受付手段1300、第一出力制御手段1400、関連コンテンツ特定手段1500、表示装置1700とを備える。ここでは、画像表示装置1000と同一の構成要素についての説明は省略する。
 第二出力制御手段2600は、プロセッサとメモリから構成され、メモリに格納された制御プログラムをプロセッサが実行することにより以下の機能が実現される。
 第二出力制御手段2600は、ユーザ嗜好特定手段1200からの高ユーザ嗜好画像の集合と関連コンテンツ特定処理からの関連画像の集合の通知を受け、双方の集合に属している画像を推薦画像として特定し、記憶手段1100から推薦画像を取得し、ユーザが選択した画像の属性とユーザ嗜好特定手段1200で特定された画像の属性とを用いてユーザ嗜好度を計算し、外部の表示装置1700へ推薦画像と共にユーザ嗜好度を出力し表示させる機能を有する。ユーザ嗜好度の計算方法は後述する。第二出力制御手段2600は、ユーザ嗜好関数生成手段2610を備え、ユーザ嗜好関数生成手段2610は、ユーザ嗜好度を算出するためのユーザ嗜好関数を生成する機能を有する。ユーザ嗜好関数の生成の詳細については後述する。なお、ここでは、第二出力制御手段2600がユーザ嗜好関数生成手段2610を備えることとしているが、ユーザ嗜好関数生成手段2610は、画像表示装置2000内にあれば、第二出力制御手段2600が備えずともよく、その際に、ユーザ嗜好関数生成手段2610が第二出力制御手段2600に対して生成したユーザ嗜好関数を出力する構成を備えていればよい。
 また、上述の構成を備える画像表示装置2000で扱う記憶手段1100のデータ構造についても説明を行う。画像表示装置2000で扱うデータの構造は、実施形態1で扱うデータの構造と同一である。従って、説明は省略する。
 <動作>
 以下、上述の構成とデータ構造を備える画像表示装置2000の動作について説明する。
 図11は、画像表示装置2000の動作を表すフローチャートである。実施形態1の図3に示すフローチャートと同一の動作をする動作については実施形態1と同一の符号を用いており、説明を省略する。
 画像表示装置2000は、第二出力制御手段2600を用いて関連画像と高ユーザ嗜好画像の双方に属している画像を推薦画像として特定する(ステップS1108)。次に、ユーザが選択した画像の属性とユーザ嗜好特定手段1200で特定された画像の属性とを用いて計算したユーザ嗜好度を用いて表示内容を決定し、表示装置1700へ出力し、表示を行う(ステップS1109)。なお、図11では、ステップS1109に第二出力制御処理と記載しているが、厳密には、ステップS1108とステップS1109との処理が第二出力制御処理となる。
 例えば、図11のステップS307まで実施形態1の説明であげた例と同一の処理を行った場合を述べる。この場合、高ユーザ嗜好グループは図6より属性が「お菓子」と「旅行」の二つである。また、図5で列挙される画像と属性が記憶手段1100に格納されている場合、数値で表せる属性は、「作成日時」と「場所」である。ここで、ユーザ嗜好関数生成手段2610は、「お菓子」の高ユーザ嗜好グループに属する画像であるコンテンツID=1,7,10の「作成日時」属性を変数とするユーザ嗜好関数を次のように作る。図12に示すように、コンテンツID=1,7,10それぞれの「作成日時」属性を作成日時tの軸上にプロットし、これらが正規分布に従う標本であるとして確率密度関数を算出し、その確率密度関数を「お菓子」を持つ高ユーザ嗜好グループの「作成日時」tを変数とするユーザ嗜好関数F_作成日時(t)とする。
 また、ユーザ嗜好関数生成手段2610は、「お菓子」の高ユーザ嗜好グループの「場所」属性を変数とするユーザ嗜好関数を次のように作成する。図13に示すように、コンテンツID=1,7,10のうち、「場所」属性がないID=7は無視し、それ以外のID=1,10のそれぞれの「場所」属性を緯度x、経度yの座標上にプロットし、これらが二次元正規分布に従う標本であるとして確率密度関数を算出し、その確率密度関数を「お菓子」を持つ高ユーザ嗜好グループの「場所」{x,y}を変数とするユーザ嗜好関数F_場所(x,y)とする。
 同様の関数を作成する処理を「旅行」に関しても行う。
 次に第二出力制御手段2600は、高ユーザ嗜好グループに関連付けられたユーザ嗜好関数に、ユーザが選択した画像の属性を代入して、高ユーザ嗜好グループのユーザ嗜好度を算出する。具体的には、ユーザが選択した画像のコンテンツIDが8であった場合、高ユーザ嗜好グループ「お菓子」の「作成日時」属性におけるユーザ嗜好度は、コンテンツID=8の画像の「作成日時」属性である「2009/11/3 15:01」を高ユーザ嗜好グループ「お菓子」を持つ高ユーザ嗜好グループの「作成日時」tを変数とするユーザ嗜好関数F_作成日時(t)のtに代入して得られた値である0.2となる。また、高ユーザ嗜好グループ「旅行」の「場所」属性におけるユーザ嗜好度は、コンテンツID=8の画像の「場所」属性である「緯度x6、経度y6」を高ユーザ嗜好グループ「旅行」を持つ高ユーザ嗜好グループの「場所」{x,y}を変数とするユーザ嗜好関数F_場所(x,y)のx、yに代入して得られた値である0.5となる。
 最後に第二出力制御手段2600は、関連画像であり且つ高ユーザ嗜好画像である画像をユーザ嗜好度に応じて表示する。例えば図14のように、ユーザが選択した画像の「作成日時」属性の関連画像を表示する領域(1401)、「場所」属性の関連画像を表示する領域(1402)を設け、実施形態1と同様にそれぞれの領域に「作成日時」属性の関連画像であり且つ高ユーザ嗜好画像である画像と「場所」属性の関連画像であり且つ高ユーザ嗜好画像である画像の中から、ユーザ嗜好度が高いものから順に表示する。
 図14において、推薦画像を選択した操作を行った場合、選択された画像が図14の左の領域に表示され、図11と同様の動作を経て推薦画像がユーザ嗜好度と共に表示される。このとき、第二出力制御手段2600は、ユーザ嗜好度に応じて各推薦画像の表示態様を変えて出力してもよい。例えば、ユーザ嗜好度の高い推薦画像ほど目立つように(例えば、ユーザ嗜好度の高い推薦画像を大きく表示する)、そして、ユーザ嗜好度の低い推薦画像ほど目立たないように(例えば、ユーザ嗜好度の高い推薦画像に比べて小さく表示する)、表示態様を変えて出力してもよい。ユーザ嗜好度に応じた表示態様の変更の更なる詳細については、実施形態3及び実施形態4において説明する。
<実施形態3>
 本実施形態3においては、上記実施形態4において説明した第2出力制御手段によるコンテンツごとの表示態様を換えたコンテンツ出力手法の詳細について説明する。以下、実施形態3に係る画像表示装置3000について説明する。
 <概要>
 実施形態3の画像表示装置3000は、画像が複数記憶されている記憶手段3100を含み、ユーザ操作に基づいて複数の画像を同じサイズで、作成した日時の順に表示し、それらの表示している画像の濃淡をユーザの操作に合わせて変化させることで、ユーザの画像探索の補助を行う。
 画像には予め作成日時、場所、画像に写っている人物の顔情報が属性として対応付けられて記憶手段3100に記憶されている。画像表示装置3000は、属性ごとに重要度を構成する重要度成分を計算し、画面内のユーザインタフェースとしてのスライドバーを用いてユーザによって指定した属性ごとの重視の度合いを表す重み係数と重要度成分との積の総和を画像の重要度とする。
 その画像の重要度をN段階(ここでは3段階)に分類し、画像表示装置3000は画像をその分類結果それぞれに応じて異なる表示態様で表示するよう制御する。即ち画像の表示態様を、表示用のサイズを同一とし、高い段階に分類された画像ほど濃く、低い段階に分類された画像ほど薄くするように制御する。また、画像の表示用の配置としては、作成日時属性が示す日時の順に画像を並べるよう制御する。これによりユーザの画像探索が容易になる。
 <構成>
 以下、図17を用いて画像表示装置3000の構成について説明する。
 同図に示すように、画像表示装置3000は、記憶手段3100と属性情報評価手段3200とユーザ操作受付手段3300と配置決定手段3400と表示態様分類手段3500と表示制御手段3600とを備える。また、画像表示装置3000には、画像を描画するためのディスプレイ等である表示装置3700が接続されている。図17の点線で囲った範囲が上記実施形態1、2に示す第二出力制御手段2600に相当する。また、ユーザ操作受付手段3300は、上記実施形態1、2に示すユーザ操作受付手段1300に相当し、記憶手段3100は、上記実施形態1、2に示す記憶手段1100に相当する。
 記憶手段3100は、HDD(Hard Disk Drive)、メモリ等から構成され、画像1101とその画像の属性1102とを対応付けて複数記憶するためのものであり、例えばデジタルカメラから入力されたユーザが撮影した画像を、属性と対応付けて保存するためのものである。
 属性情報評価手段3200とユーザ操作受付手段3300と配置決定手段3400と表示態様分類手段3500と表示制御手段3600は、プロセッサとメモリから構成される。これら各部の各機能(後に詳細に説明する)はメモリに格納された制御プログラムをプロセッサが実行することにより実現される。ユーザ操作受付手段3300は加えて画像の入力を受け付けるためのUSB(Universal Serial Bus)インターフェイス等や、ユーザからの操作を受け付けるためのマウス等を有する。
 属性情報評価手段3200は、ユーザ操作受付手段3300から記憶手段3100への画像入力の旨の通知を受けた場合に後述する属性情報評価処理を行う機能、即ち、記憶手段3100内の画像の属性を参照し、ユーザが予め入力した情報により構成されるライフイベント情報や頻出場所情報や、入力された画像に基づいて生成した頻出人間情報を用いて、各画像の属性ごとの重要度成分を算出し、記憶手段3100に記憶させる機能を有する。ライフイベント情報、頻出場所情報、頻出人間情報のそれぞれについて、及び、各画像の属性ごとの重要度成分の算出方法については、後に詳しく説明する。
 ユーザ操作受付手段3300は、4つの機能を有する。
 まず、USBインターフェイス等に接続された外部の記憶装置から記憶手段3100に画像入力がなされた際に、作成日時属性と場所属性は画像を作成した装置で画像に付加された情報から取得し、顔情報属性については入力を受け付けた直後に従来の顔認識技術を用いる顔認識プログラムにより画像を解析することで取得し、画像についてのこれらの取得した属性を、後述する「ファイルパス」や「コンテンツID」や「種類」といった情報とを対応付けてなる付属データを記憶させる機能を有する。また、記憶手段3100に画像及び付属データを記憶させた後に属性情報評価手段3200に画像入力の旨を通知する機能を有する。さらに、ユーザから画像を表示するよう操作を受けた場合に、配置決定手段3400に属性ごとに決定されている表示用の配置のうち、採用する表示用の配置を決定するよう指示を出す機能を有する。最後に、ユーザから表示装置3700に出力されている属性ごとの重み係数の入力を行うスライドバーに対する入力操作を受けた場合に表示態様分類手段3500に属性ごとの重み係数を通知する機能を有する。
 配置決定手段3400は、ユーザ操作受付手段3300から表示用の配置を決定するよう通知を受け、画像を作成した日時の順に並べていく作成日時属性用の表示配置アルゴリズムに基づく配置決定処理により、各画像の表示位置を決定してその決定した配置を表示制御手段3600に通知する機能を有する。
 表示態様分類手段3500は、後述する表示態様分類処理を行う機能、即ち、ユーザ操作受付手段3300から通知された属性ごとの重み係数の値の通知を受け、属性ごとに構成される重要度成分の値を記憶手段3100から取得し、各々の属性について、属性ごとの重み係数と重要度成分をかけ、その積(かけた結果の値)を全て足し、画像の重要度とする機能と、画像のサイズを全て同一とし、画像の重要度が大きいほど濃く表示する表示態様にするよう表示制御手段3600に通知する機能を有する。
 表示制御手段3600は、配置決定手段3400からは各画像の表示配置の通知を、表示態様分類手段3500からは画像ごとの表示態様の通知を受け、表示される画像を記憶手段3100から取得し、画像の表示配置と表示態様に従って外部の表示装置3700へ画像を出力する機能を有する。
 表示装置3700は、表示制御手段3600からの画像の入力を受けた場合に、ディスプレイ等に画像を表示する機能を有する。
 <データ>
 以下、上述の構成を備える画像表示装置3000で扱うデータについて説明する。
 画像表示装置は、画像と、画像に対応する属性とを対応付けて記憶手段3100に複数記憶する。ここでの画像とは、デジタルカメラで撮影された写真などの静止画データ(JPEG:Joint Photographic Experts Group等)を指す。
 図18は、記憶手段3100に記憶されている画像ごとに対応付けられる、属性を含む付属データ200のデータ構造及び内容例を示す図である。付属データ1800はファイルパス1803、コンテンツID1804、種類1805、作成日時属性1806、場所属性1807、顔情報属性1808、作成日時属性の重要度成分1809、場所属性の重要度成分1810、顔情報属性の重要度成分1811を含んで構成される。図18の例での各要素に関して説明する。
 ファイルパス1803はファイルの格納場所を表し、ユーザがどこに入力画像を保存するかを指定することを受けてユーザ操作受付手段3300によって画像の存在場所を表すように定められる。図18の例では、画像が記憶手段3100におけるabcフォルダ内のファイル00123.xxxに格納されていることを表している。
 コンテンツID1804は画像を記憶手段3100に記憶させた際にユーザ操作受付手段3300によって付与される数値であり、画像それぞれに一意に付与される。図18の例では、/abc/00123.xxxの画像を一意に識別する番号であるコンテンツIDが8であることを表している。
 種類1805は、コンテンツの種類を表すもので、ここでは一律に「画像」であるとして説明する。ここでの「画像」は、ファイル内容である画像は、静止画であることを表す。
 作成日時属性1806は、画像を作成した年月日と時間とを数値で示したものである。このデータは、画像を作成した装置(デジタルカメラ等)によって画像作成の時を示すものとして画像に与えられる。図18の例では、画像が2009年11月3日の15:01に作成されたことを表している。
 場所属性1807は作成した場所の緯度と経度とを数値で示したものである。このデータは、画像を作成した装置(デジタルカメラ等)によって画像作成の場所を示すものとして画像に与えられる。図18の例では、画像が緯度x6,経度y6にて作成されたことを表している。
 顔情報属性1808はユーザ操作受付手段3300によって画像を解析することで与えられる。図18の例では、人数は画像に写っている人数が2人であり、それぞれの人物について、1、2という顔番号をつけ、顔認識プログラムの解析結果としての顔識別用の画像特徴を示すパラメータ値を「パラメータA」や「パラメータB」等で表している。
 作成日時属性の重要度成分1809、場所属性の重要度成分1810、顔情報属性の重要度成分1811は属性情報評価手段3200によって与えられる属性ごとに構成される画像の重要度成分であり、値の範囲は0から1である。詳細は後述する。
 次に、属性情報評価手段3200で用いるライフイベント情報、頻出場所情報、頻出人間情報について述べる。
 まず、ライフイベント情報を図19に示す。ライフイベント情報とは、ユーザにとってのイベントの日時を表す日付情報の集合である。例えば、ユーザが1990年5月10日生まれの女性だった場合、誕生日は5月10日、お宮参りは生後1ヶ月として1990年6月10日、初節句は1991年3月3日、などが候補として挙げられる。図19のようなライフイベント情報は、ユーザによって記憶手段3100に記憶される。なお、ライフイベントはユーザがイベントと考える日付であればよいため、図19に示した以外の日付情報も入力され得る。
 次に、頻出場所情報を図20に示す。ここで頻出場所情報とは、ユーザが頻繁に行く場所に関する情報である。例えば、図20のように、ユーザの自宅の場所や実家の場所などである。頻出場所情報に示されるそれぞれの場所は、具体的には、経緯度情報により表される。図20において、{35,135}は、緯度35度、経度135度を示す。図20のような頻出場所情報は、ユーザによって記憶手段3100に記憶される。なお、頻出場所情報はユーザが「頻繁に行く」と考える場所であればよいため、図20に示した以外の場所情報も入力され得る。
 最後に、頻出人間情報を図21に示す。ここで頻出人間情報とは、ユーザが頻繁に一緒に写る人に関する情報である。例えば、図21のように、ユーザ自身やユーザの両親などである。図18で示した顔情報属性1808中のパラメータ値を求めるために用いた顔認識プログラムによる解析と同様の方法で得られたパラメータ値を図21でも用いて、「パラメータA」や「パラメータB」等で表している。図21のような頻出人間情報は、ユーザによって記憶手段3100に記憶される。なお、頻出人間情報はユーザが「頻繁に写る」と考える人物であればよいため、図21に示した以外の人物についても入力され得る。
 <動作>
 以下、上述の構成とデータを備える画像表示装置3000の動作について説明する。
 図22は画像表示装置3000の行う表示処理を示すフローチャートである。
 まず、ユーザによる画像入力があった場合、即ちUSBインターフェイス等に外部の記憶装置(フラッシュメモリ等)が装着され、ユーザから画像入力コマンドを受け付けた場合には(ステップS2201)、ユーザ操作受付手段3300は、外部の記憶装置から画像を記憶手段3100に転送し、属性情報評価手段3200がその新たに入力された画像について属性情報評価処理を行う(ステップS2202)。
 ここで、属性情報評価処理について、図23を用いて詳しく述べる。
 図23は、属性情報評価手段3200がステップS2202で行う属性情報評価処理を示すフローチャートである。
 図23において、ステップS2301からステップS2303は図18のデータにおける作成日時属性の重要度成分1809を、ステップS2304からステップS2306は場所属性の重要度成分1810を、ステップS2307からステップS2308は顔情報属性の重要度成分1811をそれぞれ求める処理である。
 まず、ステップS2301からステップS2303までについて説明する。
 属性情報評価手段3200は、図19に示すライフイベント情報を参照する(ステップS2301)。
 ライフイベント情報参照の後、属性情報評価手段3200は、属性情報評価処理の対象となっている画像の作成日時属性が示す日時と、ライフイベント情報として登録されている日時の中で、最も近い日時との差分値を、単位を日として計算する(ステップS2302)。ただし、誕生日のような年指定のないライフイベントに関しては、作成日時属性が示す日時と同じ年のライフイベントとしてその差分値の計算を行う。
 例えば、図18に示す属性を有する画像についての属性情報評価処理においては、図19に示すライフイベント情報が記憶されているとすると、作成日時属性「2009年11月3日」と最も近い日時情報は誕生日の「2009年5月10日」であるため、差分値は177日となる。
 差分値を計算した後に、属性情報評価手段3200は、ステップS2302で計算した差分値を、差分値が大きいほど1に、小さいほど0になるように、正規化することで作成日時属性の重要度成分を求める(ステップS2303)。このため、作成日時属性の重要度成分は0以上1未満の値になる。例えば、作成日時属性の重要度成分=(365-差分値)÷365として計算する。ただし値が負になった場合は0とする。このように計算すると、作成日時属性の重要度成分は(365-177)÷365=0.52となる。
 次に、ステップS2304からステップS2306について説明する。
 属性情報評価手段3200は、図20のような頻出場所情報を参照する(ステップS2304)。
 属性情報評価手段3200は、頻出場所情報を参照した後、属性情報評価処理の対象となっている画像の、場所属性と頻出場所情報として登録されている場所の中で、最も近い場所情報との距離を、単位をkmで計算する(ステップS2305)。例えば、図18に示す属性を有する画像を例として用いると、図20に示す頻出場所情報が登録されており、例えば場所属性「緯度x6,経度y6」と自宅の距離が30kmであり、実家との距離が30kmより大きい場合、距離は30kmとなる。
 頻出場所との距離を計算した後、属性情報評価手段3200は、ステップS2305で計算した距離を、その距離が大きいほど1に、小さいほど0になるように、正規化することで場所属性の重要度成分を求める(ステップS2306)。場所属性の重要度成分も0以上1未満の値になる。例えば、場所属性の重要度成分=距離÷100として計算する。ただし(距離÷100)が1以上の場合、場所属性の重要度=1とする。このように計算すると、場所属性の重要度成分は、30÷100=0.3となる。
 最後に、ステップS2307とステップS2308について説明する。
 場所属性の重要度成分を算出した後、属性情報評価手段3200は、図21のような頻出人間情報を参照し、頻繁に写る人ではない人、即ち頻繁に写らない人の数を求める(ステップS2307)。例えば、図18に示す属性を有する画像を例として用いると、図21に示す頻出人間情報が登録されており、比較したところ2人とも頻出人間情報には存在しない人物だった場合、頻繁に写らない人の数は2人となる。
 頻出人間情報を参照し、頻繁に写らない人の数を求めた後、属性情報評価手段3200は、頻繁に写らない人の数が少ない画像ほど重要度成分が1になるように計算する(ステップS2308)。例えば、顔情報属性の重要度成分=1÷頻繁に写らない人の数として計算する。ただし、頻繁に写らない人が0人だった場合、重要度成分は0とする。このように計算すると、1÷2=0.5となる。
 以上で図23の属性情報評価処理の説明を終え、図22のステップS2201に戻る。
 ユーザによる画像の入力がなかった場合(ステップS2201の「NO」)と図23で示した属性情報評価処理(図22のステップS2202)が行われた場合の次に、ユーザからの画像の表示要求を待つ(ステップS2203)。ユーザからの画像表示要求があった場合(ステップS2203の「YES」)、配置決定手段3400が配置決定処理を行う(ステップS2204)。
 配置決定処理について、図24を用いて詳しく述べる。
 配置決定手段3400では、表示される画像を作成日時属性の順に並べる(ステップS2401)。これにより、画像が日付順に並ぶことになる。次に、月ごとにグループ分けを行い、表示の順番を決定する(ステップS2402)。これにより、月ごとに表示される画像が分類され、その月ごとに表示する順番が日付順に決定することになる。最後に、各画像の配置を決定する(ステップS2403)。
 ステップS2403での配置について説明する。図25のように、まず作成日時がわかるように画面の左側に月を出力する。なお、図25の例では月ごとに表示されているが、時間ごとでも日ごとでも年ごとでも構わない。次に、作成した日時の順に画面に画像を配置する。従って、作成日時属性が異なる月を示す画像同士は、異なる行に表示され、また同じ月を示す画像同士は、水平方向に日付順に並んで表示されるように配置が決定される。
 なお、図25では、例として縦に3個、横に4個並べるように配置を行っている。また、縦に3個、横に4個並べる配置で画像が表示しきれない場合は、スクロールバー等を設けて画面をスクロールさせることで表示させてもよい。
 以上で図24の配置決定処理の説明を終え、図22のステップS2203に戻る。
 ユーザからの画像表示要求がなかった場合(ステップS2203の「NO」)、ステップS2201へ戻る。
 図24で示した配置決定処理(図22のステップS2204)の次に、表示態様分類手段3500は、表示態様分類処理を行う(ステップS2205)。
 表示態様分類処理について、図26を用いて詳しく述べる。
 まず、表示される各画像の重要度を計算する(ステップS2601)。重要度は、0から1の間の値である各々の属性の重み係数と重要度成分をかけ、それらの結果の値を全て足すことで求める。
 次に、重要度の値を用いて3つのグループに分類する(ステップS2602)。グループ分けは、重みの値の和を求め、重要度が0から重みの値の和の1/3までのグループ、重みの値の和の1/3から重みの値の和の2/3までのグループ、重みの値の和の2/3から重みの値の和までのグループというように行う。なお、分類するグループの数は3個以上であれば何個でも構わない。
 最後に、グループごとに表示の濃淡を決定する(ステップS2603)。表示の濃淡は以下のように決定する。図27を用いて説明を行う。まず、表2700は表示の濃淡について例を用いて表したものである。まず表示されるべき各画像を一定サイズ(例えば縦横60×60画素)に縮小する。この縮小した画像を、以下、縮小画像と称する。
 表の列2701のそれぞれの画像は、縮小画像の画素をそのまま用いて作成した。従って、縮小画像そのものである。列2701の一番上の要素内にある「0%」とは、元の縮小画像から間引いた情報の割合が0%であることを意味している。
 表の列2702のそれぞれの画像は、縮小画像の画素のうち、縦横2×2画素毎にその中2画素のみを用いて後はマスクするパターンにより、50%の情報を間引いて作成した。列2702の一番上の要素内にある「50%」とは、間引いた情報の割合が50%であることを意味している。
 表の列2703のそれぞれの画像は、縮小画像である列2701の画像の画素のうち、縦横3×3画素毎にその中1画素のみを用いて後はマスクするパターンにより89%の情報を間引いて作成した。列2703の一番上の要素内にある「89%」とは、間引いた情報の割合が89%であることを意味している。
 以上のように、縮小画像から情報を間引くことによって表示の濃淡を決定する。ユーザの関心度合いが高い画像を、画素を間引かないことによって目立たせることで、ユーザの関心度合いを考慮した画像を見つけやすくできる。図27のこれらの濃淡が異なるように作成された各縮小画像を用いて表示態様を決定する。例えば、重みの値の和の2/3から重みの値の和のグループは列2701のそれぞれの画像を表示し、重みの値の和の1/3から重みの値の和の2/3のグループは列2702のそれぞれの画像を表示し、0から重みの値の和の1/3のグループは列2703のそれぞれの画像を表示する。
 以上で図26の表示態様分類処理の説明を終え、図22のステップS2206に戻る。
 次に、表示制御手段3600が作成日時属性を用いる際の表示用の配置と各画像の濃淡に従って画面表示を行い(ステップS2206)、各属性の重み係数を入力するスライドバーを表示する(ステップS2207)。
 この状態での画面を表示した例が図25である。図25における800などの矩形は画像を表しており、画像の重要度が大きいほど濃く表示され、小さいほど薄く表示される。例えば図25の800は図18に示す属性と結びついた画像であり、作成日時属性の重要度が0.52であるため、中程度の濃度で表示されている。また、画面の下部に表示してあるスライドバーはマウスで操作され、左端では重み係数が0、右端では重み係数が1であり、その間は0から1まで連続的に変化する。
 この後、ユーザからの画像の選択を待つ(ステップS2208)。マウスでダブルクリックすることによって画像が選択されたなら(ステップS2208の「YES」)、選択された画像を表示し(ステップS2209)、終了する。画像が選択されない場合(ステップS2208の「NO」)、スライドバーに対する入力を待つ(ステップS2210)。スライドバーに対する入力がなかった場合(ステップS2210の「NO」)、ステップS2208へ戻る。スライドバーに対する入力があった場合(ステップS2210の「YES」)、ステップS2205へ戻り、再度画面の表示を行う。スライドバーに対する入力があった場合の画面の表示例を図28に示す。図28における900などの矩形は図25と同様に画像を表している。図28の900は図18に示す属性と結びついた画像であり、画像の重要度がスライドバーの入力により減少したため、最も薄く表示されている。
<実施形態4>
 以下、画像表示装置の一実施形態である画像表示装置4000について説明する。
 <概要>
 図29は、実施形態4の画像表示装置4000の構成図である。
 画像表示装置4000は、実施形態3で示した画像表示装置3000からユーザが選択した画像をもとに類似した他の画像を探索することの支援を行うように構成要素を変更したものである。
 即ち、同図に示すように実施形態3で示した画像表示装置3000に、属性情報評価手段3200から、ユーザが選択した画像の属性と表示されている画像の属性とを用いて属性ごとの重要度成分を算出する機能を持つ属性情報評価手段4200に変更した。これにより、ユーザが選択した画像と類似する画像の重要度を大きく評価し、類似していない他の画像より濃く表示することによってユーザの画像探索の支援を行うことができる。
 <構成とデータ>
 以下、画像表示装置4000の構成について説明する。
 図29を用いて画像表示装置4000の構成について述べる。同図に示すように画像表示装置4000は、実施形態3で示した画像表示装置と同一の記憶手段3100、表示態様分類手段3500、表示制御手段3600を備える。ここでは、画像表示装置3000と同一の構成要素についての説明は省略する。
 属性情報評価手段4200とユーザ操作受付手段4300と配置決定手段4400は、それぞれプロセッサとメモリから構成され、メモリに格納された制御プログラムをプロセッサが実行することにより後述の機能が実現される。ユーザ操作受付手段4300は加えて画像の入力を受け付けるためのUSB(Universal Serial Bus)インターフェイス等や、ユーザからの操作を受け付けるためのマウス等を有する。
 属性情報評価手段4200は、ユーザ操作受付手段4300から、類似する他の画像を探索するためにユーザが一枚の画像を選択した旨の通知を受けた場合に、選択された画像の属性と、表示装置3700に表示される各画像の属性とを用いて、属性ごとに重要度成分を算出し、その値を記憶手段3100に記憶させる機能を有する。属性ごとの重要度成分の算出方法は後述する。
 ユーザ操作受付手段4300は、4つの機能を有する。まず、USBインターフェイス等に接続された外部の記憶装置から記憶手段3100に画像入力をする際に、作成日時属性と場所属性は画像を作成した装置から、顔情報属性については入力を受け付けた直後に顔認識プログラムによる解析を行って属性を取得し、それらの属性と「ファイルパス」や「コンテンツID」や「種類」といった情報とを対応付けて記憶させる機能を有する。また、ユーザから画像を表示するよう操作を受けた場合に、配置決定手段4400に属性ごとに決定されている表示用の配置のうち、採用する表示用の配置を決定するよう指示を出す機能を有する。さらに、ユーザから表示装置3700に出力されている属性ごとの重み係数の入力を行うスライドバーに対する入力操作を受けた場合に表示態様分類手段3500に属性ごとの重み係数を通知する機能を有する。最後に、表示装置3700に出力されている画像のうち一枚の画像を類似する他の画像の探索をするためにユーザが選択した場合に、属性情報評価手段4200に属性ごとに重要度成分の計算を行うよう通知する機能を有する。
 配置決定手段4400は、ユーザ操作受付手段4300から表示用の配置を決定するよう通知を受け、画像を作成日時属性の順に並べる表示配置を用いることを表示制御手段3600に通知する機能を有する。
また、上述の構成を備える画像表示装置4000における記憶手段3100のデータは、実施形態3で扱うデータと同一である。
 <動作>
 以下、上述の構成とデータを備える画像表示装置4000の動作について説明する。
 図30は、画像表示装置4000の動作を表すフローチャートである。実施形態3と同一の動作をする処理ステップについては実施形態3と同一の符号を用いており、詳細な説明を省略する。
 まず、ユーザ操作受付手段4300がユーザからの表示要求を受け付け、配置決定手段4400に表示用の配置を決定するように通知を出す。通知を受け取った後、配置決定手段4400は配置決定処理を行う(ステップS3001)。
 配置決定処理について、図31を用いて詳しく述べる。
 配置決定手段4400では、表示される画像を作成日時属性の順に並べる(ステップS3101)。これにより、画像が日付順に並ぶことになる。次に、各画像の配置を決定する(ステップS3102)。
 ステップS3102での配置について説明する。図32のように縦に3個、横に4個格子状に並ぶように配置を行う。この配置上に記憶手段3100に記憶されている画像を作成日時属性の順に配置する。なお、図32では、例として縦に3個、横に4個並べるように配置を行っている。また、縦に3個、横に4個並べる配置で画像が表示しきれない場合は、スクロールバー等を設けて画面をスクロールさせることで表示させてもよい。
 以上で図31の配置決定処理の説明を終え、図30のステップS2205に戻る。
 表示用の配置を決定した後、表示態様分類手段3500が表示態様分類処理を行うことで、属性ごとの重要度成分と重み係数とを用いて各画像の表示の際の濃淡を決定する(ステップS2205)。ステップS3001とステップS2205で決定した作成日時属性用の配置と各画像の表示の濃淡に従って各画像の表示を行い(ステップS3002)、ユーザが画像をマウスでシングルクリックすることにより選択した際に表示する枠線と各属性の重み係数を入力するスライドバーを表示する(ステップS3003)。この状態での画面を表示した例を図32に示す。図32において、1201は枠線であり、画像をマウスでシングルクリックして選択した際にこの枠線も移動し、その選択した画像と類似する画像ほど濃く、類似しない画像ほど薄く表示させる。また、図32では全ての画像が同じ濃さで、全ての属性ごとの重み係数も1に設定されているが、これは初期状態であるためで、ユーザにとって画像を選択しやすいようにしている。
 この後、ユーザからの画像の選択を待ち(ステップS2208)、マウスをダブルクリックすることで画像が選択された場合(ステップS2208の「YES」)、選択された画像を表示し終了する(ステップS2209)。選択されない場合(ステップS2208の「NO」)、スライドバーに対する入力を待つ(ステップS3004)。ユーザがスライドバーを動かした場合(ステップS3004の「YES」)、ステップS2205に戻る。スライドバーに対する入力がなかったとき(ステップS3004の「NO」)、マウスをシングルクリックすることによる画像選択を待つ(ステップS3005)。ユーザがマウスをシングルクリックして画像を選択した場合(ステップS3005の「YES」)、属性情報評価手段4200が属性情報評価処理を行う(ステップS3006)。
 属性情報評価処理について、図33を用いて詳しく述べる。
 図33は、属性情報評価手段4200がステップS3006で行う属性情報評価処理を示すフローチャートである。属性情報評価手段4200は、ユーザがマウスをシングルクリックして画像を選択した際に実行される。
 図33において、ステップS3301からステップS3303は図18のデータにおける作成日時属性の重要度成分1809を、ステップS3304からステップS3306は場所属性の重要度成分1810を、ステップS3307からステップS3308は顔情報属性の重要度成分1811をそれぞれ求める処理である。
 まず、ステップS3301からステップS3303までについて説明する。
 属性情報評価手段4200では、ユーザが選択した画像の作成日時属性を参照する(ステップS3301)。
 作成日時属性を参照した後、属性情報評価手段4200は、表示されている画像の作成日時属性とユーザが選択した画像の作成日時属性との差分を、単位を日で計算する(ステップS3302)。
 差分を計算した後に、属性情報評価手段4200は、ステップS3302で計算した差分値が小さいほど1に、大きいほど0になるように正規化する(ステップS3303)。例えば、作成日時属性の重要度成分=(365-差分値)÷365として計算する。ただし値が負になった場合は0とする。
 以上が、作成日時属性の重要度成分の算出方法であるステップS3301からステップS3303についての説明である。
 次に、ステップS3304からステップS3306について説明する。
 作成日時属性の重要度成分を算出した後、属性情報評価手段4200は、ユーザが選択した画像の場所属性を参照する(ステップS3304)。
 場所属性を参照した後、属性情報評価手段4200は、表示されている画像の場所属性とユーザが選択した画像の場所属性との距離を、単位をkmで計算する(ステップS3305)。
 距離を求めた後、属性情報評価手段4200は、ステップS3305で計算した距離が小さいほど1に、大きいほど0になるように正規化する(S3306)。例えば、場所属性の重要度成分=1-(距離÷100)として計算する。ただし値が負になった場合は0にする。
 以上が、場所属性の重要度成分の算出方法であるステップS3304からステップS3306についての説明である。
 最後に、ステップS3307とステップS3308について説明する。
 場所属性の重要度成分を計算した後、属性情報評価手段4200は、ユーザが選択した画像と表示されている画像の顔情報属性を参照し、表示されている画像についてユーザが選択した画像と同じ人物が写っている場合に、その人数を計算する(ステップS3307)。
 同じ人物が写っている場合の人数を計算した後、属性情報評価手段4200は、ステップS3307で計算した人数が多いほど1に、少ないほど0になるように正規化を行う(ステップS3308)。ユーザが選択した画像に写っている人物の数をa、表示されている他の画像にユーザが選択した画像に写っている人物と同じ人物が写っている場合の人数をbとするとき、b÷aとして重要度成分を計算する。
 以上が、顔情報属性の重要度成分の算出方法であるステップS3307とステップS3308についての説明である。
 以上で図33の属性情報評価処理の説明を終え、図30のステップS3005に戻る。
 ユーザがマウスのシングルクリックによる画像選択を行わない場合(ステップS3005の「NO」)、ステップS2208に戻る。また、ステップS1106の属性情報評価処理が終わった後は、ステップS2205に戻り、再度画面の表示を行う。スライドバーの入力やマウスのシングルクリックによる選択があった場合の画面の表示例を図34に示す。ユーザがマウスのシングルクリックで選択した、枠線で囲まれた画像と類似している画像ほど濃く表示される。
<補足>
 以上、本発明に係るコンテンツ出力装置の実施形態として、実施形態1~4を例として説明したが、例示したコンテンツ出力装置を以下のように変形することも可能であり、本発明は上述の実施形態で示した通りのコンテンツ出力装置に限られないことはもちろんである。
 (1)上述の実施形態1,2では記憶手段1100に画像(静止画)が記憶されており、その属性を用いて推薦画像を検索したが、画像(静止画)にかわって動画や音声などのコンテンツが記憶手段に記憶され、その属性を用いて推薦コンテンツを検索してもよい。その場合、図2で示したデータ構造の「種類」に「動画」や「音声」と記録してもよい。
 動画の場合、図3のステップS301で動画の表示要求があり複数の動画を表示する場合、動画の中で代表的な場面をサムネイル画像にしてもよいし、動画のサイズを縮小して音声なしで再生させてもよい。また、このとき、図3のステップS303でユーザが興味を持った動画を選択し、ステップS308で推薦動画を表示する場合、図9や図14のようにユーザが選択した動画を左側に表示して再生させると共に推薦動画を右側に表示させてもよい。推薦動画は代表的な場面をサムネイル画像にしてもよいし、縮小した動画で音声なしで再生させてもよい。
 画像に換えて音声を提示する場合、図3のステップS301で音声の提示要求があり複数の音声を提示する場合、作成者の顔写真や音符マーク等の何らかのアイコンを音声の作成日時属性や作成者名属性等の属性と共に表示させてもよい。また、図3のステップS303でユーザが興味を持った音声を選択し、ステップS308で推薦音声を提示する場合、図9や図14のようにユーザが選択した音声を示す何らかのアイコンを左側に表示し再生をさせると共に推薦音声を表す何らかのアイコンを右側に表示させてもよい。
 また、記憶手段1100に格納されているデータとして画像、動画、音声等が混在していてもよい。この場合に、ユーザ嗜好特定手段1200においてキーワードを用いてグループ分けを行った後、グループごとの個数を数える際に画像、動画、音声等のフォーマット別に重み付けを行って数えてもよい。
 (2)ユーザ嗜好特定手段1200において、グループに含まれるコンテンツの数が多いグループを高ユーザ嗜好グループとするとしたが、グループに含まれるコンテンツの再生回数の総和が大きいグループを高ユーザ嗜好グループとしたり、グループに含まれるコンテンツの総再生時間の総和が大きいグループを高ユーザ嗜好グループとしたり、コンテンツの再生回数と総再生時間それぞれに重み係数を乗じて和をとった値を得点とし、得点の総和が大きいグループを高ユーザ嗜好グループとしたり、コンテンツの種類(画像、動画、音声)ごとにコンテンツ係数を設けて、得点にコンテンツ係数を乗じた値の総和が大きいグループを高ユーザ嗜好グループとしたりしてもよい。なお、再生回数や再生時間は第一出力制御手段1400において表示装置1700に出力する際に計測してもよい。このとき、再生回数は再生が行われてから所定の基準時間が過ぎたら再生したとして1繰り上げるとしてもよいし、再生時間は再生が行われたときから計測が開始されるとしてもよい。また、再生回数や再生時間を記憶手段1100に記憶させてもよい。
 (3)上記の実施形態1,2では、ユーザが一人であるとして説明を行ったが、複数のユーザによって利用される場合も考えられる。この場合は、ユーザごとにコンテンツ再生回数や再生時間等の履歴を記憶手段1100に記憶させてもよい。
 また、ユーザが複数いる場合は、使用開始時にユーザを識別するためにユーザネームの入力を行わせてもよい。これにより、ユーザごとにコンテンツ再生回数や再生時間等の履歴を記録することができ、ユーザごとに推薦コンテンツを提案することができるようになる。
 (4)第二出力制御手段2600において、ユーザ嗜好関数にユーザによって選択された画像の作成日時属性や場所属性を代入してユーザ嗜好度を求めたが、推薦画像の作成日時属性や場所属性を代入してもよい。この結果、ユーザが嗜好すると考えられる関連画像を作成したときのユーザ嗜好度を得ることができる。また、表示装置1700に表示する現在の日時をユーザ嗜好関数に代入してもよい。この結果、表示装置1700に表示しようとしている日時におけるユーザ嗜好度を得ることができる。
 また、ユーザ嗜好関数の決定方法として、高ユーザ嗜好グループの属性が正規分布に従う標本であるとしたが、正規分布以外の分布を用いてもかまわない。また、画像の個数、再生回数、再生時間等やそれらを組み合せて作成した数値を用いた度数分布をユーザ嗜好関数としてもよい。
 (5)上記の実施形態1,2ではユーザ嗜好特定手段1200において高ユーザ嗜好グループごとの所属画像数を数える際に重み付けを行わなかったが、ユーザの嗜好が時間的に変化することを考え、過去に作成した画像よりも現在に近い日時に作成した画像に大きい重み係数をかけて画像数を数えてもよい。
 (6)上述の実施形態1,2では記憶手段1100に記憶されているキーワード属性は1画像あたり1キーワードであったが、1画像あたりに複数のキーワードを含んでいてもよい。この場合、ユーザ嗜好特定手段1200でのグループ分けは複数のキーワードそれぞれについて行ってもよい。
 (7)上述の実施形態1,2では、ユーザ嗜好特定手段1200において図6のようにキーワード属性が「お菓子」と「旅行」で共に画像数が3個であったため、第二出力制御手段において平等に扱ったが、画像数に差があった場合、例えば「お菓子」が6個で「旅行」が3個だった場合に、6個である「お菓子」に含まれている関連画像を「旅行」に含まれている関連画像よりも表示順序を先にする等強調して表示してもよい。
 (8)上述の実施形態1,2ではユーザ嗜好特定手段1200において予め所定の基準個数があったが、キーワードを用いてグループ分けを行った後、グループに所属している画像数の最も多いものを高ユーザ嗜好グループとしてもよいし、上位の複数グループを高ユーザ嗜好グループとしてもよい。
 (9)上述の実施形態では、ユーザ嗜好特定手段1200において、一例として予め決められた属性を「キーワード」としたが、どの属性にしてもかまわない。またどの属性を予め決められた属性にするのかという情報は、画像表示装置に組み込まれていてもよいし、ユーザに図7のステップS701の前に属性一覧画面を提示するなどして、ユーザによって選択されるようにしてもよい。
 また、関連コンテンツ特定手段1500において、一例として予め決められた属性を「作成日時」と「作成者名」と「場所」としたが、属性の個数はもちろん、どの属性にしてもかまわない。また、どの属性を予め決められた属性にするのかという情報は、画像表示装置に組み込まれていてもよいし、ユーザに図4のステップS401の前に属性一覧画面を提示するなどしてユーザによって選択されるようにしてもよい。
 (10)ユーザ嗜好特定手段1200による図7のステップS701でのグループ化処理は、属性が同じもの同士を同じグループとするとしたが、属性がテキスト(文字情報)として表現される場合は、記憶手段1100に記憶されている類義語辞書等を用いて同一でなくても類似する属性同士であれば同じグループであるとしてもよい。また、属性が日時や緯度・経度のような数値として表現される場合は、属性同士の差分値がある一定の範囲以内であれば同じグループであるとしてもよい。また、関連コンテンツ特定手段1500においても、属性がテキストとして表現される場合に、同様に記憶手段1100に記憶されている類義語辞書等を用いて同一でなくても類似する属性同士であれば関連画像であるとしてもよい。
 (11)説明のために図5のようなリストを用いたが、ユーザ嗜好特定手段1200は、予め決められた属性によって画像をグループ化するために、全コンテンツの属性を参照できればよいので、図5のようなリストを作成せず、記憶手段1100に記憶されている画像を一つずつ検索して属性を参照するようにしてもよい。
 (12)ユーザ嗜好特定手段1200による図7のステップS702での所定の基準個数は、画像表示装置に予め設定されている値またはユーザが設定する値とし、その値の決め方は限定しない。ユーザが設定する場合は、図7のステップS701の前にユーザに個数を決定させる画面を表示させて選択させるなどしてもよい。
 また、関連コンテンツ特定手段1500が図4のステップS403やステップS405で行う関連画像を特定するための基準値は画像表示装置に予め設計されていてもよいし、ユーザが設定してもよい。ユーザが設定する場合は、図4のステップS401の前にユーザに設定させる画面を表示させて選択させるなどしてもよい。
 (13)第二出力制御手段1500では、図9のように属性ごとに関連画像を表示する領域を設けたが、そのようにせず、関連画像であり、且つ高ユーザ嗜好画像であるコンテンツID=2,10のアイコンを、どの属性の関連属性かを区別せず、図15のように表示してもよい。
 (14)第二出力制御手段2600では、図14のように、属性ごとに関連画像であり且つ高ユーザ嗜好画像である画像を表示する領域を設けたが、図16のように、どの属性かを区別せずに表示してもよい。ただしこの場合、同じ高ユーザ嗜好グループ「お菓子」でも、「作成日時」属性のユーザ嗜好度と「場所」属性のユーザ嗜好度が異なる場合があるが、その場合は、ユーザ嗜好度の最大値を用いるものとする。
 (15)ユーザ嗜好特定手段1200において、予め決めた属性でグループ分けするとしたが、コンテンツが持つ複数の属性のうち二つ以上の属性を用いて、それぞれの属性ごとにコンテンツをグループ分けし、グループ分けされた全てのグループの中からユーザの嗜好度が高いグループを特定してもよい。例えば、ユーザ嗜好特定処理において「キーワード」属性だけではなく、「作成者名」属性も考慮する場合を説明する。図5において、コンテンツIDが10までの画像を用いて説明すると、作成者名属性でグループ分けを行った場合、「A山A子」のグループにはID=1,3,5,6の4個の画像が所属する。同様に「B川」のグループにはID=4,7の2個の画像が所属し、DD男にはID=8の画像が所属する。「-」となっているのは属性が存在しないことを表しており、この場合は作成者名属性がないものとしてユーザ嗜好特定処理の対象から外れる。「キーワード」属性でグループ分けした結果である図8では、基準個数が3個以上の場合に高ユーザ嗜好グループとなるとしたため、「A山A子」も高ユーザ嗜好グループになり、図8の結果と考えて、高ユーザ嗜好画像はID=1,2,3,5,6,7,8,9,10となる。上記の例のように考えてもよいし、高ユーザ嗜好グループをグループの個数が最大である「A山A子」のみとし、高ユーザ嗜好画像をID=1,3,5,6としてもよい。
 (16)記憶手段1100において、画像は記憶手段1100内に記憶されているとして説明を行ったが、外部の記憶手段に記憶されていてもよい。この場合、図2のデータ構造のうち少なくとも表中203の要素である「ファイルパス」(その外部の記憶手段内の画像のアドレスを指すもの)が内部の記憶手段1100に記憶される必要がある。
 (17)上述の実施形態3、4では記憶手段3100に画像(静止画)が記憶されており、その属性を用いて画像を検索したが、画像(静止画)にかわって動画や音声などのコンテンツが記憶装置に記憶され、その属性を用いてコンテンツを検索してもよい。その場合、図18で示したデータの「種類」には「画像」に代えて「動画」や「音声」と記録することとしてよい。
 動画の場合、図22のステップS2208で動画の表示要求があり複数の動画を表示する場合、動画の中で代表的な場面をサムネイル画像にしてもよいし、動画のサイズを縮小して音声なしで再生させてもよい。
 音声の場合、図22のステップS2208で音声の提示要求があり複数の音声を提示する場合、作成者の顔写真や音符マーク等の何らかのアイコンを音声の作成日時属性と共に表示させてもよい。
 また、記憶手段3100に格納されているデータとして画像、動画、音声等が混在していてもよい。
 (18)実施形態3、4において、画像の濃淡を画像の情報を間引くことで表現したが、それ以外の方法で表現してもよい。
 例えば、背景画像を白単色の画像としてαブレンドを行ってもよい。αブレンドとは、もとの画像の画素値をValue0、背景画像の画素値をValue1、係数をα(αは0から1までの値)として、αブレンドの結果生じる新しい画像の画素値ValueをValue=Value0×(1-α)+Value1×αとして求める手法のことである。係数αを1にしていくことで、徐々に背景画像の色になる。背景画像が白単色の場合、画像全体が徐々に白色になる。このαの値を変化させて画像の濃淡を表現してもよい。また、αブレンドを行う際の背景画像を灰色単色の画像にしてもよいし、画像表示装置が結果を表示する際の背景画像を用いてαブレンドを行ってもよい。また、画像の画素ごとのRGBの値を徐々に中間値にすることで画像全体を灰色にしてもよい。また、画像全体を徐々にモザイク状に変化させてもよい。
 (19)実施形態3、4において、スライドバーを表示させてユーザに属性ごとの重み係数を入力させるようにしたが、スライドバーではなく、プルダウンメニューでユーザに値を選択させてもよいし、直接入力させる領域を設けてユーザに重み係数を入力させてもよい。
 また、スライドバーは表示しなくてもよい。この場合、重み係数はユーザが予め設定した値でもよいし、画像表示装置の設計者によって与えられた値でもよい。
 (20)実施形態3では配置決定手段3400において表示用の配置として作成日時属性を用いた場合の配置を、実施形態4では配置決定手段4400において別の作成日時属性を用いた場合の配置をそれぞれ採用したが、その他の属性である場所属性の場合の表示用の配置や顔情報属性の場合の表示用の配置を採用してもよい。
 場所属性の場合、図35のように地図上に場所属性が表す位置に画像を表示する配置にしてもよい。図35の場合、実施形態3と同様に表示態様分類手段3500での表示態様を画像のサイズを同一とし、画像の濃淡で重要度を表現するものにし、属性情報評価手段での属性の評価方法も実施形態3と同様に計算させ、重み係数は場所属性を1、その他の属性を0としている。従って、いつも行く場所ではないところほど画像が濃く表示されている。
 顔情報属性の場合、図36のように人物名の横に画像を表示する配置にしてもよい。図36の場合、実施形態3と同様に表示態様分類手段3500での表示態様を画像のサイズを同一とし、画像の濃淡で重要度を表現するものにし、属性情報評価手段での属性の評価方法も実施形態3と同様に計算させ、重み係数は顔情報属性を1、その他の属性を0としている。従って、頻繁に写らない人が少ない人数で写っている画像ほど濃く表示されている。
 (21)表示態様分類手段3500において、表示態様として例えば縦横60×60画素のように画像のサイズを同一とし、画像の濃淡で重要度を表現するように設定したが、画像の濃淡を同一とし、画像のサイズによって重要度を表現するように設定してもよい。この場合、図37のように表示される。図37の場合、実施形態3と同様に属性情報評価手段での属性の評価を行い、表示用の配置は場所属性の場合の表示用の配置を採用し、重み係数は場所属性を1、その他の属性を0としている。従って、いつも行く場所ではないところほど画像が大きく表示されている。また、各縮小画像のサイズを同一とする場合、そのサイズは縦横60×60画素に限らない。なお、入力した画像がそのサイズより小さい場合には縮小ではなく拡大を行うことになる。
 また、表示態様として画像のサイズと画像の濃さを同一とし、画像を囲む枠線の太さで重要度を表してもよい。この場合、図38のように表示される。図38の場合、実施形態3と同様に属性情報評価手段での属性の評価を行い、表示用の配置は実施形態4での作成日時属性用の配置を採用し、重み係数は作成日時属性を1、その他の属性を0としている。従って、ライフイベントに近い画像ほど枠線が太く表示されている。
 また、表示態様として画像のサイズと画像の濃さを同一とし、画像につけるマークの数で重要度を表してもよい。この場合、図39のように表示される。図39の場合、実施形態3と同様に属性情報評価手段での属性の評価を行い、表示用の配置は実施形態4での作成日時属性用の配置を採用し、重み係数は作成日時属性を1、その他の属性を0としている。また、画像の重要度の大きさに合わせて、星がなし、星が1つ、2つ、3つと表現される。従って、ライフイベントに近い画像ほどマークである星の数が多くなっている。
 また、3次元UIにおいて、表示態様として画像のサイズと濃淡を同一とし、基準面に垂直方向の軸で重要度の値に応じて配置をさせてもよい。真上から見ると、手前が大きく、後ろが小さくぼやけて見えるようになる。また、同じく3次元UIを用いて、画像の重要度が小さいものほど倒れ、大きいものほど立っているように配置を行うことで画像の重要度を表現してもよい。
 (22)実施形態3では、属性情報評価手段3200において、ユーザが入力したライフイベント情報や頻出場所情報や頻出人間情報を用いて属性ごとの重要度を算出した。属性ごとの重要度の算出は、ユーザによって入力された情報を用いずに行ってもよい。作成日時属性の場合、普段撮影されている画像の枚数が5枚程度なのに、50枚撮影された日があったとすると、その日は通常の日ではない特異な日であるとして重要度を大きくしてもよい。また、場所属性の場合、緯度と経度の情報から、普段よく撮影している場所から離れた場所において撮影されていたとすると、その場所は通常の場所ではない特異な場所であるとして重要度を大きくしてもよい。また、顔情報属性の場合、撮影されてきた画像に写っている人の中で、枚数が少ない人ほど特異な人間であるとして重要度を大きくしてもよい。
 (23)実施形態3では、属性情報評価処理を図23のように示したが、(i)ステップS2301からステップS2303の処理と、(ii)ステップS2304からステップS2306の処理と、(iii)ステップS2307からステップS2308の処理とは、図23の順に計算する必要はなく、順番を変更して計算を行ってもよい。例えば、(ii)、(i)、(iii)の順に処理を実行してもよい。
 また、実施形態4では、属性情報評価処理を図33のように示したが、(iv)ステップS1301からステップS1303の処理と、(v)ステップS1304からステップS1306の処理と、(vi)ステップS1307からステップS1308の処理とは、図33の順に計算する必要はなく、順番を変更して計算を行ってもよい。例えば、(vi)、(v)、(iv)の順に処理を実行してもよい。
 (24)実施形態において、属性ごとに構成される重要度成分の計算を行ったが、重要度成分の計算方法や正規化の方法については記載した方法以外のものでもよい。また、属性ごとの重要度成分を算出後にユーザによってその値を変更できるようにしてもよい。重み係数に関してもその値の範囲や大きさを自由に決定してもよい。
 (25)実施形態3では、属性情報評価手段3200において画像の顔情報属性から写っている人数が少ない画像ほど重要であるとしたが、写っている人の数が多い、例えば親戚同士で集まった際の集合写真などを重要であるように判定を行ってもよい。この場合、画像に占める顔の大きさで群衆写真かグループで撮った写真かを選別してもよい。
 (26)表示態様分類手段3500において、属性ごとの重要度のうち、一番重要度が高い属性に注目し、表示の際の濃淡をその属性のみで決定してもよい。また、属性ごとに閾値を決定し、ある属性では特に閾値よりも重要度が高かった場合、その属性に着目して表示の際の濃淡をその属性のみで決定してもよい。
 (27)表示態様分類手段3500において重みの値の和を用いて重要度が0から重みの値の和の1/3、重みの値の和の1/3から重みの値の和の2/3、重みの値の和の2/3から重みの値の和までというようにグループ分けを行ったが、重要度の最大値を用いて重要度が0から最大値の1/3、最大値の1/3から最大値の2/3、最大値の2/3から最大値までというようにグループ分けを行ってもよい。グループごとの重要度の範囲を等間隔にする必要はなく、自由に決定してもよい。また、重要度の度数分布を作成し、その分布から表示態様のグループ分けを行ってもよい。
 (28)画像の顔情報を用いて画像に写っている人物の年齢を算出し、同年齢の人物が写っている画像ほど重要度が大きくなるようにしてもよい。例えば、乳幼児が写っている画像を選択したとすると、選択した画像に写っている乳幼児だけではなく他の乳幼児も含めて写っている画像の重要度を大きくしてもよい。
 (29)ユーザ操作受付手段3300,4300では、ユーザからの操作を受け付けるためにマウス等を有しているが、一般的なポインティングデバイス等とキーボード等を有してもよい。この場合、マウスによるシングルクリックはポインティングデバイスによる座標指定で、ダブルクリックは座標指定とキーボードのEnterキーの同時入力で行ってもよい。
 (30)上述の実施形態1~4の画像表示装置は、典型的には半導体集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。ここではLSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
 また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
 さらに、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応などが可能性として有り得る。
 さらに加えて、上述の実施形態1,2の画像表示装置を集積化した半導体チップと、画像を描画するためのディスプレイとを組み合せて、様々な用途に応じた描画機器を構成することができる。携帯電話やテレビ、デジタルビデオレコーダ、デジタルビデオカメラ、カーナビゲーション等における情報描画手段として、画像出力装置を利用することが可能である。ディスプレイとしては、ブラウン管(CRT)の他、液晶やPDP(プラズマディスプレイパネル)、有機ELなどのフラットディスプレイ、プロジェクターを代表とする投射型ディスプレイなどと組み合せることが可能である。
 (31)上述の実施形態に1~4で示したユーザ嗜好特定処理(図3、図4、図7、図11等参照)、画像表示に係る処理等(図22、図23、図24、図26、図30、図31、図33)、をプロセッサ、及びそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、または各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ICカード、ハードディスク、光ディスク、フレキシブルディスク、ROM等がある。流通、頒布された制御プログラムはプロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより各実施形態で示したような各種機能が実現されるようになる。
 (32)以下、さらに本発明の一実施形態に係るコンテンツ出力装置の構成及びその変形例と効果について説明する。
 (a)本発明の一実施形態に係る制御装置は、コンテンツと当該コンテンツの属性とを対応させて複数記憶している記憶手段と、前記記憶手段に記憶されているコンテンツのうち一のコンテンツを出力する第一出力制御手段と、前記第一出力制御手段により出力されているコンテンツの属性と所定の関係を有する属性を持つコンテンツを前記記憶手段に記憶されている複数のコンテンツから特定する関連コンテンツ特定手段と、前記記憶手段に記憶されている複数のコンテンツを属性に基づいて複数のグループに分類し、分類された各グループに属しているコンテンツに係る量を計算し、その量が所定の基準量を超えたグループに含まれるコンテンツを特定するユーザ嗜好特定手段と、前記関連コンテンツ特定手段で特定された関連コンテンツの集合と前記ユーザ嗜好特定手段で特定されたコンテンツの集合との双方に属しているコンテンツを出力する第二出力制御手段とを備える。
 従ってこのコンテンツ出力装置は、ユーザに提示しているコンテンツに対して、ユーザが記憶手段に記憶した複数のコンテンツから、ユーザの嗜好に沿い且つ提示しているコンテンツの属性と関連した属性を有するコンテンツをユーザに提示することができる。
 (b)前記記憶手段は、前記コンテンツの属性として内容に係る情報を記憶し、前記ユーザ嗜好特定手段は前記内容に係る情報に基づいて複数のグループに分類することとしてもよい。
 これにより、ユーザの嗜好を特定する際にコンテンツの内容に従った結果を出すことができる。
 (c)前記コンテンツは、画像であり、前記第一出力制御手段は前記出力を表示で行い、前記第二出力制御手段は前記出力を表示で行い、前記記憶手段は、各コンテンツに対して複数の属性を記憶し、前記コンテンツの属性は当該コンテンツの内容を表した文字列を含み、前記ユーザ嗜好特定手段は前記記憶手段に記憶されている複数のコンテンツを、当該コンテンツの内容を表した文字列に基づいて分類することとしてもよい。
 これにより、コンテンツとして画像を取り扱い、画像を表示することができ、ユーザの嗜好を特定する際にコンテンツの内容に沿った且つ個数の多いグループに属するコンテンツを特定することができる。
 (d)前記ユーザ嗜好特定手段は、各グループに属しているコンテンツの総数を、各グループに属しているコンテンツに係る量として計算することとしてもよい。
 これにより、グループに分割した後、そのグループのコンテンツの個数をもとにユーザ嗜好を特定することができる。
 (e)前記記憶手段は、前記コンテンツの属性としてコンテンツの作成に係る情報を記憶し、前記関連コンテンツ特定手段は、前記コンテンツの内容を表した文字列を用いずに前記コンテンツの作成に係る情報に基づいて関連コンテンツの特定を行うこととしてもよい。
 これにより、コンテンツの属性としてコンテンツの作成した際の情報が得られ、関連コンテンツを特定する際は、ユーザ嗜好特定手段で用いた属性であるキーワードを用いずにコンテンツの作成した際の情報の属性を用いて関連コンテンツを特定することができる。
 (f)前記作成に係る情報は当該コンテンツを作成した場所を示し、前記関連コンテンツ特定手段は、前記第一出力制御手段により出力されているコンテンツの場所と所定の距離以内の場所で作成されたコンテンツを前記記憶手段に記憶されているコンテンツから特定することとしてもよい。
 これにより、属性としてコンテンツを作成した場所を含むことができ、関連コンテンツ特定手段において前記第一出力制御手段により出力されているコンテンツの場所と所定の距離以内の場所で作成されたコンテンツを関連コンテンツとすることができる。
 (g)ユーザの操作を受け付けるユーザ操作受付手段を備え、前記第一出力制御手段で出力する一のコンテンツは前記ユーザ操作受付手段で受け付けられたユーザの操作に基づいて決定され、前記記憶手段は、前記コンテンツの属性として当該コンテンツの作成日時を示す情報を記憶し、前記第二出力制御手段は前記ユーザ嗜好特定手段で特定されたコンテンツの作成日時の分布に基づいて前記出力する一のコンテンツの作成日時における嗜好度を計算し、嗜好度に応じて出力を行うこととしてもよい。
 これにより、第一出力制御手段で出力するコンテンツをユーザの操作によって決定することができ、コンテンツの属性としてコンテンツを作成した日時を含むことができ、ユーザ嗜好度を計算する際にユーザ嗜好特定手段で特定されたコンテンツの作成日時に基づいてユーザ嗜好関数を決定することができ、ユーザの操作に基づいて決定された第一出力制御手段で出力するコンテンツの作成日時でユーザ嗜好度を計算し、嗜好度に応じて出力を行うことができる。
 (h)前記コンテンツの属性は当該コンテンツの作成日時を示す情報を含み、前記第二出力制御手段は前記ユーザ嗜好特定手段で特定されたコンテンツの作成日時の分布とコンテンツを出力する時刻とに基づいて前記第二出力制御手段がコンテンツを出力する時刻における嗜好度を計算し、嗜好度に応じて出力を行うこととしてもよい。
 これにより、コンテンツの属性としてコンテンツを作成した日時を含むことができ、ユーザ嗜好度を計算する際にユーザ嗜好特定手段で特定されたコンテンツの作成日時に基づいてユーザ嗜好関数を決定することができ、ユーザ嗜好度を計算する際にユーザ嗜好特定手段で特定されたコンテンツの作成日時に基づいてユーザ嗜好関数を決定することができ、第二出力制御手段がコンテンツを出力する日時におけるユーザ嗜好度を計算し、嗜好度に応じて出力を行うことができる。
 (i)前記コンテンツの属性は当該コンテンツの内容を表した文字列を含み、前記記憶手段は、意味が関連する文字列同士を結びつけた表を記憶し、前記関連コンテンツ特定手段は、前記表に基づいて前記第一出力制御手段により出力されているコンテンツの内容を表した文字列と意味が関連するコンテンツを前記記憶手段に記憶されているコンテンツから特定することとしてもよい。
 これにより、コンテンツの属性としてキーワードを用いることができ、関連コンテンツ特定手段は、意味が関連するキーワードを結びつけた表を用いて関連するコンテンツを特定することができる。
 (j)ユーザの操作を受け付けるユーザ操作受付手段を備え、前記第一出力制御手段は、前記ユーザ操作受付手段で受け付けられたユーザの操作に基づいてコンテンツを出力している回数を測定し、前記記憶手段は、前記コンテンツの属性として前記第一出力制御手段で逐次出力されたコンテンツごとに測定された出力回数を示す情報を記憶し、前記ユーザ嗜好特定手段における前期各グループに属しているコンテンツに係る量は、各グループに属しているコンテンツの出力回数であり、前記計算は前記各グループに属している全コンテンツの出力回数を合計することで行うこととしてもよい。
 これにより、第一出力制御手段でユーザの操作に応じてコンテンツの出力回数を測定することができ、記憶手段に出力されたコンテンツごとに測定された出力回数を記憶することができ、ユーザの嗜好を特定する際にコンテンツの内容に沿い且つユーザの出力回数が多いグループに属するコンテンツを特定することができる。
 (k)前記記憶手段は、前記コンテンツの属性として当該コンテンツを作成した場所を示す情報を記憶し、前記ユーザ嗜好特定手段は前記記憶手段に記憶されている複数のコンテンツを所定の地点と前記コンテンツを作成した場所との距離に基づいて分類することとしてもよい。
 これにより、コンテンツを作成した場所に基づいてユーザの嗜好を特定することができる。
 (33)以下、さらに本発明のコンテンツ出力装置の一実施形態に係る画像表示装置の構成及びその変形例と効果について説明する。
 (a)上記課題を解決するために本発明に係るコンテンツ出力装置は、コンテンツと当該コンテンツの属性とを対応させて複数記憶している記憶手段と、前記記憶手段で記憶されている複数の表示されるべきコンテンツそれぞれについて所定の基準に従って表示用の配置を決定する配置決定手段と、表示されるべき各コンテンツの属性に基づいて各コンテンツの重要度を算定し、当該重要度に基づいて各コンテンツの表示態様を決定する、表示態様分類手段と、前記表示用の配置に従って、前記決定した各コンテンツの表示態様で、前記表示されるべき複数のコンテンツを表示する、表示制御手段とを備える。
 従って、このコンテンツ出力装置は、ユーザに対してユーザが記憶装置に記憶したコンテンツから複数個のコンテンツをある表示用の配置とコンテンツの属性に基づいた重要度によって決定された表示態様とを用いてディスプレイに表示することができる。
 (b)前記コンテンツの属性は、コンテンツを作成した時を含み、前記記憶手段は、ユーザにとってのイベントの時を記憶し、前記表示態様分類手段は、前記コンテンツを作成した時と前記ユーザにとってのイベントの時との差分値が小さいほど重要であるように前記重要度の前記算定を行うこととしてもよい。
 これにより、コンテンツの属性として作成した時を用いることができ、ユーザにとってのイベントの時との差分値が小さいものほど重要な作成した時であることを決定することができる。
 (c)前記コンテンツは、画像であり、前記表示態様分類手段は、各コンテンツの重要度に応じて各コンテンツの画素を間引くこととしてもよい。
 これにより、コンテンツとして画像を取り扱い、ユーザの関心度合いが高いコンテンツを目立たせることで、ユーザの関心度合いを考慮したコンテンツを見つけやすくできる。
 (d)前記記憶手段は、各コンテンツに対して複数の属性を記憶し、前記表示態様分類手段は、属性ごとに重要度を構成する重要度成分を算出し、前記複数の属性ごとの重要度成分に重みをかけ、その総和をとることで前記重要度の前記算定を行うこととしてもよい。
 これにより、コンテンツは複数の属性を持つことができ、その属性ごとに表示態様を決定する重要度を構成する重要度成分を算出することができ、その重要度成分に重みをかけ、その総和をとることで重要度の計算を行うことができる。
 (e)前記重みの入力を受け付けるためのユーザ操作受付手段を備えることとしてもよい。
 これにより、属性ごとの重みをユーザが入力することで決定することができる。
 (f)前記配置決定手段が従う前記所定の基準は、表示されるべき各コンテンツを当該コンテンツの属性である作成した時の順に並べることであることとしてもよい。
 これにより、コンテンツを作成した時の順に並べることができる。
 (g)前記コンテンツは、画像であり、前記表示制御手段は、前記表示されるべきコンテンツの表示サイズの大きさを前記重要度に従って変化させて表示することとしてもよい。
 これにより、コンテンツとして画像を取り扱い、画像の重要度に従って画像の表示サイズの大きさを変更させることができる。
 (h)前記コンテンツの属性は、コンテンツを作成した場所を含み、前記記憶手段は、所定の場所を記憶し、前記表示態様分類手段は、前記コンテンツを作成した場所と前記所定の場所との差分値が大きいほど重要であるように前記重要度の前記算定を行うこととしてもよい。
 これにより、コンテンツの属性として作成した場所を用いることができ、ユーザが決定した所定の場所との距離の差分値が大きいほどコンテンツの重要度が大きくなるようにすることができる。
 (i)さらに前記コンテンツに基づきコンテンツに写る人ごとについての顔情報を生成し、当該コンテンツの属性の一つとして前記記憶手段に格納する顔情報生成手段を備え、前記コンテンツは、画像であり、前記表示態様分類手段は、前記コンテンツに写る人が前記所定の人と一致しない人達の人数に基づき前記重要度の前記算定を行うこととしてもよい。
 これにより、コンテンツとして画像を取り扱い、画像に写る人ごとに顔情報を生成することができ、画像に写っている人が、ユーザが設定した所定の人ではない人の数に応じて画像の重要度を決定することができる。
 (j)前記コンテンツ出力装置は、さらに、ユーザ操作受付手段を備え、前記ユーザ操作受付手段は、前記表示されているコンテンツから一のコンテンツの選択を受け付け、前記表示態様分類手段は、前記一のコンテンツの属性と類似の属性を有するコンテンツであるほど重要であるように前記重要度の前記算定を行うこととしてもよい。
 これにより、ユーザが選択したコンテンツと似た属性を持つコンテンツほど重要になるようにコンテンツの重要度を決定することができる。
 (k)ユーザ操作を受け付ける前に、前記表示制御手段は、表示されるべき各コンテンツの表示態様を全て同一として表示することとしてもよい。
 これにより、最初のコンテンツの選択を行う時に表示されている各コンテンツが同一に見えるため、コンテンツの選択を行いやすくなることができる。 
 本発明のコンテンツ出力装置は、様々な用途に利用可能である。例えば、携帯電話や携帯音楽プレーヤー、デジタルカメラ、デジタルビデオカメラ等の電池駆動の携帯表示端末や、テレビ、デジタルビデオレコーダ、カーナビゲーション等の高解像度の情報表示機器におけるメニュー表示やWebブラウザ、エディタ、EPG、地図表示等における情報表示手段として利用価値が高い。
1000、2000、3000、4000 画像表示装置
1100、3100      記憶手段
1200      ユーザ嗜好特定手段
1300、3300、4300      ユーザ操作受付手段
1400      第一出力制御手段
1500      関連コンテンツ特定手段
1600、2600 第二出力制御手段
1700、3700      表示装置
2610 ユーザ嗜好関数生成手段
3200、4200 属性情報評価手段
3400、4400 配置決定手段
3500 表示態様分類手段
3600 表示制御手段

Claims (7)

  1.  コンテンツと当該コンテンツの属性とを対応させて複数記憶している記憶手段と、
     前記記憶手段に記憶されている複数のコンテンツのうち、所定のコンテンツを画面に出力する第一出力制御手段と、
     前記出力されているコンテンツの属性と関連する属性を持つ関連コンテンツの集合を、前記記憶手段に記憶されている複数のコンテンツから特定する関連コンテンツ特定手段と、
     前記記憶手段に記憶されている複数のコンテンツを前記複数のコンテンツのそれぞれの属性に基づいて複数のグループに分類し、前記分類された各グループに属しているコンテンツの総数を計算し、前記計算されたコンテンツの総数が所定値を超えたグループに含まれるコンテンツを、高嗜好コンテンツの集合として特定するユーザ嗜好特定手段と、
     前記コンテンツの集合と前記高嗜好コンテンツの集合との双方に属しているコンテンツを画面に出力する第二出力制御手段と、
     を備えることを特徴とするコンテンツ出力装置。
  2.  前記コンテンツ出力装置は、ユーザ嗜好関数生成手段を備え、
     前記ユーザ嗜好関数生成手段は、前記高嗜好コンテンツの集合に属するコンテンツに対するユーザの嗜好度を算出するためのユーザ嗜好関数を生成し、
     前記第二出力制御手段は、前記生成されたユーザ嗜好関数を用いて、前記高嗜好コンテンツの集合に属する各コンテンツのユーザ嗜好度を計算し、前記関連コンテンツの集合と前記高嗜好コンテンツの集合との双方に属しているコンテンツを、前記コンテンツのユーザ嗜好度の高さに応じて目立つように加工して、画面に出力する
     ことを特徴とする請求項1記載のコンテンツ出力装置。
  3.  前記ユーザ嗜好関数生成手段は、前記高嗜好コンテンツの集合が共通して保有する属性が数値で表現できる場合に、前記属性を横軸にして、前記高嗜好コンテンツの集合に属する各コンテンツの属性値をプロットし、前記プロットした各属性値が正規分布に従う標本であるとして確率密度関数を算出して、ユーザ嗜好関数を生成する
     ことを特徴とする請求項2記載のコンテンツ出力装置。
  4.  ユーザに提示するためにコンテンツを出力するコンテンツ出力方法であって、
     コンテンツと当該コンテンツの属性とを対応させて複数記憶している記憶手段に記憶されている複数のコンテンツのうち、所定のコンテンツを画面に出力する第一出力制御ステップと、
     前記出力されているコンテンツの属性と関連する属性を持つ関連コンテンツの集合を、前記記憶手段に記憶されている複数のコンテンツから特定する関連コンテンツ特定ステップと、
     前記記憶手段に記憶されている複数のコンテンツを前記複数のコンテンツのそれぞれの属性に基づいて複数のグループに分類し、前記分類された各グループに属しているコンテンツの総数を計算し、前記計算されたコンテンツの総数が所定値を超えたグループに含まれるコンテンツを、高嗜好コンテンツの集合として特定するユーザ嗜好特定ステップと、
     前記コンテンツの集合と前記高嗜好コンテンツの集合との双方に属しているコンテンツを画面に出力する第二出力制御ステップと、
     を含むことを特徴とするコンテンツ出力方法。
  5.  ユーザに提示するコンテンツを出力するための処理手順をコンピュータ上で実行するようにコンピュータ可読形式で記述されたプログラムであって、
     前記処理手順は、
     コンテンツと当該コンテンツの属性とを対応させて複数記憶している記憶手段に記憶されている複数のコンテンツのうち、所定のコンテンツを画面に出力する第一出力制御ステップと、
     前記出力されているコンテンツの属性と関連する属性を持つ関連コンテンツの集合を、前記記憶手段に記憶されている複数のコンテンツから特定する関連コンテンツ特定ステップと、
     前記記憶手段に記憶されている複数のコンテンツを前記複数のコンテンツのそれぞれの属性に基づいて複数のグループに分類し、前記分類された各グループに属しているコンテンツの総数を計算し、前記計算されたコンテンツの総数が所定値を超えたグループに含まれるコンテンツを、高嗜好コンテンツの集合として特定するユーザ嗜好特定ステップと、
     前記コンテンツの集合と前記高嗜好コンテンツの集合との双方に属しているコンテンツを画面に出力する第二出力制御ステップと、
     を含むことを特徴とするプログラム。
  6.  ユーザに提示するコンテンツを出力するための処理手順をコンピュータ上で実行するようにコンピュータ可読形式で記述されたプログラムを記録したプログラム記録媒体であって、
     前記処理手順は、
     コンテンツと当該コンテンツの属性とを対応させて複数記憶している記憶手段に記憶されている複数のコンテンツのうち、所定のコンテンツを画面に出力する第一出力制御ステップと、
     前記出力されているコンテンツの属性と関連する属性を持つ関連コンテンツの集合を、前記記憶手段に記憶されている複数のコンテンツから特定する関連コンテンツ特定ステップと、
     前記記憶手段に記憶されている複数のコンテンツを前記複数のコンテンツのそれぞれの属性に基づいて複数のグループに分類し、前記分類された各グループに属しているコンテンツの総数を計算し、前記計算されたコンテンツの総数が所定値を超えたグループに含まれるコンテンツを、高嗜好コンテンツの集合として特定するユーザ嗜好特定ステップと、
     前記コンテンツの集合と前記高嗜好コンテンツの集合との双方に属しているコンテンツを画面に出力する第二出力制御ステップと、
     を含むことを特徴とするプログラム記録媒体。
  7.  ユーザに提示するコンテンツを出力するコンテンツ出力集積回路であって、
     コンテンツと当該コンテンツの属性とを対応させて複数記憶している記憶手段に記憶されている複数のコンテンツのうち、所定のコンテンツを画面に出力する第一出力制御手段と、
     前記出力されているコンテンツの属性と関連する属性を持つ関連コンテンツの集合を、前記記憶手段に記憶されている複数のコンテンツから特定する関連コンテンツ特定手段と、
     前記記憶手段に記憶されている複数のコンテンツを前記複数のコンテンツのそれぞれの属性に基づいて複数のグループに分類し、前記分類された各グループに属しているコンテンツの総数を計算し、前記計算されたコンテンツの総数が所定値を超えたグループに含まれるコンテンツを、高嗜好コンテンツの集合として特定するユーザ嗜好特定手段と、
     前記コンテンツの集合と前記高嗜好コンテンツの集合との双方に属しているコンテンツを画面に出力する第二出力制御手段と、
     を備えることを特徴とするコンテンツ出力集積回路。
PCT/JP2011/003160 2010-06-04 2011-06-03 コンテンツ出力装置、コンテンツ出力方法、プログラム、プログラム記録媒体及びコンテンツ出力集積回路 WO2011152072A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012518264A JP5879544B2 (ja) 2010-06-04 2011-06-03 コンテンツ出力装置、コンテンツ出力方法、プログラム、プログラム記録媒体及びコンテンツ出力集積回路
CN201180003127.3A CN102473196B (zh) 2010-06-04 2011-06-03 内容输出装置、内容输出方法及内容输出集成电路
US13/387,217 US8732149B2 (en) 2010-06-04 2011-06-03 Content output device, content output method, program, program recording medium, and content output integrated circuit

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010-128589 2010-06-04
JP2010128589 2010-06-04
JP2010156095 2010-07-08
JP2010-156095 2010-07-08

Publications (1)

Publication Number Publication Date
WO2011152072A1 true WO2011152072A1 (ja) 2011-12-08

Family

ID=45066462

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/003160 WO2011152072A1 (ja) 2010-06-04 2011-06-03 コンテンツ出力装置、コンテンツ出力方法、プログラム、プログラム記録媒体及びコンテンツ出力集積回路

Country Status (4)

Country Link
US (1) US8732149B2 (ja)
JP (1) JP5879544B2 (ja)
CN (1) CN102473196B (ja)
WO (1) WO2011152072A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537252A (zh) * 2015-01-05 2015-04-22 深圳市腾讯计算机系统有限公司 用户状态单分类模型训练方法和装置
JP2016057901A (ja) * 2014-09-10 2016-04-21 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2019207507A (ja) * 2018-05-28 2019-12-05 株式会社電警 サイト作成用画像選択支援方法
CN114327628A (zh) * 2021-12-28 2022-04-12 深圳市汇川技术股份有限公司 分层控制方法、系统、终端设备及存储介质
JP7345677B1 (ja) * 2022-06-06 2023-09-15 三菱電機株式会社 情報生成装置、情報出力装置、および、情報出力方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9552376B2 (en) 2011-06-09 2017-01-24 MemoryWeb, LLC Method and apparatus for managing digital files
KR101851241B1 (ko) * 2011-12-06 2018-04-24 삼성전자 주식회사 휴대 단말기의 컨텐츠 통합 관리 방법 및 장치
TWI533197B (zh) * 2012-06-19 2016-05-11 緯創資通股份有限公司 影像輸出方法與電子裝置
US20140082023A1 (en) * 2012-09-14 2014-03-20 Empire Technology Development Llc Associating an identity to a creator of a set of visual files
KR20140081220A (ko) * 2012-12-21 2014-07-01 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
US10496937B2 (en) * 2013-04-26 2019-12-03 Rakuten, Inc. Travel service information display system, travel service information display method, travel service information display program, and information recording medium
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9972121B2 (en) 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
USD781318S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
US10409453B2 (en) 2014-05-23 2019-09-10 Microsoft Technology Licensing, Llc Group selection initiated from a single item
US10291597B2 (en) 2014-08-14 2019-05-14 Cisco Technology, Inc. Sharing resources across multiple devices in online meetings
US10034038B2 (en) 2014-09-10 2018-07-24 Cisco Technology, Inc. Video channel selection
US10542126B2 (en) 2014-12-22 2020-01-21 Cisco Technology, Inc. Offline virtual participation in an online conference meeting
US9948786B2 (en) 2015-04-17 2018-04-17 Cisco Technology, Inc. Handling conferences using highly-distributed agents
US10069697B2 (en) * 2016-01-29 2018-09-04 Microsoft Technology Licensing, Llc Routing actions to user devices based on a user graph
US10592867B2 (en) 2016-11-11 2020-03-17 Cisco Technology, Inc. In-meeting graphical user interface display using calendar information and system
US10516707B2 (en) 2016-12-15 2019-12-24 Cisco Technology, Inc. Initiating a conferencing meeting using a conference room device
US10440073B2 (en) 2017-04-11 2019-10-08 Cisco Technology, Inc. User interface for proximity based teleconference transfer
US10375125B2 (en) 2017-04-27 2019-08-06 Cisco Technology, Inc. Automatically joining devices to a video conference
US10375474B2 (en) 2017-06-12 2019-08-06 Cisco Technology, Inc. Hybrid horn microphone
US10477148B2 (en) 2017-06-23 2019-11-12 Cisco Technology, Inc. Speaker anticipation
US10516709B2 (en) 2017-06-29 2019-12-24 Cisco Technology, Inc. Files automatically shared at conference initiation
US10706391B2 (en) 2017-07-13 2020-07-07 Cisco Technology, Inc. Protecting scheduled meeting in physical room
US10091348B1 (en) 2017-07-25 2018-10-02 Cisco Technology, Inc. Predictive model for voice/video over IP calls

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11154153A (ja) * 1997-11-20 1999-06-08 Sharp Corp データ検索方法、データ検索装置、及びコンピュータに実行させるデータ検索プログラムを記録した記録媒体
JP2000322445A (ja) * 1999-05-14 2000-11-24 Mitsubishi Electric Corp 情報検索システムおよびこのプログラムを記録した記録媒体
JP2004206679A (ja) * 2002-12-12 2004-07-22 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP2006318033A (ja) * 2005-05-10 2006-11-24 Olympus Imaging Corp 画像管理装置、画像管理プログラム、画像管理方法及び記録媒体
JP2007058562A (ja) * 2005-08-24 2007-03-08 Sharp Corp コンテンツ分類装置、コンテンツ分類方法、コンテンツ分類プログラムおよび記録媒体
JP2007310610A (ja) * 2006-05-18 2007-11-29 Hitachi Software Eng Co Ltd 衛星画像処理システム
JP2009140452A (ja) * 2007-12-11 2009-06-25 Sony Corp 情報処理装置および方法、並びにプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317739B1 (en) 1997-11-20 2001-11-13 Sharp Kabushiki Kaisha Method and apparatus for data retrieval and modification utilizing graphical drag-and-drop iconic interface
JP2003067397A (ja) 2001-06-11 2003-03-07 Matsushita Electric Ind Co Ltd コンテンツ管理システム
US20040172410A1 (en) 2001-06-11 2004-09-02 Takashi Shimojima Content management system
JP2003067393A (ja) 2001-08-29 2003-03-07 Matsushita Electric Ind Co Ltd 問い合わせ応答方法および装置
CN100524297C (zh) * 2002-12-12 2009-08-05 索尼株式会社 信息处理设备、信息处理方法、记录介质和程序
JP4380494B2 (ja) 2004-10-07 2009-12-09 ソニー株式会社 コンテンツ・マネジメント・システム及びコンテンツ・マネジメント方法、並びにコンピュータ・プログラム
US20080294607A1 (en) * 2007-05-23 2008-11-27 Ali Partovi System, apparatus, and method to provide targeted content to users of social networks

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11154153A (ja) * 1997-11-20 1999-06-08 Sharp Corp データ検索方法、データ検索装置、及びコンピュータに実行させるデータ検索プログラムを記録した記録媒体
JP2000322445A (ja) * 1999-05-14 2000-11-24 Mitsubishi Electric Corp 情報検索システムおよびこのプログラムを記録した記録媒体
JP2004206679A (ja) * 2002-12-12 2004-07-22 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP2006318033A (ja) * 2005-05-10 2006-11-24 Olympus Imaging Corp 画像管理装置、画像管理プログラム、画像管理方法及び記録媒体
JP2007058562A (ja) * 2005-08-24 2007-03-08 Sharp Corp コンテンツ分類装置、コンテンツ分類方法、コンテンツ分類プログラムおよび記録媒体
JP2007310610A (ja) * 2006-05-18 2007-11-29 Hitachi Software Eng Co Ltd 衛星画像処理システム
JP2009140452A (ja) * 2007-12-11 2009-06-25 Sony Corp 情報処理装置および方法、並びにプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016057901A (ja) * 2014-09-10 2016-04-21 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
US9721163B2 (en) 2014-09-10 2017-08-01 Fujifilm Corporation Image processing apparatus, image processing method, and recording medium
CN104537252A (zh) * 2015-01-05 2015-04-22 深圳市腾讯计算机系统有限公司 用户状态单分类模型训练方法和装置
JP2019207507A (ja) * 2018-05-28 2019-12-05 株式会社電警 サイト作成用画像選択支援方法
JP7072189B2 (ja) 2018-05-28 2022-05-20 株式会社エヌエルプラス サイト作成用画像選択支援方法
CN114327628A (zh) * 2021-12-28 2022-04-12 深圳市汇川技术股份有限公司 分层控制方法、系统、终端设备及存储介质
JP7345677B1 (ja) * 2022-06-06 2023-09-15 三菱電機株式会社 情報生成装置、情報出力装置、および、情報出力方法

Also Published As

Publication number Publication date
US8732149B2 (en) 2014-05-20
JP5879544B2 (ja) 2016-03-08
CN102473196B (zh) 2015-08-12
US20120127066A1 (en) 2012-05-24
CN102473196A (zh) 2012-05-23
JPWO2011152072A1 (ja) 2013-07-25

Similar Documents

Publication Publication Date Title
JP5879544B2 (ja) コンテンツ出力装置、コンテンツ出力方法、プログラム、プログラム記録媒体及びコンテンツ出力集積回路
US7716157B1 (en) Searching images with extracted objects
US10289273B2 (en) Display device providing feedback based on image classification
CN1680939B (zh) 数字文件和数据的快速可视分类方法
CN108369633B (zh) 相册的视觉表示
US20190163768A1 (en) Automatically curated image searching
CN111339246A (zh) 查询语句模板的生成方法、装置、设备及介质
CN107622518A (zh) 图片合成方法、装置、设备及存储介质
US9538116B2 (en) Relational display of images
WO2015107640A1 (ja) アルバム作成プログラム、アルバム作成方法およびアルバム作成装置
CN101783886A (zh) 信息处理设备、信息处理方法和程序
CN108028054A (zh) 对自动生成的音频/视频展示的音频和视频分量进行同步
US20110016398A1 (en) Slide Show
JP2013105309A (ja) 情報処理装置、情報処理方法、及びプログラム
CN103403765B (zh) 内容加工装置及其集成电路、方法
US20130055079A1 (en) Display device providing individualized feedback
CN113836334A (zh) 图像处理装置、图像处理方法及记录介质
CN116301348A (zh) 一种博物馆展厅个性化游览布局方法及系统
JP5237724B2 (ja) 画像検索システム
CN117041679A (zh) 视频剪辑方法、装置、计算机设备及存储介质
US11283945B2 (en) Image processing apparatus, image processing method, program, and recording medium
US9767579B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
Leung et al. Content-based retrieval in multimedia databases
JP2010257266A (ja) コンテンツ出力システム、サーバー装置、コンテンツ出力装置、コンテンツ出力方法、コンテンツ出力プログラム、及びコンテンツ出力プログラムを記憶した記録媒体
JP6276375B2 (ja) 画像検索装置、画像表示装置、画像検索方法、および画像表示方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180003127.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11789485

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13387217

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012518264

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11789485

Country of ref document: EP

Kind code of ref document: A1