CN107424206B - 一种利用现实环境影响虚拟场景光影表现的互动方法 - Google Patents
一种利用现实环境影响虚拟场景光影表现的互动方法 Download PDFInfo
- Publication number
- CN107424206B CN107424206B CN201710243806.7A CN201710243806A CN107424206B CN 107424206 B CN107424206 B CN 107424206B CN 201710243806 A CN201710243806 A CN 201710243806A CN 107424206 B CN107424206 B CN 107424206B
- Authority
- CN
- China
- Prior art keywords
- shadow
- picture
- scene
- influencing
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000003993 interaction Effects 0.000 title description 8
- 230000002452 interceptive effect Effects 0.000 claims abstract description 11
- 238000009877 rendering Methods 0.000 claims abstract description 7
- 238000005070 sampling Methods 0.000 claims description 10
- 230000007613 environmental effect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 24
- 238000010586 diagram Methods 0.000 description 13
- 241000406668 Loxodonta cyclotis Species 0.000 description 7
- 239000003086 colorant Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/16—Using real world measurements to influence rendering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
一种利用现实环境影响虚拟场景光影表现的互动方法，包括步骤：获取场景照片；对场景照片进行光影色彩信息的提取；基于提取的光影色彩信息，对系统图片进行渲染；其中，所述光影色彩信息包括：单像素颜色及色带。本发明的利用现实环境影响虚拟场景光影表现的互动方法，基于从现实图片中提取的光影色彩信息，影响虚拟图片中光影的表现效果，让虚拟图片受到真实世界中的光影的影响，得到更真实丰富的画面体验。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种利用现实环境影响虚拟场景光影表现的互动方法。
背景技术
目前市面上公开的虚拟产品中，光影色彩等场景设计是一项重要的元素。为了更逼近于现实体验，产品供应商利用设计软件进行相关的处理，以达到逼真的效果。但由于都是系统固定的场景，其光影色彩效果均为已经设定好的参数，因而具有很大的局限性。在当今越来越追求真实效果的时代中，已经无法给用户带来更切身的真实体验。
因此，提出一种利用现实环境影响虚拟场景光影表现的互动方法，能够把现实世界中的光影色彩等效果投影到虚拟系统中，以满足用户的需求，成为亟待解决的问题。
发明内容
为了解决现有技术存在的不足，本发明的目的在于提供一种利用现实环境影响虚拟场景光影表现的互动方法，能够使虚拟系统中的画面受到真实世界光影色彩的影响，和真实世界中的光影色彩产生互动，达到更真实的虚拟效果体验。
为实现上述目的，本发明提供的利用现实环境影响虚拟场景光影表现的互动方法，包括以下步骤：
（1）获取场景照片；（2）对场景照片进行光影色彩信息的提取；（3）基于提取的光影色彩信息，对系统图片进行渲染；其中，所述光影色彩信息包括：单像素颜色及色带。
进一步地，步骤（2）中所述对场景照片进行光影色彩信息的提取，是：（21）对场景照片进行降采样，获得不同尺寸的图片；（22）对场景照片的边缘进行降采样，获得不同尺寸的色带。
进一步地，所述降采样，是指将多个像素合并成一个像素。
进一步地，步骤（3）所述基于提取的光影色彩信息，对系统图片进行渲染，是：（31）将提取的最小尺寸的图片中的单像素颜色作为环境反射；（32）将提取的场景照片的边缘色带作为漫反射光源，对系统图片的边缘色带进行光照；（33）将原始照片和提取的不同尺寸的图片作为高光反射的反射背景。
进一步地，所述步骤（33）中：进行高光反射，需要根据材质自身的平滑度来选取最合适的分辨率。
进一步地，所述步骤（33）中：计算高光时，通过视向量的反射向量来对场景照片和提取的不同尺寸的图片进行采样，并且通过模型光滑度决定使用的图片尺寸。
进一步还包括步骤：将不同尺寸的图片作为一个集合，包装为一个实体，使用时用代码直接选取。
本发明的利用现实环境影响虚拟场景光影表现的互动方法，基于从现实图片中提取的光影色彩信息，影响虚拟图片中光影的表现效果，让虚拟图片受到真实世界中的光影的影响，得到更真实丰富的画面体验。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：
图1为根据本发明的利用现实环境影响虚拟场景光影表现的互动方法流程图；
图2为根据本发明的原始场景沙滩的照片；
图3为对图2中的照片边缘进行降采样得到的环形彩色条带图片；
图4为对图2中的照片进行降采样得到的低分辨率图片；
图5为根据本发明的系统中的原始图片大象模型；
图6为图5中的原始图片大象模型增加漫反射后的效果图；
图7为图6中的漫反射效果图增加高光反射后的效果图；
图8为图7中的图片增加背景沙滩后的总体效果图；
图9为图5中的原始图片增加漫反射、高光反射及公园背景的总体效果图；
图10为图5中的原始图片增加漫反射、高光反射及水面夜景的总体效果图；
图11为图5中的原始图片增加漫反射、高光反射及绿野草原的总体效果图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1为根据本发明的利用现实环境影响虚拟场景光影表现的互动方法流程图，下面将参考图1，对本发明的利用现实环境影响虚拟场景光影表现的互动方法进行详细描述。
在下面的实施例中，利用环境的场景照片中的光影信息影响系统中的图片的光影表现。
在步骤101，进入系统后，系统提供拍照（手动或自动拍照）功能，对周围环境进行拍摄，得到当前场景的一张照片；或者通过上传等方式将一张具有光影效果的照片传至系统中。
在步骤102，对这张照片进行光影色彩信息的提取，提取的具体方式为：
1）对照片进行降采样，获得从大到小多个尺寸的图片；
该步骤中，降采样是指：将图片中的多个像素合并成一个像素。
通过降采样可以将大尺寸图片变成分辨率更小的图片。例如，将一张512*512像素的图片中的4个像素合并降采样后，会得到一张256*256像素的图片，依次降级最终会得到一张1*1像素的图片。
从大到小多个尺寸的图片，则是指进行降采样处理后，得到的一系列的不同分辨率的图片。
2）对照片的边缘进行降采样，获得从大到小多个尺寸的色带。
在该步骤中，对照片边缘的一维色带进行降采样处理，得到一系列的不同分辨率的色带。
在步骤103，对系统中的图片进行渲染，渲染的具体方式为：
1）将提取的最小尺寸的图片中的单像素颜色作为环境反射；
2）将提取的照片中的边缘色带作为漫反射光源，对系统中的图片的边缘色带进行光照；
3）将原始照片和提取的多个尺寸的图片作为高光反射的反射背景。
该步骤中，进行高光反射，需要根据材质自身的平滑度来选取最合适的分辨率，比如粗糙表面需要选取低分辨率，光滑表面需要选取高分辨率。
其中，在计算高光时，通过视向量的反射向量来对原始照片和提取的多个尺寸的图片进行采样，并且通过模型光滑度来决定使用的图片尺寸。
在上述过程中，不同分辨率的图片可以作为一个集合，包装为一个实体，比如常见的mipmap数据结构，使用时用代码直接选取。
本发明的利用现实环境影响虚拟场景光影表现的互动方法，可通过拍摄设备获取外界光影的真实情况，来影响虚拟场景中的光影表现。
下面结合附图2-11，进一步阐述本发明的利用现实环境影响虚拟场景光影表现的互动方法的工作原理。
首先，对图2中的原始场景沙滩的照片的边缘进行降采样，得到如图3所示的生成漫反射所需要的环形彩色条带。
其次，对图2中的原始场景沙滩的照片进行降采样，得到如图4所示的生成高光反射所需的低分辨率图片（图4中仅视出一级mipmap贴图）。
再次，通过图3中的图片对图5中的系统中的原始图片大象模型增加漫反射，得到如图6所示的漫反射效果图；
再次，通过图4中的图片对图6中的漫反射效果图增加高光反射，得到如图7所示的优化画面后的效果图。
最后，通过图2中的原始环境场景沙滩的照片为图7中的优化画面后的效果图增加背景，得到如图8所示的总体效果图。
而图9-11，则分别示出了对图5中的原始图片大象模型，通过不同的环境场景照片得到的不同的总体效果图。其中，图9为为大象模型增添公园背景后的总体效果图，图10为为大象模型增添水面夜景后的总体效果图，图11为为大象模型增添绿野草原后的总体效果图。
本发明的利用现实环境影响虚拟场景光影表现的互动方法，基于从现实图片中提取的光影色彩信息，影响虚拟图片中光影的表现效果，让虚拟图片受到真实世界中的光影的影响，得到更真实丰富的画面体验。
本领域普通技术人员可以理解：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种利用现实环境影响虚拟场景光影表现的互动方法，其特征在于，包括以下步骤：
（1）获取场景照片；
（2）对场景照片进行光影色彩信息的提取；
步骤（2）中所述对场景照片进行光影色彩信息的提取，是：
（21）对场景照片进行降采样，获得不同尺寸的图片；
（22）对场景照片的边缘进行降采样，获得不同尺寸的色带；
（3）基于提取的光影色彩信息，对系统图片进行渲染；
其中，所述光影色彩信息包括：单像素颜色及色带；
步骤（3）所述基于提取的光影色彩信息，对系统图片进行渲染，是：
（31）将提取的最小尺寸的图片中的单像素颜色作为环境反射；
（32）将提取的场景照片的边缘色带作为漫反射光源，对系统图片的边缘色带进行光照；
（33）将场景照片和提取的不同尺寸的图片作为高光反射的反射背景。
2.根据权利要求1所述利用现实环境影响虚拟场景光影表现的互动方法，其特征在于，所述降采样，是指将多个像素合并成一个像素。
3.根据权利要求1所述利用现实环境影响虚拟场景光影表现的互动方法，其特征在于，所述步骤（33）中：
进行高光反射，需要根据材质自身的平滑度来选取最合适的分辨率。
4.根据权利要求1所述利用现实环境影响虚拟场景光影表现的互动方法，其特征在于，所述步骤（33）中：
计算高光时，通过视向量的反射向量来对场景照片和提取的不同尺寸的图片进行采样，并且通过模型光滑度决定使用的图片尺寸。
5.根据权利要求1所述利用现实环境影响虚拟场景光影表现的互动方法，其特征在于，进一步还包括步骤：将不同尺寸的图片作为一个集合，包装为一个实体，使用时用代码直接选取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710243806.7A CN107424206B (zh) | 2017-04-14 | 2017-04-14 | 一种利用现实环境影响虚拟场景光影表现的互动方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710243806.7A CN107424206B (zh) | 2017-04-14 | 2017-04-14 | 一种利用现实环境影响虚拟场景光影表现的互动方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107424206A CN107424206A (zh) | 2017-12-01 |
| CN107424206B true CN107424206B (zh) | 2020-09-22 |
Family
ID=60423412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710243806.7A Active CN107424206B (zh) | 2017-04-14 | 2017-04-14 | 一种利用现实环境影响虚拟场景光影表现的互动方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107424206B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11210853B2 (en) | 2017-12-19 | 2021-12-28 | Sony Interactive Entertainment Inc. | Image generation apparatus and image generation method |
| CN109712216B (zh) * | 2018-11-30 | 2023-06-23 | 东软集团股份有限公司 | 图表渲染方法、装置、可读存储介质及电子设备 |
| CN109960872B (zh) * | 2019-03-22 | 2023-02-03 | 南京可居网络科技有限公司 | Ar虚拟软装搭配管理系统及其工作方法 |
| CN109949400B (zh) * | 2019-03-22 | 2023-02-03 | 南京可居网络科技有限公司 | 适于ar虚拟软装合成的光影估计和重构方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1273405A (zh) * | 1999-05-06 | 2000-11-15 | 英业达集团（南京）电子技术有限公司 | 三维图形的产生方法 |
| CN101710429A (zh) * | 2009-10-12 | 2010-05-19 | 湖南大学 | 一种基于动态light map的增强现实系统光照算法 |
| CN103995700A (zh) * | 2014-05-14 | 2014-08-20 | 无锡梵天信息技术股份有限公司 | 一种3d游戏引擎全局照明的实现方法 |
| CN104157005A (zh) * | 2014-08-06 | 2014-11-19 | 无锡梵天信息技术股份有限公司 | 一种基于图像的hdr光照渲染方法 |
| CN104392481A (zh) * | 2014-11-25 | 2015-03-04 | 无锡梵天信息技术股份有限公司 | 一种利用贴图控制高光反射清晰度的方法及装置 |
| CN105447906A (zh) * | 2015-11-12 | 2016-03-30 | 浙江大学 | 基于图像和模型计算光照参数进行重光照渲染的方法 |
| CN105761300A (zh) * | 2015-12-30 | 2016-07-13 | 吉林纪元时空动漫游戏科技集团股份有限公司 | 基于预采样的过程Shader反走样的处理方法 |
| CN106383587A (zh) * | 2016-10-26 | 2017-02-08 | 腾讯科技（深圳）有限公司 | 一种增强现实场景生成方法、装置及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102247565B1 (ko) * | 2014-09-12 | 2021-05-03 | 삼성전자 주식회사 | 렌더링 방법 및 장치 |
-
2017
- 2017-04-14 CN CN201710243806.7A patent/CN107424206B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1273405A (zh) * | 1999-05-06 | 2000-11-15 | 英业达集团（南京）电子技术有限公司 | 三维图形的产生方法 |
| CN101710429A (zh) * | 2009-10-12 | 2010-05-19 | 湖南大学 | 一种基于动态light map的增强现实系统光照算法 |
| CN103995700A (zh) * | 2014-05-14 | 2014-08-20 | 无锡梵天信息技术股份有限公司 | 一种3d游戏引擎全局照明的实现方法 |
| CN104157005A (zh) * | 2014-08-06 | 2014-11-19 | 无锡梵天信息技术股份有限公司 | 一种基于图像的hdr光照渲染方法 |
| CN104392481A (zh) * | 2014-11-25 | 2015-03-04 | 无锡梵天信息技术股份有限公司 | 一种利用贴图控制高光反射清晰度的方法及装置 |
| CN105447906A (zh) * | 2015-11-12 | 2016-03-30 | 浙江大学 | 基于图像和模型计算光照参数进行重光照渲染的方法 |
| CN105761300A (zh) * | 2015-12-30 | 2016-07-13 | 吉林纪元时空动漫游戏科技集团股份有限公司 | 基于预采样的过程Shader反走样的处理方法 |
| CN106383587A (zh) * | 2016-10-26 | 2017-02-08 | 腾讯科技（深圳）有限公司 | 一种增强现实场景生成方法、装置及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 海洋虛拟场景构造及动态光影渲染关键技术研究;李娜;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150131(第1期);第I138-1567页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107424206A (zh) | 2017-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10580140B2 (en) | Method and system of real-time image segmentation for image processing | |
| US20230186434A1 (en) | Defocus operations for a virtual display with focus and defocus determined based on camera settings | |
| CN107424206B (zh) | 一种利用现实环境影响虚拟场景光影表现的互动方法 | |
| US9591237B2 (en) | Automated generation of panning shots | |
| JP2020530920A (ja) | 画像照明方法、装置、電子機器および記憶媒体 | |
| CN109862389B (zh) | 一种视频处理方法、装置、服务器及存储介质 | |
| US20190180107A1 (en) | Colour look-up table for background segmentation of sport video | |
| CN103440674B (zh) | 一种数字图像蜡笔特效的快速生成方法 | |
| US9704229B2 (en) | Post-render motion blur | |
| CN107507155A (zh) | 视频分割结果边缘优化实时处理方法、装置及计算设备 | |
| JP6162345B2 (ja) | 画像の記録または表示の前にシーン依存の画像修正を可能にする生のシーン認識 | |
| WO2006135358A1 (en) | Method, apparatus and system for alternate image/video insertion | |
| US12182968B2 (en) | Image processing method, apparatus, and device | |
| CN104182194A (zh) | 投影显示中无缝边缘融合处理方法与系统 | |
| CN115546377A (zh) | 一种视频融合方法、装置、电子设备及存储介质 | |
| CN116368811A (zh) | 基于显著性的捕获或图像处理 | |
| JP2016142988A (ja) | 表示装置及び表示制御プログラム | |
| CN107590776A (zh) | 图像处理装置和图像处理方法 | |
| CN109859303B (zh) | 图像的渲染方法、装置、终端设备及可读存储介质 | |
| US12010433B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN111381752B (zh) | 一种抓屏方法、装置、存储介质及终端 | |
| JP5969105B1 (ja) | 撮影装置および撮影方法 | |
| WO2012030975A2 (en) | Method and apparatus for enhancing a white board experience | |
| US20230206449A1 (en) | Computer Software Module Arrangement, a Circuitry Arrangement, an Arrangement and a Method for Improved Image Processing | |
| CN113947671A (zh) | 全景360度图像分割合成方法、系统及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |