CN107147648A - 资源请求的处理方法、客户端、服务器和系统 - Google Patents
资源请求的处理方法、客户端、服务器和系统 Download PDFInfo
- Publication number
- CN107147648A CN107147648A CN201710330977.3A CN201710330977A CN107147648A CN 107147648 A CN107147648 A CN 107147648A CN 201710330977 A CN201710330977 A CN 201710330977A CN 107147648 A CN107147648 A CN 107147648A
- Authority
- CN
- China
- Prior art keywords
- request
- webpage
- url
- blacklist
- resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 58
- 230000001960 triggered effect Effects 0.000 claims abstract description 45
- 230000004044 response Effects 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims description 9
- 238000002347 injection Methods 0.000 abstract description 8
- 239000007924 injection Substances 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000012216 screening Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
- H04L63/101—Access control lists [ACL]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
- H04L63/1483—Countermeasures against malicious traffic service impersonation, e.g. phishing, pharming or web spoofing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/30—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
- H04L63/302—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information gathering intelligence information for situation awareness or reconnaissance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Technology Law (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例公开了一种资源请求的处理方法、客户端、服务器和系统,其中,方法包括:响应于网页触发请求,获取触发的网页中所有的网页资源请求;将所有网页资源请求发送到服务器中,并接收服务器判断的网页资源请求是否为黑名单请求;对于属于黑名单请求的网页资源请求,屏蔽网页资源请求;对于属于非黑名单请求的网页资源请求,响应于网页资源请求执行操作。本发明实施例通过获取的所有网页资源请求发送到服务器中,并根据服务器发送的判断网页资源请求是否是黑名单请求执行操作,对黑名单请求进行屏蔽,有效拦截了对当前网页的流量注入;对于非黑名单请求,响应于该网页资源请求执行操作,在拦截流量注入的同时,保证了正常请求的操作。
Description
技术领域
本发明涉及网络资源处理技术,尤其是一种资源请求的处理方法、客户端、服务器和系统。
背景技术
随着互联网技术的迅猛发展,人们的很多生活行为都在网络上完成,如通讯、购物等等。正因如此各种钓鱼行为也在威胁广大网民的信息安全以及财产安全。
之前大多数的钓鱼欺诈行为是通过恶意的黑网站的来进行的,当用户访问该黑网站时,个人信息安全、财产安全等会受到威胁。
恶意网站,例如钓鱼网站、或者是欺诈,仿冒网站等,主要是通过仿冒真实网站的URL地址或是页面内容,伪装成银行及电子商务等类型的网站,或是利用真实网站服务器程序上的漏洞,在该网站的某些网页中插入危险的网页代码,以此来骗取用户银行或信用卡账号、密码等私人资料。恶意网页中包含着许多敏感的特征,例如,金融欺诈类的恶意网页会在文字、图片等方面仿冒官网,或是在真实网页中插入虚假票务、虚假中奖、假冒网银、虚假购物等信息,这些特征大多以文本串的形式出现在网页中。
现有的为了防范恶意网站的主要手段是当用户访问某网站时,客户端将网站的URL发送至服务器端的黑白名单数据库进行查询,所谓的黑名单数据库即是已审核确认的恶意网站的URL名单数据库,所谓的白名单数据库即是已审核确认的安全网站的URL。服务器端经过查询后,将网站是否属于恶意网站的结果反馈给客户端。
发明内容
本发明实施例所要解决的一个技术问题是:提供一种自动识别恶意请求并进行屏蔽的资源请求的处理技术。
本发明实施例提供的一种资源请求的处理方法,应用于客户端,包括:
响应于网页触发请求,获取所述触发的网页中所有的网页资源请求;
将所有网页资源请求发送到服务器中,并接收服务器判断的所述网页资源请求是否为黑名单请求;
对于属于黑名单请求的网页资源请求,屏蔽所述网页资源请求;
对于属于非黑名单请求的网页资源请求,响应于所述网页资源请求执行操作。
基于上述方法的另一实施例中,所述获取所述触发的网页中所有的网页资源请求,包括:
遍历所述触发的网页对应的dom文档对象模型树,获取所述触发的网页中的所有url统一资源定位符,基于所述url统一资源定位符获得对应的网页资源请求。
基于上述方法的另一实施例中,所述将所有网页资源请求发送到服务器中之前,还包括:
获取与所有所述网页资源请求对应的url统一资源定位符;判断所述url统一资源定位符与所述触发的网页对应的url是否为同源url;
将获得的非同源url对应的网页资源请求发送到服务器中;
对同源url对应的网页资源请求,响应于所述网页资源请求执行操作。
基于上述方法的另一实施例中,所述获取与所述网页资源请求对应的url之后,包括:
若确定所述url中不包括所述客户端的网关地址,则响应于所述网页资源请求执行操作。
基于上述方法的另一实施例中,所述屏蔽所述网页资源请求,包括:
操作所述触发的网页对应dom文档对象模型树对所述网页资源请求对应的url统一资源定位符进行屏蔽,通过屏蔽所述网页资源请求对应的url统一资源定位符实现屏蔽所述网页资源请求。
根据本发明实施例的另一个方面,提供的一种资源请求的处理方法,应用于服务器端,包括:
接收客户端发送的所有网页资源请求;
获取与所有所述网页资源请求对应的url统一资源定位符;
基于预存的数据判断所述url统一资源定位符是否为黑名单url,将黑名单url对应的网页资源请求作为黑名单请求,将非黑名单url对应的网页资源请求作为非黑名单请求;
将所述网页资源请求是黑名单请求和/或是非黑名单请求发送给客户端。
根据本发明实施例的另一个方面,提供的一种客户端,包括:
请求获取单元,用于响应于网页触发请求,获取所述触发的网页中所有的网页资源请求;
请求发送单元,用于将所有网页资源请求发送到服务器中,并接收服务器判断的所述网页资源请求是否为黑名单请求;
请求屏蔽单元,用于对于属于黑名单请求的网页资源请求,屏蔽所述网页资源请求;
请求响应单元,用于对于属于非黑名单请求的网页资源请求,响应于所述网页资源请求执行操作。
根据本发明实施例的另一个方面,提供的一种服务器,包括:
请求接收单元,用于接收客户端发送的所有网页资源请求;
获取单元,用于获取与所有所述网页资源请求对应的url统一资源定位符;
黑名单判断单元,用于基于预存的数据判断所述url统一资源定位符是否为黑名单url,将所述黑名单url对应的网页资源请求作为黑名单请求,将所述非黑名单url对应的网页资源请求作为非黑名单请求,并将判断结果发送到结果发送单元;
结果发送单元,用于将黑名单判断单元发送的判断结果发送给客户端。
根据本发明实施例的另一个方面,提供的一种资源请求的处理系统,包括如上所述的服务器和至少一个如上所述的客户端。
基于本发明上述实施例提供的一种资源请求的处理方法、客户端、服务器和系统,通过获取的所有网页资源请求发送到服务器中,并根据服务器发送的判断网页资源请求是否是黑名单请求执行操作,对黑名单请求进行屏蔽,有效拦截了对当前网页的流量注入;对于非黑名单请求,响应于该网页资源请求执行操作,在拦截流量注入的同时,保证了正常请求的操作。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本发明的实施例,并且连同描述一起用于解释本发明的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本发明,其中:
图1为本发明资源请求的处理方法一个实施例的流程图。
图2为本发明资源请求的处理方法另一个实施例的流程图。
图3为本发明客户端一个实施例的结构示意图。
图4为本发明客户端另一个实施例的结构示意图。
图5为本发明资源请求的处理方法一个实施例的流程图。
图6为本发明服务器一个实施例的结构示意图。
图7为本发明服务器另一个实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于计算机系统/服务器,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1为本发明资源请求的处理方法一个实施例的流程图。如图1所示,该方法应用于客户端,该实施例方法包括:
步骤101,响应于网页触发请求,获取触发的网页中所有的网页资源请求。
具体实现过程可以是,在客户端中中打开某一浏览器(对浏览器的种类并不限定),通过该浏览器接收到网页触发请求,根据该网页触发请求打开网页后,遍历网页中所有的url统一资源定位符,就可以获得所请求网页中所有的网页资源请求,其中,网页资源请求指对网络资源存在占用问题和/或对所请求网页注入流量的请求。
步骤105,将所有网页资源请求发送到服务器中,并接收服务器判断的网页资源请求是否为黑名单请求。
本申请目前提出的方案中对于黑名单的判断是在服务器中完成的,该服务器和客户端可以属于同一网络,或属于不同网络。
步骤106,对于属于黑名单请求的网页资源请求,屏蔽网页资源请求;对于属于非黑名单请求的网页资源请求,响应于网页资源请求执行操作。
基于本发明上述实施例提供的资源请求的处理方法,通过获取的所有网页资源请求发送到服务器中,并根据服务器发送的判断网页资源请求是否是黑名单请求执行操作,对黑名单请求进行屏蔽,有效拦截了对当前网页的流量注入;对于非黑名单请求,响应于该网页资源请求执行操作,在拦截流量注入的同时,保证了正常请求的操作。
在本发明资源请求的处理方法上述实施例的一个具体示例中,步骤101具体还可以包括:
遍历触发的网页对应的dom文档对象模型树,获取触发的网页中的所有url统一资源定位符,基于url统一资源定位符获得对应的网页资源请求。
在本实施例中,将触发的网页解析成dom树,解析的方法包括但不限于以下几种方式:
第一种方法,WebBrowser控件会将所有的页面元素全部下载下来,比较慢,若没有下载完,相关的UI属性不是最后网页所展现的样式;这种方法,解析网页很慢,但是分析网页非常详尽;
第二种方法比第一种方法快,而且也可以取到UI属性;不同的是,源码下载这一块可以自己单独控制,但是,对于有iframe框架的网页,推荐用第一种方法来解析;
第三种方法解析后的dom树没有ui属性;但是解析速度非常快;只是需要操作单独的元素,也就够了,但是,有内存泄漏,要求不很严格的情况下,可以使用下。
遍历解析触发的网页获得的dom树,获得所有的url,url为统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示,是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的url,它包含的信息指出文件的位置以及浏览器应该怎么处理它。由于url的特性,基于获得的url就可以获得对应该url的网页资源请求。
图2为本发明资源请求的处理方法另一个实施例的流程图。在上述各实施例的基础上,如图2所示,本实施例方法包括:
步骤101,响应于网页触发请求,获取触发的网页中所有的网页资源请求。
步骤202,获取与所有网页资源请求对应的url统一资源定位符;
步骤203,判断url统一资源定位符与触发的网页对应的url是否为同源url,如果是,执行步骤204;否则,执行步骤105。
步骤204,对同源url对应的网页资源请求,响应于网页资源请求执行操作。
步骤105,将所有网页资源请求发送到服务器中,并接收服务器判断的网页资源请求是否为黑名单请求。
此时发送到服务器中的网页资源请求是获得的非同源url对应的网页资源请求。
步骤106,对于属于黑名单请求的网页资源请求,屏蔽网页资源请求;对于属于非黑名单请求的网页资源请求,响应于网页资源请求执行操作。
本实施例中对网页资源请求对应的url统一资源定位符与所触发的网页的url统一资源定位符进行比对,就可以判断是否同源,同源是指两个网页的协议、域名和端口都相同,通常一个网页自身内置的链接网址都是与该网页同源的,所以,当判断网页资源请求对应的url与触发网页的url是同源时,可默认该网页资源请求是正常请求,响应该网页资源请求执行操作,只有当判断该网页资源请求与所触发网页是非同源时,才需要将网页资源请求发送给服务器进行鉴别。
在本发明方法上述实施例的一个具体示例中,步骤202与步骤203之间还包括:
若确定url中不包括客户端的网关地址,则响应于网页资源请求执行操作。
当网页资源请求对应的url中不包括当前客户端的网关地址时,可以直接证明所获取的域名解析地址没有被篡改;若所述统一资源定位符中包括所述用户设备的网关地址,且所述统一资源定位符中还包括路由器的配置参数,则获取所述路由器的配置参数中包括的域名解析地址;举例来说,假设上述URL中包括的被请求的网页所在的服务器地址(例如192.168.1.1)与用户设备的网关地址(例如192.168.1.1)是一致的,而且上述URL中还包括路由器的配置参数,则获取路由器的配置参数包括的域名解析地址,例如dnsserver=106.186.29.231,或dns server2=114.114.114.114。
本发明资源请求的处理方法的又一个实施例中,在上述各实施例的基础上,步骤106中屏蔽网页资源请求的过程可以包括:
操作触发的网页对应dom文档对象模型树对网页资源请求对应的url统一资源定位符进行屏蔽,通过屏蔽网页资源请求对应的url统一资源定位符实现屏蔽网页资源请求。
本实施例中,通过对触发的网页解析获得的dom树执行操作,对判定位黑名单请求的网页资源请求对应的url执行屏蔽,以实现对是黑名单请求的网页资源请求屏蔽,其中涉及的通过dom树对某些url进行屏蔽的技术属于现有技术,在此不赘述。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图3为本发明客户端一个实施例的结构示意图。该实施例的客户端可用于实现本发明上述各方法实施例。如图3所示,该实施例的客户端包括:
请求获取单元31,用于响应于网页触发请求,获取触发的网页中所有的网页资源请求。
请求发送单元34,用于将所有网页资源请求发送到服务器中,并接收服务器判断的网页资源请求是否为黑名单请求。
请求屏蔽单元35,用于对于属于黑名单请求的网页资源请求,屏蔽网页资源请求。
请求响应单元36,用于对于属于非黑名单请求的网页资源请求,响应于网页资源请求执行操作。
基于本发明上述实施例提供的一种客户端,通过获取的所有网页资源请求发送到服务器中,并根据服务器发送的判断网页资源请求是否是黑名单请求执行操作,对黑名单请求进行屏蔽,有效拦截了对当前网页的流量注入;对于非黑名单请求,响应于该网页资源请求执行操作,在拦截流量注入的同时,保证了正常请求的操作。
在本发明客户端上述实施例的一个具体示例中,请求获取单元31,具体用于遍历触发的网页对应的dom文档对象模型树,获取触发的网页中的所有url统一资源定位符,基于url统一资源定位符获得对应的网页资源请求。
图4为本发明客户端另一个实施例的结构示意图。在上述实施例的基础上,在请求获取单元31和请求发送单元34之间,还包括:
url获取单元42,用于获取与所有网页资源请求对应的url统一资源定位符。
同源判断单元43,用于判断url统一资源定位符与触发的网页对应的url是否为同源url;将获得的非同源url对应的网页资源请求发送到服务器中;对同源url对应的网页资源请求,响应于网页资源请求执行操作。
本实施例中对网页资源请求对应的url统一资源定位符与所触发的网页的url统一资源定位符进行比对,就可以判断是否同源,同源是指两个网页的协议、域名和端口都相同,通常一个网页自身内置的链接网址都是与该网页同源的,所以,当判断网页资源请求对应的url与触发网页的url是同源时,可默认该网页资源请求是正常请求,响应该网页资源请求执行操作,只有当判断该网页资源请求与所触发网页是非同源时,才需要将网页资源请求发送给服务器进行鉴别。
在本发明客户端上述实施例的一个具体示例中,在url获取单元42和同源判断单元43之间还可以包括:
url判定单元,用于若确定url中不包括客户端的网关地址,则响应于所述网页资源请求执行操作。
本发明客户端的又一个实施例中,在上述各实施例的基础上,请求屏蔽单元35,具体用于操作触发的网页对应dom文档对象模型树对网页资源请求对应的url统一资源定位符进行屏蔽,通过屏蔽网页资源请求对应的url统一资源定位符实现屏蔽网页资源请求。
本实施例中,通过对触发的网页解析获得的dom树执行操作,对判定位黑名单请求的网页资源请求对应的url执行屏蔽,以实现对是黑名单请求的网页资源请求屏蔽,其中涉及的通过dom树对某些url进行屏蔽的技术属于现有技术,在此不赘述。
图5为本发明资源请求的处理方法一个实施例的流程图。如图5所示,该方法应用于服务器,该实施例方法包括:
步骤501,接收客户端发送的所有网页资源请求。
步骤502,获取与所有网页资源请求对应的url统一资源定位符。
由于客户端获取网页资源请求时是通过url统一资源定位符获取的,因此,客户端将网页资源请求发送给服务器时,可以同时将所有网页资源请求对应的url发送给服务器,此时服务器将直接获取到url;还有一种可能是,客户端未将url与网页资源请求一同发送给服务器,此时,服务器需要通过网页资源请求获取对应的url。
步骤503,基于预存的数据判断url统一资源定位符是否为黑名单url,将黑名单url对应的网页资源请求作为黑名单请求,将非黑名单url对应的网页资源请求作为非黑名单请求。
步骤504,将网页资源请求是黑名单请求和/或是非黑名单请求发送给客户端。
基于本发明上述实施例提供的一种资源请求的处理方法,服务器对从客户端发送来的网页资源请求,首先获取网页资源请求对应的url,并根据获得的url判断其是否是黑名单url,将是黑名单url的url对应的网页资源请求作为黑名单请求发送给客户端,将非黑名单url对应的网页资源请求作为非黑名单请求发送给客户端,该方法通过url基于黑名单url完成了初级判断,将存储在服务器中已知是黑名单url的url筛选出,并且服务器由于与多个客户端相连接,因此,其中存储的黑名单url相对单独的客户端更全面,判断出的黑名单结果更具可信度。
本发明资源请求的处理方法的另一个实施例中,在上述实施例的基础上,步骤503判断url统一资源定位符是否为黑名单url过程,具体可以包括:
将url统一资源定位符与白名单数据库中预存的所有白名单url进行匹配;其中,白名单数据库中预存有所有白名单url;
对于存在匹配的白名单url的url对应的网页资源请求,输出判定所述网页资源请求属于非黑名单请求给客户端。
对于url首先基于白名单数据库判断其是否为白名单url,白名单数据库中预存有所有白名单url;对于判断url是否为黑名单url是有一定的不确定性的,有些可能是存疑的,因此,为了客户端的安全性,首先将url与白名单数据库中的url进行匹配,白名单数据库中的url是确定的无害的url,因此,通过白名单数据库的匹配,输出的非黑名单url可以完全确保客户端的安全性。
在本发明资源请求的处理方法上述各实施例的一个具体示例中,还包括:
对于不存在匹配的白名单url的url进行量级筛选获得可疑url;
若url中包括路由器的配置参数,则获取路由器的配置参数中包括的域名解析地址;
查询黑名单库,确定域名解析地址包括在黑名单库中,则判断url为黑名单url;黑名单库中保存有云安全服务器预先收集的危险的域名解析地址。
在本实施例中提出了对于不是白名单的url进行量级筛选,通常对于正常插入网页的请求应当是所有客户端都接收到的请求,而非法插入的网页资源请求多数内置在某个或某些客户端中的插件发出的,因此,非法网页资源请求在量级上与合法网页资源请求相比会小很多,因此,通过量级大小就可以在非白名单url中筛选得到可疑url。
在本发明资源请求的处理方法上述各实施例的一个具体示例中,还包括:
当url对应的域名解析地址不包括在所述黑名单库中时,判断统一资源定位符的refer链的地址是否为外网IP地址;
若确定统一资源定位符的refer链的地址为外网IP地址,则屏蔽网页资源请求;
若确定统一资源定位符的refer链的地址不是外网IP地址,则响应于所述网页资源请求执行操作。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图6为本发明服务器一个实施例的结构示意图。该实施例的服务器可用于实现本发明上述各方法实施例。如图6所示,该实施例服务器中,包括:
请求接收单元61,用于接收客户端发送的所有网页资源请求。
获取单元62,用于获取与所有网页资源请求对应的url统一资源定位符。
黑名单判断单元63,用于基于预存的数据判断url统一资源定位符是否为黑名单url,将黑名单url对应的网页资源请求作为黑名单请求,将非黑名单url对应的网页资源请求作为非黑名单请求,并将判断结果发送到结果发送单元。
结果发送单元64,用于将黑名单判断单元发送的判断结果发送给客户端。
基于本发明上述实施例提供的一种服务器,服务器对从客户端发送来的网页资源请求,首先获取网页资源请求对应的url,并根据获得的url判断其是否是黑名单url,将是黑名单url的url对应的网页资源请求作为黑名单请求发送给客户端,将非黑名单url对应的网页资源请求作为非黑名单请求发送给客户端,该方法通过url基于黑名单url完成了初级判断,将存储在服务器中已知是黑名单url的url筛选出,并且服务器由于与多个客户端相连接,因此,其中存储的黑名单url相对单独的客户端更全面,判断出的黑名单结果更具可信度。
图7为本发明服务器另一个实施例的结构示意图。在上述实施例的基础上,本实施例服务器中黑名单判断单元63包括:
白名单匹配模块631,用于将url统一资源定位符与白名单数据库中预存的所有白名单url进行匹配,对存在匹配的白名单url的所述url对应的网页资源请求,判定为非黑名单请求给结果发送单元;其中,白名单数据库中预存有所有白名单url。
对于url首先基于白名单数据库判断其是否为白名单url,白名单数据库中预存有所有白名单url;对于判断url是否为黑名单url是有一定的不确定性的,有些可能是存疑的,因此,为了客户端的安全性,首先将url与白名单数据库中的url进行匹配,白名单数据库中的url是确定的无害的url,因此,通过白名单数据库的匹配,输出的非黑名单url可以完全确保客户端的安全性。
在本发明服务器上述各实施例的一个具体示例中,黑名单判断单元63还包括:
筛选模块632,用于对于不存在匹配的白名单url的url进行量级筛选获得可疑url。
解析模块633,用于当url中包括路由器的配置参数,则获取路由器的配置参数中包括的域名解析地址。
库查询模块634,用于查询黑名单库,确定域名解析地址包括在黑名单库中,则判断url为黑名单url;黑名单库中保存有云安全服务器预先收集的危险的域名解析地址。
在本发明服务器上述各实施例的一个具体示例中,库查询模块634,还用于当url对应的域名解析地址不包括在黑名单库中时,判断统一资源定位符的refer链的地址是否为外网IP地址。
黑名单判断单元63,还包括:
IP地址判断模块635,对确定url的refer链的地址为外网IP地址的,确定url对应的网页资源请求为黑名单请求;对确定url的refer链的地址不是外网IP地址,确定url对应的网页资源请求为非黑名单请求。
根据本发明实施例的另一个方面,提供的一种资源请求的处理系统,包括如上述实施例中任意一项的服务器和至少一个如上述实施例中任意一项的客户端。
1、一种资源请求的处理方法,应用于客户端,包括:
响应于网页触发请求,获取所述触发的网页中所有的网页资源请求;
将所有网页资源请求发送到服务器中,并接收服务器判断的所述网页资源请求是否为黑名单请求;
对于属于黑名单请求的网页资源请求,屏蔽所述网页资源请求;
对于属于非黑名单请求的网页资源请求,响应于所述网页资源请求执行操作。
2、根据1所述的方法,所述获取所述触发的网页中所有的网页资源请求,包括:
遍历所述触发的网页对应的dom文档对象模型树,获取所述触发的网页中的所有url统一资源定位符,基于所述url统一资源定位符获得对应的网页资源请求。
3、根据1或2所述的方法,所述将所有网页资源请求发送到服务器中之前,还包括:
获取与所有所述网页资源请求对应的url统一资源定位符;判断所述url统一资源定位符与所述触发的网页对应的url是否为同源url;
将获得的非同源url对应的网页资源请求发送到服务器中;
对同源url对应的网页资源请求,响应于所述网页资源请求执行操作。
4、根据3所述的方法,所述获取与所述网页资源请求对应的url之后,包括:
若确定所述url中不包括所述客户端的网关地址,则响应于所述网页资源请求执行操作。
5、根据1至4任意一项所述的方法,所述屏蔽所述网页资源请求,包括:
操作所述触发的网页对应dom文档对象模型树对所述网页资源请求对应的url统一资源定位符进行屏蔽,通过屏蔽所述网页资源请求对应的url统一资源定位符实现屏蔽所述网页资源请求。
6、一种资源请求的处理方法,应用于服务器端,包括:
接收客户端发送的所有网页资源请求;
获取与所有所述网页资源请求对应的url统一资源定位符;
基于预存的数据判断所述url统一资源定位符是否为黑名单url将所述黑名单url对应的网页资源请求作为黑名单请求,将所述非黑名单url对应的网页资源请求作为非黑名单请求;
将所述网页资源请求是黑名单请求和/或是非黑名单请求发送给客户端。
7、根据6所述的方法,所述基于预存的数据判断所述url统一资源定位符是否为黑名单url,包括:
将所述url统一资源定位符与白名单数据库中预存的所有白名单url进行匹配;其中,所述白名单数据库中预存有所有白名单url;
对于存在匹配的白名单url的所述url对应的网页资源请求,输出判定所述网页资源请求属于非黑名单请求给客户端。
8、根据7所述的方法,还包括:
对于不存在匹配的白名单url的所述url进行量级筛选获得可疑url;
若所述url中包括路由器的配置参数,则获取所述路由器的配置参数中包括的域名解析地址;
查询黑名单库,确定所述域名解析地址包括在所述黑名单库中,则判断所述url为黑名单url;所述黑名单库中保存有云安全服务器预先收集的危险的域名解析地址。
9、根据8所述的方法,还包括:
当所述url对应的所述域名解析地址不包括在所述黑名单库中时,判断所述统一资源定位符的refer链的地址是否为外网IP地址;
若确定所述统一资源定位符的refer链的地址为外网IP地址,则屏蔽所述网页资源请求;
若确定所述统一资源定位符的refer链的地址不是外网IP地址,则响应于所述网页资源请求执行操作。
10、一种客户端,包括:
请求获取单元,用于响应于网页触发请求,获取所述触发的网页中所有的网页资源请求;
请求发送单元,用于将所有网页资源请求发送到服务器中,并接收服务器判断的所述网页资源请求是否为黑名单请求;
请求屏蔽单元,用于对于属于黑名单请求的网页资源请求,屏蔽所述网页资源请求;
请求响应单元,用于对于属于非黑名单请求的网页资源请求,响应于所述网页资源请求执行操作。
11、根据10所述的客户端,所述请求获取单元,具体用于遍历所述触发的网页对应的dom文档对象模型树,获取所述触发的网页中的所有url统一资源定位符,基于所述url统一资源定位符获得对应的网页资源请求。
12、根据10或11所述的客户端,还包括:
url获取单元,用于获取与所有所述网页资源请求对应的url统一资源定位符;
同源判断单元,用于判断所述url统一资源定位符与所述触发的网页对应的url是否为同源url;将获得的非同源url对应的网页资源请求发送到服务器中;对同源url对应的网页资源请求,响应于所述网页资源请求执行操作。
13、根据12所述的客户端,还包括:
url判定单元,用于若确定所述url中不包括所述客户端的网关地址,则响应于所述网页资源请求执行操作。
14、根据10至13任意一项所述的客户端,所述请求屏蔽单元,具体用于操作所述触发的网页对应dom文档对象模型树对所述网页资源请求对应的url统一资源定位符进行屏蔽,通过屏蔽所述网页资源请求对应的url统一资源定位符实现屏蔽所述网页资源请求。
15、一种服务器,包括:
请求接收单元,用于接收客户端发送的所有网页资源请求;
获取单元,用于获取与所有所述网页资源请求对应的url统一资源定位符;
黑名单判断单元,用于基于预存的数据判断所述url统一资源定位符是否为黑名单url,将所述黑名单url对应的网页资源请求作为黑名单请求,将所述非黑名单url对应的网页资源请求作为非黑名单请求,并将判断结果发送到结果发送单元;
结果发送单元,用于将黑名单判断单元发送的判断结果发送给客户端。
16、根据15所述的服务器,所述黑名单判断单元包括:
白名单匹配模块,用于将所述url统一资源定位符与白名单数据库中预存的所有白名单url进行匹配,对存在匹配的白名单url的所述url对应的网页资源请求,判定为非黑名单请求给结果发送单元;其中,所述白名单数据库中预存有所有白名单url。
17、根据16所述的服务器,所述黑名单判断单元还包括:
筛选模块,用于对于不存在匹配的白名单url的所述url进行量级筛选获得可疑url;
解析模块,用于当所述url中包括路由器的配置参数,则获取所述路由器的配置参数中包括的域名解析地址;
库查询模块,用于查询黑名单库,确定所述域名解析地址包括在所述黑名单库中,则判断所述url为黑名单url;所述黑名单库中保存有云安全服务器预先收集的危险的域名解析地址。
18、根据17所述的服务器,库查询模块,还用于当所述url对应的所述域名解析地址不包括在所述黑名单库中时,判断所述统一资源定位符的refer链的地址是否为外网IP地址;
所述黑名单判断单元,还包括:
IP地址判断模块,对确定所述url的refer链的地址为外网IP地址的,确定所述url对应的网页资源请求为黑名单请求;对确定所述url的refer链的地址不是外网IP地址,确定所述url对应的网页资源请求为非黑名单请求。
19、一种资源请求的处理系统,包括如15至18任意一项所述的服务器和至少一个如10至14任意一项所述的客户端。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本发明的方法和装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本发明的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本发明实施为记录在记录介质中的程序,这些程序包括用于实现根据本发明的方法的机器可读指令。因而,本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用,并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
Claims (10)
1.一种资源请求的处理方法,其特征在于,应用于客户端,包括:
响应于网页触发请求,获取所述触发的网页中所有的网页资源请求;
将所有网页资源请求发送到服务器中,并接收服务器判断的所述网页资源请求是否为黑名单请求;
对于属于黑名单请求的网页资源请求,屏蔽所述网页资源请求;
对于属于非黑名单请求的网页资源请求,响应于所述网页资源请求执行操作。
2.根据权利要求1所述的方法,其特征在于,所述获取所述触发的网页中所有的网页资源请求,包括:
遍历所述触发的网页对应的dom文档对象模型树,获取所述触发的网页中的所有url统一资源定位符,基于所述url统一资源定位符获得对应的网页资源请求。
3.根据权利要求1或2所述的方法,其特征在于,所述将所有网页资源请求发送到服务器中之前,还包括:
获取与所有所述网页资源请求对应的url统一资源定位符;判断所述url统一资源定位符与所述触发的网页对应的url是否为同源url;
将获得的非同源url对应的网页资源请求发送到服务器中;
对同源url对应的网页资源请求,响应于所述网页资源请求执行操作。
4.根据权利要求3所述的方法,其特征在于,所述获取与所述网页资源请求对应的url之后,包括:
若确定所述url中不包括所述客户端的网关地址,则响应于所述网页资源请求执行操作。
5.根据权利要求1至4任意一项所述的方法,其特征在于,所述屏蔽所述网页资源请求,包括:
操作所述触发的网页对应dom文档对象模型树对所述网页资源请求对应的url统一资源定位符进行屏蔽,通过屏蔽所述网页资源请求对应的url统一资源定位符实现屏蔽所述网页资源请求。
6.一种资源请求的处理方法,其特征在于,应用于服务器端,包括:
接收客户端发送的所有网页资源请求;
获取与所有所述网页资源请求对应的url统一资源定位符;
基于预存的数据判断所述url统一资源定位符是否为黑名单url将所述黑名单url对应的网页资源请求作为黑名单请求,将所述非黑名单url对应的网页资源请求作为非黑名单请求;
将所述网页资源请求是黑名单请求和/或是非黑名单请求发送给客户端。
7.根据权利要求6所述的方法,其特征在于,所述基于预存的数据判断所述url统一资源定位符是否为黑名单url,包括:
将所述url统一资源定位符与白名单数据库中预存的所有白名单url进行匹配;其中,所述白名单数据库中预存有所有白名单url;
对于存在匹配的白名单url的所述url对应的网页资源请求,输出判定所述网页资源请求属于非黑名单请求给客户端。
8.一种客户端,其特征在于,包括:
请求获取单元,用于响应于网页触发请求,获取所述触发的网页中所有的网页资源请求;
请求发送单元,用于将所有网页资源请求发送到服务器中,并接收服务器判断的所述网页资源请求是否为黑名单请求;
请求屏蔽单元,用于对于属于黑名单请求的网页资源请求,屏蔽所述网页资源请求;
请求响应单元,用于对于属于非黑名单请求的网页资源请求,响应于所述网页资源请求执行操作。
9.一种服务器,其特征在于,包括:
请求接收单元,用于接收客户端发送的所有网页资源请求;
获取单元,用于获取与所有所述网页资源请求对应的url统一资源定位符;
黑名单判断单元,用于基于预存的数据判断所述url统一资源定位符是否为黑名单url,将所述黑名单url对应的网页资源请求作为黑名单请求,将所述非黑名单url对应的网页资源请求作为非黑名单请求,并将判断结果发送到结果发送单元;
结果发送单元,用于将黑名单判断单元发送的判断结果发送给客户端。
10.一种资源请求的处理系统,其特征在于,包括如权利要求9所述的服务器和至少一个如权利要求8所述的客户端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710330977.3A CN107147648A (zh) | 2017-05-11 | 2017-05-11 | 资源请求的处理方法、客户端、服务器和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710330977.3A CN107147648A (zh) | 2017-05-11 | 2017-05-11 | 资源请求的处理方法、客户端、服务器和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107147648A true CN107147648A (zh) | 2017-09-08 |
Family
ID=59777953
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710330977.3A Pending CN107147648A (zh) | 2017-05-11 | 2017-05-11 | 资源请求的处理方法、客户端、服务器和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107147648A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107797645A (zh) * | 2017-10-12 | 2018-03-13 | 北京小米移动软件有限公司 | 资源控制方法及装置 |
CN109361779A (zh) * | 2018-10-22 | 2019-02-19 | 江苏满运软件科技有限公司 | 分布式系统中域名的管理方法及系统、节点服务器 |
CN110795395A (zh) * | 2018-07-31 | 2020-02-14 | 阿里巴巴集团控股有限公司 | 文件部署系统和文件部署方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101520796A (zh) * | 2009-02-16 | 2009-09-02 | 深圳市腾讯计算机系统有限公司 | 从网页内容中提取统一资源定位符的方法及系统 |
CN103607385A (zh) * | 2013-11-14 | 2014-02-26 | 北京奇虎科技有限公司 | 基于浏览器进行安全检测的方法和装置 |
CN104572641A (zh) * | 2013-10-10 | 2015-04-29 | 腾讯科技(深圳)有限公司 | 网页资源的管理方法及装置 |
-
2017
- 2017-05-11 CN CN201710330977.3A patent/CN107147648A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101520796A (zh) * | 2009-02-16 | 2009-09-02 | 深圳市腾讯计算机系统有限公司 | 从网页内容中提取统一资源定位符的方法及系统 |
CN104572641A (zh) * | 2013-10-10 | 2015-04-29 | 腾讯科技(深圳)有限公司 | 网页资源的管理方法及装置 |
CN103607385A (zh) * | 2013-11-14 | 2014-02-26 | 北京奇虎科技有限公司 | 基于浏览器进行安全检测的方法和装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107797645A (zh) * | 2017-10-12 | 2018-03-13 | 北京小米移动软件有限公司 | 资源控制方法及装置 |
CN110795395A (zh) * | 2018-07-31 | 2020-02-14 | 阿里巴巴集团控股有限公司 | 文件部署系统和文件部署方法 |
CN110795395B (zh) * | 2018-07-31 | 2023-04-18 | 阿里巴巴集团控股有限公司 | 文件部署系统和文件部署方法 |
CN109361779A (zh) * | 2018-10-22 | 2019-02-19 | 江苏满运软件科技有限公司 | 分布式系统中域名的管理方法及系统、节点服务器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9954841B2 (en) | Distinguish valid users from bots, OCRs and third party solvers when presenting CAPTCHA | |
US10079854B1 (en) | Client-side protective script to mitigate server loading | |
US11671448B2 (en) | Phishing detection using uniform resource locators | |
US10728274B2 (en) | Method and system for injecting javascript into a web page | |
US11886619B2 (en) | Apparatus and method for securing web application server source code | |
US11381598B2 (en) | Phishing detection using certificates associated with uniform resource locators | |
US9740869B1 (en) | Enforcement of document element immutability | |
US12021894B2 (en) | Phishing detection based on modeling of web page content | |
US11451583B2 (en) | System and method to detect and block bot traffic | |
US20130263263A1 (en) | Web element spoofing prevention system and method | |
CN112131564B (zh) | 加密数据通信方法、装置、设备以及介质 | |
US9032519B1 (en) | Protecting websites from cross-site scripting | |
CN104239577A (zh) | 检测网页数据真伪的方法和装置 | |
CN102638448A (zh) | 一种基于非内容分析的判断钓鱼网站的方法 | |
CN107016074B (zh) | 一种网页加载方法及装置 | |
CN107689951A (zh) | 网页数据爬取方法、装置、用户终端及可读存储介质 | |
CN111881337B (zh) | 一种基于Scrapy框架的数据采集方法、系统及存储介质 | |
CN105635064B (zh) | Csrf攻击检测方法及装置 | |
CN109040097A (zh) | 一种跨站脚本攻击的防御方法、装置、设备和存储介质 | |
CN106899549A (zh) | 一种网络安全检测方法及装置 | |
CN107147648A (zh) | 资源请求的处理方法、客户端、服务器和系统 | |
CN104063779B (zh) | 邮箱附件下载方法和系统 | |
Duraisamy et al. | A server side solution for protection of web applications from cross-site scripting attacks | |
CN116545674A (zh) | 免隐私信息收集的邮件钓鱼演练方法、系统、设备及介质 | |
US8683568B1 (en) | Using packet interception to integrate risk-based user authentication into online services |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170908 |
|
RJ01 | Rejection of invention patent application after publication |