[go: up one dir, main page]

CN112637049A - 数据抓取系统、方法 - Google Patents

数据抓取系统、方法 Download PDF

Info

Publication number
CN112637049A
CN112637049A CN202011485713.3A CN202011485713A CN112637049A CN 112637049 A CN112637049 A CN 112637049A CN 202011485713 A CN202011485713 A CN 202011485713A CN 112637049 A CN112637049 A CN 112637049A
Authority
CN
China
Prior art keywords
data
network
virtual operating
data source
dialing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011485713.3A
Other languages
English (en)
Inventor
石忠民
周锦裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGZHOU SUMMBA INFORMATION TECHNOLOGY CO LTD
Original Assignee
GUANGZHOU SUMMBA INFORMATION TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGZHOU SUMMBA INFORMATION TECHNOLOGY CO LTD filed Critical GUANGZHOU SUMMBA INFORMATION TECHNOLOGY CO LTD
Priority to CN202011485713.3A priority Critical patent/CN112637049A/zh
Publication of CN112637049A publication Critical patent/CN112637049A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/64—Hybrid switching systems
    • H04L12/6418—Hybrid transport
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks
    • H04L12/4641—Virtual LANs, VLANs, e.g. virtual private networks [VPN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/64—Hybrid switching systems
    • H04L12/6418—Hybrid transport
    • H04L2012/6478—Digital subscriber line, e.g. DSL, ADSL, HDSL, XDSL, VDSL

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明提供一种数据抓取系统、方法，该数据抓取系统包括：服务器分别与交换机、客户端连接；交换机与拨号网络连接，且每个拨号网络在交换机上的对应VLAN号不同；服务器安装有至少两个虚拟操作系统，服务器通过虚拟操作系统与拨号网络连接，且每个虚拟操作系统连接的拨号网络不同，通过拨号网络访问数据源；客户端存储有动态IP池，服务器控制虚拟操作系统根据动态IP池中的IP串联访问数据源以进行数据抓取。本发明通过服务器上的多个虚拟操作系统分别连接不同的拨号网络，并利用动态IP池中的IP进行串联访问数据源，无需使用多个服务器扩展拨号网络，减少了服务运行的成本费用，且能够对不同的链接使用特定的链路进行访问，提高了数据抓取的效率。

Description

数据抓取系统、方法
技术领域
本发明涉及大数据获取领域，尤其涉及一种数据抓取系统、方法。
背景技术
互联网数据抓取时，使用一个融合性的拨号网络进行数据抓取。目前电信运营商分别是中国电信，中国移动，中国联通等，但他们的网络接入方式一般为固定IP的光纤接入和动态拨号接入两种，使用固定IP接入方式的网络进度数据抓取时，很容易被源网站屏蔽，所以一般使用拨号网络方式抓取。但如果仅使用单独1条拨号网络方式进行数据抓取，那在短时间还是会与固定IP的网络接入方式一样，因为拨号网络要每次在拨号时，才会改变IP，但如果拨号重拨频率较为密集，约30秒内重拨一次，长期如此，很容易会导致被电信运营商监测到，也会被屏蔽或中止处理。所以一般数据抓取会使用多条拨号网络进行抓取。但是拨号操作是进行在系统层面，一个系统上不能进行多个不同拨号网络进行拨号，如果用不同的服务器来扩展拨号网络的能力，会较大的增加服务运行的成本费用，因为只是网络接口这单方面的限制而导致要新买服务器，这样成本增加较大。而如果使用路由器方式对拨号网络进行屏蔽，虽然也能缓解，但也无法在路由器上对每个数据抓取的链接使用特定的链路进行访问，降低了数据抓取的效率。
发明内容
为了克服现有技术的不足，本发明提出一种数据抓取系统、方法，将交换机与多个拨号网络分别连接，通过服务器上的多个虚拟操作系统分别连接不同的拨号网络，并利用动态IP池中的IP进行串联访问数据源，无需使用多个服务器扩展拨号网络，减少了服务运行的成本费用，且能够对不同的链接使用特定的链路进行访问，提高了数据抓取的效率。
为解决上述问题，本发明采用的一个技术方案为：一种数据抓取系统，所述数据抓取系统包括：交换机、服务器以及客户端，所述服务器分别与所述交换机、客户端连接；所述交换机与至少两个拨号网络连接，且每个拨号网络在所述交换机上的对应VLAN号不同；所述服务器安装有至少两个虚拟操作系统，所述服务器通过所述虚拟操作系统与所述拨号网络连接，且每个虚拟操作系统连接的所述拨号网络不同，通过所述拨号网络访问数据源；所述客户端存储有动态IP池，所述服务器控制所述虚拟操作系统根据所述动态IP池中的IP串联访问所述数据源以进行数据抓取。
进一步地，所述拨号网络为ADSL拨号网络。
进一步地，所述虚拟操作系统的数量与所述拨号网络的数量相同，且一一对应。
进一步地，所述服务器控制所述虚拟操作系统根据所述动态IP池中的IP串联访问所述数据源以进行数据抓取的步骤具体包括：所述服务器控制所述虚拟操作系统对所述动态IP池中的IP进行排序，根据排序结果依次选择所述IP访问所述数据源。
进一步地，所述根据排序结果依次选择所述IP访问所述数据源的步骤具体包括：判断通过当前的IP访问数据源的时间是否达到预设值；若是，则断开与网络的连接，根据所述排序结果通过当前IP的下一个IP访问所述数据源；若否，继续访问所述数据源。
基于相同的发明构思，本发明还提出一种数据抓取方法，所述数据抓取方法包括：S101：创建虚拟操作系统，并控制至少两个虚拟操作系统与交换机连接的至少两个拨号网络连接，其中，每个拨号网络在所述交换机上的对应VLAN号不同，每个虚拟操作系统连接的所述拨号网络不同，通过所述拨号网络访问数据源；S102：获取客户端存储的动态IP池，控制所述虚拟操作系统根据所述动态IP池中的IP串联访问所述数据源以进行数据抓取。
进一步地，所述拨号网络为ADSL拨号网络。
进一步地，所述虚拟操作系统的数量与所述拨号网络的数量相同，且一一对应。
进一步地，所述控制所述虚拟操作系统根据所述动态IP池中的IP串联访问所述数据源以进行数据抓取的步骤具体包括：控制所述虚拟操作系统对所述动态IP池中的IP进行随机排序，根据排序结果依次选择所述IP访问所述数据源。
进一步地，所述根据排序结果依次选择所述IP访问所述数据源的步骤具体包括：判断通过当前的IP访问数据源的时间是否达到预设值；若是，则断开与网络的连接，根据所述排序结果通过当前IP的下一个IP访问所述数据源；若否，继续访问所述数据源。
相比现有技术，本发明的有益效果在于：将交换机与多个拨号网络分别连接，通过服务器上的多个虚拟操作系统分别连接不同的拨号网络，并利用动态IP池中的IP进行串联访问数据源，无需使用多个服务器扩展拨号网络，减少了服务运行的成本费用，且能够对不同的链接使用特定的链路进行访问，提高了数据抓取的效率。
附图说明
图1为本发明数据抓取系统一实施例的结构图；
图2为本发明数据抓取系统一实施例的示意图；
图3为本发明数据抓取方法一实施例的流程图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
请参阅图1、2，其中，图1为本发明数据抓取系统一实施例的结构图；图2为本发明数据抓取系统一实施例的示意图。结合附图1、2对本发明的数据抓取系统作详细说明。
在本实施例中，数据抓取系统包括：交换机、服务器以及客户端，服务器分别与交换机、客户端连接；交换机与至少两个拨号网络连接，且每个拨号网络在交换机上的对应VLAN（Virtual Local Area Network，虚拟局域网）号不同；服务器安装有至少两个虚拟操作系统，服务器通过虚拟操作系统与拨号网络连接，且每个虚拟操作系统连接的拨号网络不同，通过拨号网络访问数据源；客户端存储有动态IP池，服务器控制虚拟操作系统根据动态IP池中的IP串联访问数据源以进行数据抓取。
在本实施例中，拨号网络为ADSL拨号网络，其中，交换机通过网线与ADSL拨号网络连接，且每一根网络对应的ADSL拨号网络不同。
在本实施例中，交换机上通过连接端口与网线连接，其中，连接端口可以为BNC接口、RJ-45接口、AUI接口中的任一种，网线的类型根据连接端口的类型进行设置，只需交换机能够通过该连接端口、网线与拨号网络连接即可。
在本实施例中，每个拨号网络在交换机上都以单独的VLAN号进行隔离，即每个拨号网络互不连接，服务器或交换机记录每个拨号网络对应的VLAN号，通过该VLAN号确定对应的拨号网络。
在本实施例中，服务器与交换机通过有线连接的方式传输信息，其中，服务器通过其设置在网口（RJ45）与交换机连接。
在本实施例中，虚拟操作系统的数量与拨号网络的数量相同，且一一对应。
在本实施例中，服务器中的操作系统可以通过安装KVM（Keyboard Video Mouse）或Hyervisor（virtual machine monitor，虚拟机监视器）服务的方式形成虚拟操作系统。通过这些虚拟操作系统实现网络/操作系统硬件软件资源的有效隔离，从而使每个虚拟操作系统互不影响。其中，通过KVM或Hyervisor服务进行操作系统网络配置时，要启动虚拟LAN操作，虚拟LAN操作中VLAN号为指定的动态拨号网络的一个VLAN号。
在本实施例中，通过虚拟操作系统中安装的拨号软件实现对拨号网络的动态拨号，其中，拨号软件为现有技术中的拨号软件，在此不做赘述。
在本实施例中，服务器控制虚拟操作系统根据动态IP池中的IP串联访问数据源以进行数据抓取的步骤具体包括：服务器控制虚拟操作系统对动态IP池中的IP进行排序，根据排序结果依次选择IP访问数据源。
在其他实施例中，动态IP池也可以存储在服务器，服务器对动态IP池中的1IP进行排序，并根据排序结果进行访问。
在本实施例中，排序方式可以为随机排序、冒泡排序、选择排序、插入排序、希尔排序、归并排序、快速排序、基数排序、堆排序、计数排序、桶排序以及其他排序方式，只需能够通过这些排序方式对动态IP池中的IP进行排序即可，在此不做限定。
在本实施例中，根据排序结果依次选择IP访问数据源的步骤具体包括：判断通过当前的IP访问数据源的时间是否达到预设值；若是，则断开与网络的连接，根据排序结果通过当前IP的下一个IP访问所述数据源；若否，继续访问数据源。利用定期拨号重接网络和串联访问的方式进行数据抓取，可以有效防止数据源网络跟踪和网络限制，可模拟人的正常访问。本发明使用较低的成本，1台服务器加1个交换机，可对大量的动态拨号网络进行集中管理，有效防止数据源网络跟踪。
本发明具有以下优点：
1.仅使用1台服务器处理所有的数据抓取相关的网络访问。
2.可大大的扩展拨号网络个数，使数据抓取的源网络无法监控到IP情况，避免了数据抓取失败的问题。
有益效果：本发明的数据抓取系统将交换机与多个拨号网络分别连接，通过服务器上的多个虚拟操作系统分别连接不同的拨号网络，并利用动态IP池中的IP进行串联访问数据源，无需使用多个服务器扩展拨号网络，减少了服务运行的成本费用，且能够对不同的链接使用特定的链路进行访问，提高了数据抓取的效率。
基于相同的发明构思，本发明还提出一种数据抓取方法，请参阅图3，图3为本发明数据抓取方法一实施例的流程图，结合图3对本发明的数据抓取方法作具体说明。
在本实施例中，数据抓取方法包括：
S101：创建虚拟操作系统，并控制至少两个虚拟操作系统与交换机连接的至少两个拨号网络连接，其中，每个拨号网络在交换机上的对应VLAN号不同，每个虚拟操作系统连接的拨号网络不同，通过拨号网络访问数据源。
在本实施例中，执行该数据抓取方法的设备为服务器，在其他实施例中，该设备也可以为电脑、云平台、虚拟服务器以及其他能够设置虚拟操作系统的实体或虚拟器件。
在本实施例中，拨号网络为ADSL拨号网络，其中，交换机通过网线与ADSL拨号网络连接，且每一根网络对应的ADSL拨号网络不同。
在本实施例中，交换机上通过连接端口与网线连接，其中，连接端口可以为BNC接口、RJ-45接口、AUI接口中的任一种，网线的类型根据连接端口的类型进行设置，只需交换机能够通过该连接端口、网线与拨号网络连接即可。
在本实施例中，每个拨号网络在交换机上都以单独的VLAN号进行隔离，即每个拨号网络互不连接，服务器或交换机记录每个拨号网络对应的VLAN号，通过该VLAN号确定对应的拨号网络。
在本实施例中，服务器与交换机通过有线连接的方式传输信息，其中，服务器通过其设置在网口（RJ45）与交换机连接。
在本实施例中，虚拟操作系统的数量与拨号网络的数量相同，且一一对应。
在本实施例中，服务器中的操作系统可以通过安装KVM（Keyboard Video Mouse）或Hyervisor（virtual machine monitor，虚拟机监视器）服务的方式形成虚拟操作系统。通过这些虚拟操作系统实现网络/操作系统硬件软件资源的有效隔离，从而使每个虚拟操作系统互不影响。其中，通过KVM或Hyervisor服务进行操作系统网络配置时，要启动虚拟LAN操作，虚拟LAN操作中VLAN号为指定的动态拨号网络的一个VLAN号。
在本实施例中，通过虚拟操作系统中安装的拨号软件实现对拨号网络的动态拨号，其中，拨号软件为现有技术中的拨号软件，在此不做赘述。
S102：获取客户端存储的动态IP池，控制虚拟操作系统根据动态IP池中的IP串联访问数据源以进行数据抓取。
在本实施例中，控制虚拟操作系统根据动态IP池中的IP串联访问数据源以进行数据抓取的步骤具体包括：控制虚拟操作系统对动态IP池中的IP进行排序，根据排序结果依次选择IP访问数据源。
在其他实施例中，动态IP池也可以存储在服务器，服务器对动态IP池中的1IP进行排序，并根据排序结果进行访问。
在本实施例中，排序方式可以为随机排序、冒泡排序、选择排序、插入排序、希尔排序、归并排序、快速排序、基数排序、堆排序、计数排序、桶排序以及其他排序方式，只需能够通过这些排序方式对动态IP池中的IP进行排序即可，在此不做限定。
在本实施例中，根据排序结果依次选择IP访问数据源的步骤具体包括：判断通过当前的IP访问数据源的时间是否达到预设值；若是，则断开与网络的连接，根据排序结果通过当前IP的下一个IP访问所述数据源；若否，继续访问数据源。利用定期拨号重接网络和串联访问的方式进行数据抓取，可以有效防止数据源网络跟踪和网络限制，可模拟人的正常访问。本发明使用较低的成本，1台服务器加1个交换机，可对大量的动态拨号网络进行集中管理，有效防止数据源网络跟踪。
本发明具有以下优点：
1.仅使用1台服务器处理所有的数据抓取相关的网络访问。
2.可大大的扩展拨号网络个数，使数据抓取的源网络无法监控到IP情况，避免了数据抓取失败的问题。
有益效果：本发明的数据抓取方法将交换机与多个拨号网络分别连接，通过服务器上的多个虚拟操作系统分别连接不同的拨号网络，并利用动态IP池中的IP进行串联访问数据源，无需使用多个服务器扩展拨号网络，减少了服务运行的成本费用，且能够对不同的链接使用特定的链路进行访问，提高了数据抓取的效率。
其中，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据抓取系统，其特征在于，所述数据抓取系统包括；交换机、服务器以及客户端，所述服务器分别与所述交换机、客户端连接；
所述交换机与至少两个拨号网络连接，且每个拨号网络在所述交换机上的对应VLAN号不同；
所述服务器安装有至少两个虚拟操作系统，所述服务器通过所述虚拟操作系统与所述拨号网络连接，且每个虚拟操作系统连接的所述拨号网络不同，通过所述拨号网络访问数据源；
所述客户端存储有动态IP池，所述服务器控制所述虚拟操作系统根据所述动态IP池中的IP串联访问所述数据源以进行数据抓取。
2.如权利要求1所述的数据抓取系统，其特征在于，所述拨号网络为ADSL拨号网络。
3.如权利要求1所述的数据抓取系统，其特征在于，所述虚拟操作系统的数量与所述拨号网络的数量相同，且一一对应。
4.如权利要求1所述的数据抓取系统，其特征在于，所述服务器控制所述虚拟操作系统根据所述动态IP池中的IP串联访问所述数据源以进行数据抓取的步骤具体包括：
所述服务器控制所述虚拟操作系统对所述动态IP池中的IP进行排序，根据排序结果依次选择所述IP访问所述数据源。
5.如权利要求4所述的数据抓取系统，其特征在于，所述根据排序结果依次选择所述IP访问所述数据源的步骤具体包括：
判断通过当前的IP访问数据源的时间是否达到预设值；
若是，则断开与网络的连接，根据所述排序结果通过当前IP的下一个IP访问所述数据源；
若否，继续访问所述数据源。
6.一种数据抓取系统，其特征在于，所述数据抓取方法包括：
S101：创建虚拟操作系统，并控制至少两个虚拟操作系统与交换机连接的至少两个拨号网络连接，其中，每个拨号网络在所述交换机上的对应VLAN号不同，每个虚拟操作系统连接的所述拨号网络不同，通过所述拨号网络访问数据源；
S102：获取客户端存储的动态IP池，控制所述虚拟操作系统根据所述动态IP池中的IP串联访问所述数据源以进行数据抓取。
7.如权利要求6所述的数据抓取系统，其特征在于，所述拨号网络为ADSL拨号网络。
8.如权利要求6所述的数据抓取系统，其特征在于，所述虚拟操作系统的数量与所述拨号网络的数量相同，且一一对应。
9.如权利要求6所述的数据抓取系统，其特征在于，所述控制所述虚拟操作系统根据所述动态IP池中的IP串联访问所述数据源以进行数据抓取的步骤具体包括：
控制所述虚拟操作系统对所述动态IP池中的IP进行随机排序，根据排序结果依次选择所述IP访问所述数据源。
10.如权利要求9所述的数据抓取系统，其特征在于，所述根据排序结果依次选择所述IP访问所述数据源的步骤具体包括：
判断通过当前的IP访问数据源的时间是否达到预设值；
若是，则断开与网络的连接，根据所述排序结果通过当前IP的下一个IP访问所述数据源；
若否，继续访问所述数据源。
CN202011485713.3A 2020-12-16 2020-12-16 数据抓取系统、方法 Pending CN112637049A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011485713.3A CN112637049A (zh) 2020-12-16 2020-12-16 数据抓取系统、方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011485713.3A CN112637049A (zh) 2020-12-16 2020-12-16 数据抓取系统、方法

Publications (1)

Publication Number Publication Date
CN112637049A true CN112637049A (zh) 2021-04-09

Family

ID=75313750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011485713.3A Pending CN112637049A (zh) 2020-12-16 2020-12-16 数据抓取系统、方法

Country Status (1)

Country Link
CN (1) CN112637049A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101199166A (zh) * 2005-04-29 2008-06-11 艾利森电话股份有限公司 在宽带接入中的操作员工作室选择
US20130201978A1 (en) * 2012-02-06 2013-08-08 Pradeep Iyer Method and System for Partitioning Wireless Local Area Network
CN103873338A (zh) * 2014-03-11 2014-06-18 上海爱数软件有限公司 一种利用绑定和vlan实现网络虚拟化的方法
CN104320488A (zh) * 2014-11-11 2015-01-28 携程计算机技术（上海）有限公司 代理服务器系统及代理服务方法
CN108595510A (zh) * 2018-03-22 2018-09-28 成都数聚城堡科技有限公司 一种基于浏览器端的爬虫、分布式爬虫系统及方法
CN108595543A (zh) * 2018-04-08 2018-09-28 北京知道创宇信息技术有限公司 数据抓取方法、装置及网络爬虫系统
CN111339388A (zh) * 2019-06-13 2020-06-26 海通证券股份有限公司 一种信息爬取系统
CN111371880A (zh) * 2020-02-28 2020-07-03 厦门中横科技有限公司 一种可动态切换ip的拨号云服务器

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101199166A (zh) * 2005-04-29 2008-06-11 艾利森电话股份有限公司 在宽带接入中的操作员工作室选择
US20130201978A1 (en) * 2012-02-06 2013-08-08 Pradeep Iyer Method and System for Partitioning Wireless Local Area Network
CN103873338A (zh) * 2014-03-11 2014-06-18 上海爱数软件有限公司 一种利用绑定和vlan实现网络虚拟化的方法
CN104320488A (zh) * 2014-11-11 2015-01-28 携程计算机技术（上海）有限公司 代理服务器系统及代理服务方法
CN108595510A (zh) * 2018-03-22 2018-09-28 成都数聚城堡科技有限公司 一种基于浏览器端的爬虫、分布式爬虫系统及方法
CN108595543A (zh) * 2018-04-08 2018-09-28 北京知道创宇信息技术有限公司 数据抓取方法、装置及网络爬虫系统
CN111339388A (zh) * 2019-06-13 2020-06-26 海通证券股份有限公司 一种信息爬取系统
CN111371880A (zh) * 2020-02-28 2020-07-03 厦门中横科技有限公司 一种可动态切换ip的拨号云服务器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
胡俊潇;陈国伟;: "网络爬虫反爬策略研究", 科技创新与应用, no. 15 *
运维-FRANK: "单linux服务器同时拨多条ADSL和挂多个固定公网ip通过squid实现代理池方案", HTTPS://BLOG.CSDN.NET/XUYAQUN/ARTICLE/DETAILS/19120239, pages 1 - 4 *

Similar Documents

Publication Publication Date Title
CN1169323C (zh) 网络故障隔离
US20200287918A1 (en) Threat mitigation system and method
US6229804B1 (en) Gatekeeper election methods for internet telephony
CN111092900B (zh) 服务器异常连接和扫描行为的监控方法和装置
EP4024765B1 (en) Method and apparatus for extracting fault propagation condition, and storage medium
CN101043461A (zh) DHCPv6服务的测试方法和客户端
CN114070707A (zh) 一种互联网性能监控方法及系统
CN111010405A (zh) 一种SaaS化的网站安全监控系统
WO2003069473A1 (en) A method and apparatus for reconfiguring a server system
EP2521315A1 (en) Systems and methods for modeling a multi-layer network topology
CN107666401B (zh) 一种配置信息获取方法及终端
CN111934953A (zh) 基于国产处理器计算机平台的批量测试方法
CN110351146A (zh) 一种服务端实例确定方法、系统、客户端及存储介质
CN112637049A (zh) 数据抓取系统、方法
CN108347465B (zh) 一种选择网络数据中心的方法及装置
CN106254337A (zh) 一种网络扫描方法及网络扫描系统
CN101018152A (zh) 软件安装系统及方法
CN105610991A (zh) 一种dhcp环境下递归解析dns服务器的负载均衡方法
CN110380981B (zh) 一种流量分发方法及设备
CN109889619B (zh) 基于区块链的异常域名监测方法及装置
CN1219808A (zh) 一种网络管理系统
KR100292128B1 (ko) 통신회선을경유한통신접속의효율을향상시키기위한방법및시스템
CN116886286A (zh) 大数据认证服务自适应方法、装置和设备
CN114039834B (zh) 一种实现光网端到端故障一键诊断的处理方法及装置
CN107360273A (zh) 一种域名解析方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210409