一、 引言
随着三网融合的全面深入，中国广电在2016年5月和2019年6月分别获得了工信部颁发的《基础电信业务经营许可证》和5G商用牌照，核心业务范围从传统有线电视业务演进覆盖固网宽带业务、5G移动通信业务。广电依托广泛的有线电视用户基础在几年时间内宽带用户规模已达4000多万，未来随着宽带中国、超高清视频产业发展和“新型基础设施建设”等国家和行业战略的不断实施推进，广电业务将持续快速增长，与此相应的是广电网络的内外网业务流量规模将持续快速增长。
广电宽带业务发展受制于与三大运营商的高昂网间结算费用，虽然在2020年2月工信部发布了“调整互联网骨干网网间结算政策的通知”，三大运营对中国广电的互联网骨干网网间结算费用下调了30%以上，但是每年按100G流量计算的预计费用依然高达5600万，对于广电运营商来说，在保证用户宽带体验的前提下合理高效的利用出口线路资源、优化出口线路资源配置尤为重要。此外，广电作为宽带业务市场的新进入者，面临三大运营商的激烈竞争，提升宽带业务体验，创新宽带业务增值服务将成为广电网络在同质化竞争中寻求差异化优势的重要抓手。
二、 广电省干网出口现状及趋势分析
随着广电网络互联网宽带业务的快速增长，总体看当前各省广电网络公司省干网出口在流量、线路和业务上普遍存在以下特征，这为广电省干出口安全平台的建设带来挑战。
网络流量大、增速快：省级广电网络的省干网出口带宽普遍达到100G以上级别，且年均增速将在20%以上，其中高清、超高清视频数据占比日益增加；超过亿级以上的各类互联网终端并发会话需求。
多类型出口线路：当前省级广电的出口线路资源来源较多，包括了传统运营商出口、二级运营商出口、互联网ICP出口，出口线路租用成本高，不同出口线路的业务侧重不同。
多业务融合承载：宽带上网、宽带电视、5G移动通信/物联网业务，公众客户/集团客户业务的融合承载，不同业务应用、不同用户对出口选路有差异。
IPv6演进过渡期的业务互访：广电网络从IPv4向IPv6演进过程中的很长一段时间内IPv4、IPv6将共存，广电内网和外部网络间存在IPv4/IPv6互访需求。
三、 广电省干网出口安全平台建设的关键需求
结合省级广电网络的业务发展特征，省干网出口安全平台建设的关键需求可以总结为以下几点：
提高用户宽带业务体验：良好的用户宽带体验是降低用户投诉率和不断发展用户的基础，用户宽带体验的差异主要取决于出口线路，传统基于用户源IP的选路调度方式难以满足用户不同应用选路调度需求，亟需寻找一种基于应用的精细化智能选路调度技术来提高用户宽带体验。
提高出口线路利用率，优化出口线路资源配置：广电出口线路租用价格昂贵，对于已有的出口线路资源要优化利用，依托精细化的智能选路调度提高对线路资源的使用效率和效果；对于未来业务增长带来的出口线路扩容，需要借助出口线路资源利用情况统计实现出口线路资源优化配置。
确保IPv6过渡期广电内外网IPv4/IPv6的正常互访：满足IPv6演进过程中不同阶段的内外网之间的IPv4与IPv4，IPv4与IPv6，IPv6与IPv6之间的正常访问需求。
满足网络监管要求：能够记录并留存用户使用的互联网网络地址和内部网络地址对应关系，日志留存不少于6个月，便于有关部门审计溯源。
创新集团客户增值服务模式：集团客户业务作为运营商增加营收、避免同质化竞争、业务转型的重要方向，广电运营商一直在各个方向上进行挖掘创新，互联网出口安全服务将作为一个创新方向为集团客户提供差异化增值服务。
N*100G规模流量下NAT、选路调度：整个平台设计需要满足未来几年内N*100G大流量、高并发场景下的选路调度，NAT地址转换，NAT日志采集性能要求。
四、 新华三广电省干网安全出口平台解决方案
图1 广电省干网出口安全平台解决方案整体架构
新华三凭借多年在广电运营商的积累，在深入分析广电运营商业务发展现状及趋势、业务需求的前提下，提出了以基于应用智能选路和基于客户识别的集客安全增值服务为核心特点的广电省干网安全出口平台解决方案，助力广电运营商提高出口线路资源利用率、优化出口线路资源配置，创新集客安全增值业务。
广电省干网出口安全平台解决方案整体架构如上图所示，骨干网出口侧部署综合网关双机集群M9000，综合网关双机集群M9000通过N*100G链路下联至省干网核心路由器，在主干链路上部署分光器将主干流量通过分光复制到TAP复制分流器6520X-G，复制分流器6520X-G根据复制分流策略将对应的流量通过N*10G链路上送至用户行为管理系统ACG1000-XE、全威胁流量探针和DDOS检测设备；在核心路由器物理旁路连接至DDOS清洗设备、防火墙（含IPS、AV）、ACG用户行为管理和管理平台、日志系统、DNS、态势感知平台。
本方案涉及的核心完全设备如下：
图2 核心网元设备展示
综合网关双机集群M9000：主要实现出口链路负载均衡LLB和NAT44/NAT64功能，单设备最大支持14槽位，单块LLB业务板卡具备100G的吞吐性能和近亿级并发连接能力，集群模式下可扩展至TB级以上吞吐性能和十亿以上的并发连接。
TAP复制分流器6520X-G：主要实现复制分流功能，单台设备具备48*10G+2*40G+ 4*40G/100G接口，单台能够支持400G以上场景复制分流。
应用管理系统ACG1000-XE：主要实现用户应用识别和管控功能，单台设备具备10G的应用识别能力，集群模式应用识别无上限。
我们把方案的技术要点总结为如下5个方面。
1）基于应用的智能选路
图3 基于应用的智能选路调度原理
传统省干网出口选路方式主要有基于用户源IP和ISP两种调度方式，基于用户源IP的选路调度是根据用户源IP地址将用户流量固定的调度到指定的出口线路，基于ISP的选路调度方式则是根据用户请求访问服务端资源所属的ISP，将出口流量调度到相对应的ISP出口线路。以上两种调度方式均存在着由于用户端或服务端的潮汐效应导致出口线路负载严重不均衡甚至拥塞的问题，不区分应用的选路调度方式难以满足特定应用对出口线路性能需求。
为解决上述问题，新华三提出了基于应用选路提升用户宽带业务体验和基于链路资源统计实现精细化线路资源运营的解决方案，方案的核心思路是基于应用智能选路技术将不同用户不同应用流量调度到适宜的出口线路上，提高用户宽带业务体验，结合流量的应用属性和线路的状态属性实现精细化调度，充分利用好各类出口线路资源；基于各类出口线路使用状况及业务流量需求变化合理扩容线路资源或者为建设CDN本地存储提供决策支撑，优化出口线路资源配置，具体实现流程如下所示：
①链路健康状态检查：出口网关模拟真实用户行为对链路逐条进行DNS和互联网应用http/https请求，根据响应结果判断各链路的健康状况；
②NAT资源池健康状态检查：出口网关模拟真实用户行为以NAT地址池中的IP地址为源地址对外网服务（DNS、百度、微信等）进行探测，根据响应结果判断NAT资源池中IP地址的可用情况。
③流量镜像及应用识别：TAP分流器基于源地址的Hash算法，将分光器采集的主干网流量分批镜像到用户行为管理设备ACG，ACG以10G性能识别全网N*100G规模的流量，获取网络流量的应用APP和目的IP的映射关系。
④应用识别同步：ACG将APP-IP表项以及APP分类结构周期性的同步给LLB。
⑤选路策略配置：网络管理员根据不同用户不同应用对链路资源需求的特点，以及各出口链路的业务应用属性制定应用选路策略。
⑥应用识别及调度：
l 当客户端发起某一业务请求时，LLB根据APP-IP表项识别进行应用调度策略匹配，并将用户流量调度到高优先级的出口链路上，并实时探测链路的拥塞状态；
l 当高优先级链路发生拥塞时，LLB会将新的业务请求调度到低优先级的链路上；
⑦链路流量统计运营：LLB实时进行链路流量信息收集并发送到管理平台，管理平台完成各链路流量统计展示，为出口链路资源的合理配置提供数据支撑；
2）基于NAT的IPv4/IPv6网络互通
图4 基于NAT的IPv4/IPv6网络互通原理
如上图所示，基于综合网关双机集群M9000的NAT64/NAT44满足实现IPv4/ IPv6之间的正常互访，具体业务流程如下：
① IPv6与IPv6互访：网络设备支持IPv6协议栈可直接进行互访。
②IPv4与IPv4互访：基于嵌套字（IP地址+端口号）的NAT44动态地址转换将大量的内网IPv4地址转换为少量外网IPv4地址，不同内网IPv4地址和端口转换为不同的外网IPv4地址和端口。
② IPv4与IPv6互访：
l 内网IPv4主动访问IPv6：在出口网关上配置IPv4和IPv6地址静态映射关系，通过NAT64实现IPv4与IPv6的互访；
l 内网IPv6主动访问IPv4：基于嵌套字（IP地址+端口号）的NAT64动态地址转换将大量的IPv6地址转换为少量外网IPv4地址；
3）NAT日志留存满足网络安全监管
图5 NAT日志留存及审计溯源原理
如上图所示，基于分布式日志系统实现N*100G大流量、N*100万EPS高并发的NAT日志的采集、存储及审计溯源功能，具体实现业务流程如下所示：
①NAT数据采集：出口网关集群M9000主动通过syslog协议将NAT日志实时发送到日志系统完成NAT日志的采集，日志系统采用分布式架构，可线性拓展，能够满足未来100G*N大流量大并发场景下的日志采集需求。
②数据处理：日志系统对收集的NAT日志进行数据分类和范式化处理，将各种不同类型和表达方式的日志转换成统一的日志格式，并将完成转换的NAT日志进行统一的存储，日志存储满足网监部门6个月数据留存要求。同时通过对海量NAT日志的快速检索，帮助客户进行审计追踪、调查取证和应急处置。
4）基于用户识别的增值运营
图6 基于用户识别的增值运营原理
如上图所示，基于用户识别技术为集团客户提供差异化的增值服务，涵盖优质网络服务、综合安全威胁发现、防护服务及统计运营服务，具体业务流程如下：
①客户流量识别及安全检测、防护：基于IP地址识别客户流量，TAP分流器筛选出需要安全防护/分析的集客业务流量分别复制抓取到全威胁流量探针和DDOS检测设备，核心路由器基于IP地址的策略路由对集团客户流量进行引流实现安全防护。
②DDOS检测及清洗：当DDOS检测设备检测到攻击时，检测设备发送被攻击的主机IP牵引消息给DDOS清洗设备，清洗设备发布BGP策略路由至核心路由器将异常流量牵引至清洗设备进行清洗，清洗完成后将流量回注至核心路由器。
③统计运营：通过全威胁流量探针和日志系统采集完成业务流量、安全日志的采集并发送至态势感知平台，依托安全大数据、人工智能技术实现对集团客户的业务流量、安全事件的统计分析、风险感知、趋势预测等。
5）出口平台的高可靠和可扩展
图7 出口平台的高可靠和可拓展
广电省干网出口安全平台方案的高可靠和可扩展体现在网元设备和网络架构的高可靠和可扩展设计。
出口网关采用双机集群的高可靠部署方式，单台设备采用正交CLOS架构，控制、数据、转发相分离；主控、交换、接口、业务、电源、风扇冗余；单设备最大支持14槽位，集群模式下可扩展至Tbps以上吞吐性能和10亿以上的并发连接处理能力。
在平台架构设计上，方案将报文应用分析和流量调度转发处理进行分离，由不同的子系统完成，即ACG进行流量应用类型识别，LLB根据应用类型处理流量转发，可按需调整相应子系统的处理性能，以匹配现网业务规模。
在针对集客流量的安全服务上，需要对其流量做旁路识别与检测。方案在主干链路流量通过分光器镜像至专用TAP复制分流器，单机可复制分流400G规模的流量，同时该方式降低了流量镜像复制对出口网关或者核心路由器的性能消耗，旁挂方式天然可逃生，TAP设备故障不影响现网业务。
依托可扩展的架构设计及高性能的网元设备，本方案能够满足未来N*100G流量下的NAT、应用智能选路流量处理，以及100G以上流量规模的集团客户增值业务服务。
联系我们
