« 首页 - 西安必信达软件技术有限公司 - BXDSOFT.COM
大数据架构的安全分析技术研究与实践
「当前随着信息化技术的不断发展,计算机技术已经被广泛应用到人们的生产生活中的方方面面。其中,计算机技术带来便利的同时,也带来了安全隐患。为此,在信息数据膨胀化的当下,如何进行有效数据挖掘已经成为了人们关注的焦点。只有建立科学准确高效的信息网络数据挖掘架构,才能充分保障网络信息安全。本文首先进行了以SPARK为基础的网络系统整体安全方案設计,其次分别介绍了分布式网络构件及数据存储架构设计,继而进行了安全实践,以便为相关网络企业提供科学合理的参考依据。(2021-8-6)」
关键词:大数据挖掘  架构  安全实践
  1  安全方案整体设计
  这里对本文所设计的安全系统进行整体设计分析,总体来说,可以分为如下五个方面,即采集数据层面、历史数据储存层面、分析数据层面、安全分析实践层面、结果展示层面。整体方案首先通过系统服务设备进行采集分布式代理对log进行收集,继而将收集到的log日志进行历史数据平台的传输,在此过程中,形成HDFS文件系统、KFA消息队列;之后,SPA收集服务器传送的SPA分布式计算应用,由该集群通过HDFS/KFA进行数据挖掘工作,最后进行结果反馈,并进行数据存储。
  主要步骤可分为如下五个,对于数据采集而言,Flu形式的分布式网络采集进行各层服务器log的收集,其中不同的系统种类,需要进行FLu采集代理设置,对各不同系统进行安全数据的收集。数据收集完成后,以数据量规模的不同为基础,进行Flu节点汇聚,由该节点进行数据编辑如HDFS/KFA中,以此完成数据收集工作。对于原始数据的储存而言,其往往表现为数据量繁多,但是可利用性较低。为此,本文所设计方案主要采取批处理形式、流计算等方式对HDFS/KFA进行数据记录。其中,对于HDFS而言,其主要表现为物理节点的分布式数据存储,表现为抽象化的文件系统。在Flum进行数据HDFS记录时,HDFS物理节点预先设置一定的空间;对于KFA而言,其预先为数据进行空间准备,Flu节点直接传输记录数据到KFA。对于数据分析而言,考虑到数据更新速度较快,这里选取批处理、流计算模式进行数据分析,首先进行分析规则的读取,按照上述模式进行HDFS/KFA数据读取,继而进行数据安全分析,以此实现规则匹配、数据关联,这有助于进行规模化数据的安全挖掘工作,对危险因素进行判断分析,最终将分析结果进行永久保存。
  2  分布式网络构件及数据存储架构设计
  上述主要介绍了整体方案设计的关键点,这里进行分布式网络构件、数据存储架构的设计工作。对于分布式采集网络的设计,就要尽可能减少客户端的承担任务,同时还要确保采集网络的准确可靠稳定。基于此,本文在客户端采集网络设计主要采取sys脚本,以便高效的进行数据收集任务,其中采集网络层次主要采取二级分布式网络,并且进行不同层次之间的关联,最终达到采集数据的高吞吐。
  2.1 数据源
  对于数据源而言,主要以简化需求为主要基础来进行采集任务。通常来说,采集数据可以进行分类,即web网络日志访问、操作系统日志、web扫描数据、设备运行状态。其中,对于web、系统日志,可以通过sys完成数据存储,其次采取tcp模式进行flu的处理。设备运行状态等数据,可以借助于系统脚本程序,进行特征文件的匹配,进而获取内存空间、端口信息,之后通过netcat模式进行flu的收集工作。
  2.2 Flu网络
  对于采集层次而言,其主要进行对各系统的安全数据采集工作;汇聚层次则主要对收集到的数据进行汇集,并且将数据分配金各个不同的组件当中,如HDFS、KFA序列。本文所涉及的分布式采集网络主要采取Flu代理,以此实现对系统的日志收集,代理模式具有诸多优势,如其可以以数据规模、资源应用情况为基础,继而有效选择虚拟机、物理节点进行空间分配。代理模式的业务系统端口可以分成以下四种数据,即web网络日志、系统操作日志、扫描日志、设备运行,其可以充分发挥拦截器的作用,对数据进行采集标记,继而进行AS模式机型数据序列化处理,传输到汇聚节点,在此过程中,主要依靠数据关联来实现采集、汇聚层次的数据对接工作。值得重视的是,针对信息数据规模量大的日志数据,这里主要采取布置SG,并且对数据传送方向进行控制,以便最终达到两个层次之间的数据高吞吐。
  2.3 数据存储架构
  对于数据存储架构设计而言,主要采取HDFS分布系统、KFA序列来进行构建,这里需要重点以控制吞吐量和数据动态实时性为主要目标。HFDS文件系统的构建,则要考虑节点架构和数据动态实时同步,以便能够保证信息管理的真实性,同样可实现数据的备份;KFA序列则主要通过控制协调机制对关键节点进行热切换,保障数据的可靠性。
  3  安全分析实践
  3.1 计算架构部署
  在规划数据分析实现时,本方案根据不同的吞吐量和分析实时性的分析需求,在安全应用开发上做了Spark批处理分析与SparkStreaming流计算两种编程模型实现。分析程序批量或实时读取各类日志数据,根据行为特征或统计特征检测攻击行为,并进行数据的关联分析,可快速有效的从大量日志数据中检测出针对Web应用系统或操作系统攻击行为并追溯。为保证计算架构的高可靠,采用Spark-Standalone的HA Master的方式实现,各Master节点上的Curater进程实时监控Master的运行状态,并与Zookeeper集群进行通信,将状态信息存储在Zookeeper的ZNode上。
  3.2 安全分析应用运行架构
  在考虑Spark安全分析应用运行架构部署时,本方案采用了应用与计算平台相分离的思路进行部署,在Spark分析集群外,专门设立应用管理服务器,负责管理代码维护、配置维护等应用管理的工作。当分析执行时,应用服务器在本机启动Spark-Driver程序,并将并行分析的task任务提交到计算集群的Master节点。Master节点再将task派发到各Worker节点的Executors下具体执行。Spark安全分析应用主要包括3个部分:基于web访问日志的web攻击检测;基于操作系统日志的系统攻击检测;基于特征的webshell检测与溯源。Web攻击检测和系统攻击检测主要是通过批量或实时读取相关日志,识别日志中是否存在网络攻击的行为特征或统计特征。基于特征的webshell检测与溯源,主要通过采集端前置的分析脚本扫描web应用的文件上传目录,还原攻击者的攻击行为。
  4  结语
  总而言之,本文所设计安全方案以SPK、HDFS、KFA为主要基础,构建Flu采集网络模式进行数据的记录分析,并且该设计方案能够依据不同的实际需求进行SPK模式的批处理、流模式,实现高吞吐与安全数据挖掘。该方案能高效稳定地进行大规模数据情况下的有效数据挖掘,对于当前的信息化时代而言,具有十分重大的创新意义,不仅能大大简化技术人员的运维成本,而且对于促进新兴业务的开发提供了良好的基础,继而保障信息安全,最终能够促进整个信息产业的健康发展。
  参考文献
  [1] 吕欣,韩晓露.大数据安全和隐私保护技术架构研究[J].信息安全研究, 2016,2(3):244-250.
  [2] 刘鸿霞,李建清,张锐卿.立体动态的大数据安全防护体系架构研究[J]. 信息网络安全,2016(9):18-25.
  [3] 姚欣.网络空间安全大数据实时计算平台关键技术研究[D].天津理工大学, 2016.
(隐Pp)
点击进入「必信达创业合作论坛」下一篇:基于Spring的门禁系统架构设计与实现 »
Copyright © 1999-2021 西安必信达软件技术有限公司