宝博体育:OpenStack社区全票通过国内首个开源智能运维项目

  (全球TMT2021年9月22日讯)浪潮云海针对OpenStack平台在日志存储、检索、分析等方面的需求而推出的日志管理项目,Venus以全数赞成票通过了OpenStack社区TC团队的审核,成为国内贡献OpenStack社区且在智能运维领域的首个正式项目。

  概括来说,Venus主要还是取决于大规模部署条件下,针对OpenStack平台在日志存储、检索、分析等方面的核心需求,可以做到一站式满足日志采集、清洗、索引、分析、告警、可视化、生成报告等,帮助运维人员快速检索问题,掌握平台的运行健康度,并在未来计划引用机器学习算法,快速定位IT故障及根因,提高运维效率以及平台管理的水平。

  具体来说在检索工作上,Venus主要提供了简单易用的检索方式,可以做到检索一切日志数据,定位日志上下文;在分析上主要实现日志关联、字段数值统计,提供多场景、多维度的可视化分析报表;告警层面则将搜索转化为主动告警,实现海量日志中错误的“大海捞针”;定位是主要通过建立知识图谱和调用的链式关系,结合算法实现故障的快速定位。

  以下是基于浪潮云海自研OpenStack Dashboard(浪潮云海自研的OpenStack Dashboard已贡献到木兰社区,感兴趣的小伙伴可以到社区下载集成,功能完善且操作简易。)集成Venus的两个典型示例,可参考:

  b. 系统可以展示整个调用过程,做到清楚定位到整体调用链错误日志的位置。

  浪潮云海技术研发团队表示,Venus以Fluented+Elasticsearch为基础,深度挖掘日志数据、固化运维的场景并提供认证的通用接口,例如:

  采集层:开发了基于Fluented的采集任务,针对OpenStack、操作系统、平台服务等日志开发了读取、过滤、格式化、发送等插件,而且用户可以按需配置。

  存储层:采集并格式化后日志索引至Elasticsearch集群中,ES提供副本机制。即使在某些服务器宕机后仍能正常工作,提高数据可用性,同时存储层也有Mysql作为分析结果的存储。

  Venus_api:api服务主要进行简单的业务处理,提供更简洁更全面的认证接口。将上层调用转化为底层Elasticsearch查询,并对查询的多维度索引数据进行简单处理,同时将结果返回。

  Venus_manager:内部定时任务模块,开发了可配置的定时任务,包括数据清理任务、日志分析任务、日志告警任务、调用链分析任务等核心业务处理任务。

  展现层:Venus已开发Horizon插件并且提供统一接口对接第三方系统。

  一直以来浪潮云海通过对开源开放技术的攻坚,突破开源版本在性能、大规模管理能力方面的瓶颈,秉承“源于开源、馈于开源”的理念,助力业界共同构建开放统一的智能基础设施。

  Venus项目旨在打造一个开放的OpenStack日志管理平台,集合广大用户在日志领域的需求和实践,提供各场景日志分析并集成算法和知识图谱实现故障的快速定位,构建完备的日志运维场景,所以Venus模块会随OpenStack的Yoga版本发布第一个正式的Release,未来的重点工作将会涉及:

----此新闻来源于宝博体育

标签: 日志

相关文章

必填

必填