存储 频道

SACC 2017:云平台架构进化下之瓜子云落地

  【IT168 SACC现场报道】在数字化转型时代,云已成为万物智能的数字化大脑。而随着大数据应用、人工智能、移动互联网等技术的飞速发展,“智慧+”的概念正在深入到各行各业,提升企业效率,释放商业潜能,创造全新机遇。作为国内优异技术盛会之一,2017中国系统架构师大会(SACC2017)将于10月19-21日在北京新云南皇冠假日酒店震撼来袭。

  此次大会以云智未来为主题,云集国内外优异专家,围绕云计算、人工智能、大数据、移动互联网、产业应用等热点领域展开技术探讨与交流。在云平台架构演进的过程专场中,瓜子云平台架构师彭超围绕瓜子云平台现状架构以及部署中的创新和难题做了分享。

  据彭超介绍,云平台建设包括持久化集成、任务调度、日志收集、监控报警以及Service Mesh。

  在持久化集成方面,瓜子云平台的特点是多种语言、框架多样化、快速迭代功能。但存在的问题包括如何构建、快速部署、权限管理、简单易用等。

  据了解,目前瓜子二手车云平台部署节点数超过1000+,微服务体量200+,涵盖语言包括:golang, php, java, nodejs, python, c++, scala总QPS:1000k+。

  基于VM的med-sdk,使用方式是在电脑上安装虚拟机,使用Vagrant管理、挂载代码目录。但也存在回收、资源浪费、使用不便的问题。

  在任务调度方面,由于需要自己维护环境、合理分配资源、资源整理的需求,所以需要自动扩容会让缩容,支持多种环境。

  在日志收集方面,瓜子云平台存在采集存档、实时查询、批量处理、报警监控等需求,其中,存在文件日志如何让收集、结构化日志结构改变、实时报警灯难点。在这方面,瓜子云采用挂载盘的方式,软链接到stdout,写到日志收集服务。做法分以下四步完成:

  1.统一挂载/var/log/k8s

  2.在ENTRYPOINT中创建$POD_NAME目录,放在/var/log/k8s下

  3.软链接该目录到/med/log下

  4.日志文件全部写入/med/log

  关于结构化日志的解决问题,彭超讲述,其功能包括实时检索、历史sql查询、常常会改日志结构、日志报警。对此,瓜子云的解决方案是通过avro来做序列化,引入schema registry和log agent,采用spark streaming方式。

  彭超表示,对于Service Mesh,是一种可提供安全的、快速的、可靠地服务间通信,支持轻量级高性能网络代理的专属基础设施层。

  具体来讲是是云原生应用中的服务网路,职责就是为服务间的请求提供可靠的基础层。具备服务发现、延迟感知的负载均衡,包括熔断机制,确保安全性和灰色发布。与API网关和ESB有相同之处,但却有很多不同。

0
相关文章