- 阿里墨冶:大数据行业仍处于上半场
本次名人堂专访,我们有幸邀请到了来自阿里数据技术与产品部的墨冶(本名陈敏敏),他在阿里主要支持和负责零售通的数据业务,同时横向负责集团五条To B业务线的数据技术,包含采集、计算、存储一直到数据展示端的技术。
谢涛 · 2018-08-27 09:27 - 如何优雅地使用Redis之位图操作
在进入今天的主题前,先简单地解释下Redis中的位图到底是什么。Redis官方文档对于位图的介绍如下:位图不是一个真实的数据类型,而是定义在字符串类型上的面向位的操作的集合。由于字符串类型是二进制安全的二进制大对象,并且最大长度是 512MB,适合于设置 2^32个不同的位。
谢涛 · 2018-08-23 14:57 - Ceph存储后端ObjectStore架构和技术演进
Ceph是分布式和强一致性的软件定义存储产品,随着越来越多的企业和组织不断加入,Ceph存储系统稳定性、可靠性和易管理性得到了很大的提升,在版本演进和迭代中,Ceph存储的企业特性也得到了完善。
谢涛 · 2018-08-17 20:48 - Apache Spark 统一内存管理模型详解
本文将对 Spark 的内存管理模型进行分析,下面的分析全部是基于 Apache Spark 2.2.1 进行的。为了让下面的文章看起来不枯燥,我不打算贴出代码层面的东西。文章仅对统一内存管理模块(UnifiedMemoryManager)进行分析,如对之前的静态内存管理感兴趣,请参阅网上其他文章。
谢涛 · 2018-08-15 17:13 - 对象代理数据库:大数据时代下的应需之作
本文根据彭智勇老师于第九届中国数据库技术大会(DTCC 2018)的现场演讲《支持海量复杂数据管理的对象代理数据库系统TOTEM》内容整理而成。
谢涛 · 2018-08-15 09:39 - HDFS 块和 Input Splits 的区别与联系
相信大家都知道, HDFS 将文件按照一定大小的块进行切割,(我们可以通过 dfs.blocksize 参数来设置 HDFS 块的大小,在 Hadoop 2.x 上,默认的块大小为 128MB。)也就是说,如果一个文件大小大于 128MB,那么这个文件会被切割成很多块,这些块分别存储在不同的机器上。
谢涛 · 2018-08-14 18:03 - 使用Recast.AI创建具有人工智能的聊天机器人
很多SAP顾问朋友们对于人工智能/机器学习这个话题非常感兴趣,也在不断思考如何将这种新技术和SAP传统产品相结合。Jerry之前的微信公众号文章 C4C和微信集成系列教程 曾经介绍了Partner如何利用SAP Cloud for Customer内置的社交媒体集成框架,做一些简单的开发将微信集成到C4C中去。
谢涛 · 2018-08-14 10:41 - 如何成为一位「不那么差」的程序员
已经记不清有多少读者问过: 博主,你是怎么学习的?像我这样的情况有啥好的建议嘛? 也不知道啥时候我居然成人生导师了。当然我不排斥这些问题,和大家交流都是学习的过程。 因此也许诺会准备一篇关于学习方面的文章;所以本文其实准备了很久,篇幅较长,大家耐心看完希望能有收获。
谢涛 · 2018-08-14 09:50 - Apache Spark 统一内存管理模型详解
本文将对 Spark 的内存管理模型进行分析,下面的分析全部是基于 Apache Spark 2.2.1 进行的。为了让下面的文章看起来不枯燥,我不打算贴出代码层面的东西。文章仅对统一内存管理模块(UnifiedMemoryManager)进行分析。
谢涛 · 2018-08-10 17:38 - 针对静默数据错误,如何采用DIX和DIF保证数据一致性?
静默数据破坏问题是一直存在 存储系统中最难解决 的数据一致性问题之一,无论是传统多控、分布式存储,还是公有云存储。对存储系统设计和开发人员来讲,数据一致性问题解决能否解决决定着存储系统是否可以商用。到这个问题一直没有成为讨论的技术焦点,直到最近腾讯云事件持续热化以后,“ 数据一致性 ”问题成成为焦点出现在大众视野。
谢涛 · 2018-08-10 17:14 - 分离式or超融合,分布式存储建设时的两种部署模式
数据中心内部系统的核心要求是“稳定可靠”,一是指系统在运行过程中有能力提供连续可靠的服务,长时间无故障运行;二是指当故障发生之后,有能力快速定位,及时排查,故障范围不蔓延。
谢涛 · 2018-08-03 16:27 - 为你的回归问题选择最佳机器学习算法
在处理任何类型的机器学习(ML)问题时,我们有许多不同的算法可供选择。而机器学习领域有一个得到大家共识的观点,大概就是:没有一个ML算法能够最佳地适用于解决所有问题。不同ML算法的性能在很大程度上取决于数据的大小和结构。因此,如何选择正确的算法往往是一个大难题,除非我们直接通过大量的试验和错误来测试我们的算法。
谢涛 · 2018-08-02 16:19 - ElasticSearch架构反向思路
我曾经在多个场合说过,我分析一个系统的设计思路,往往不是一开始就去看看这个系统的设计文档或者源代码,而是去看系统的基本介绍,特别是框架类的功能详细介绍,然后根据介绍可以大概了解这样一个系统用来解决什么问题,有哪些特色......
谢涛 · 2018-07-27 16:08 - 目标检测技术演化:从R-CNN到Faster R-CNN
目标检测旨在准确地找到给定图片中物体的位置,并将其正确分类。准确地来讲,目标检测需要确定目标是什么以及对其定位。
谢涛 · 2018-07-27 14:03 - SAP成都研究院DevOps那些事
您一定听说过 Development Engineer ( 开发工程师 ) ,也听说过 Operation Engineer ( 运维工程师 ) ,那 DevOps Engineer 是个什么工种?想回答这个问题,在我担任 DevOps Engineer 这短短的一年看来,其实既有只缘身在此山中的困惑,也有不足为外人道的窘迫。
谢涛 · 2018-07-27 13:33 - 闲鱼专家详解:Flutter React编程范式实践
Flutter Widget的设计灵感来源于React,是一款原生就立足于响应式的UI框架。本文基于Flutter特点,试图结合闲鱼在Flutter的工程应用来谈下我们对Flutter React编程范式的思考和践行。
谢涛 · 2018-07-21 13:57 - 分布式之闲侃前后端分离架构的必要性!
本文讨论了前后端未分离、半分离、分离的架构、以及各自架构演进的原因。博主前端也只能算是半吊子水平吧。其实大家发现了么,靠着前端进BAT,比靠后端进BAT难度小的多,博主也曾经动摇过,不过还是坚持在后端继续深造。
谢涛 · 2018-07-21 13:31