IT168首页 | 产品报价 | 渠道168 | ChinaUnix社区 | ITPUB社区 | OA维修站 | 文库 | 博客 | 会议 | 自测 | 专题 | 订阅 | IT选型顾问
存储频道

技术应用

数字经济时代还未走进下半场,爆发的数据量已经开始让大部分企业都感到兴奋又头疼。兴奋的是大量的数据就意味着大量待发掘的商业价值,头疼的则是在这种数据爆发模式下,如何存储、管理、使用这些数据,也对IT基础设施带来了日益增大的挑战。

12日更新
从英特尔上海紫竹研发中心归来,认真聊一聊傲腾

Drill是Apache旗下的一个开源SQL查询引擎,可用于探索大数据。它的设计初衷是为了支持对大数据的高性能分析,同时支持行业标准查询语言ANSI SQL。

30日更新
标签:大数据 技术
Drill-on-YARN之部署

本次名人堂专访,我们有幸邀请到了来自阿里数据技术与产品部的墨冶(本名陈敏敏),他在阿里主要支持和负责零售通的数据业务,同时横向负责集团五条To B业务线的数据技术,包含采集、计算、存储一直到数据展示端的技术。

27日更新
标签:SACC 大数据
阿里墨冶:大数据行业仍处于上半场

在进入今天的主题前,先简单地解释下Redis中的位图到底是什么。Redis官方文档对于位图的介绍如下:位图不是一个真实的数据类型,而是定义在字符串类型上的面向位的操作的集合。由于字符串类型是二进制安全的二进制大对象,并且最大长度是 512MB,适合于设置 2^

23日更新
标签:redis
如何优雅地使用Redis之位图操作

Ceph是分布式和强一致性的软件定义存储产品,随着越来越多的企业和组织不断加入,Ceph存储系统稳定性、可靠性和易管理性得到了很大的提升,在版本演进和迭代中,Ceph存储的企业特性也得到了完善。

17日更新
标签:ceph
Ceph存储后端ObjectStore架构和技术演进

本文将对 Spark 的内存管理模型进行分析,下面的分析全部是基于 Apache Spark 2.2.1 进行的。为了让下面的文章看起来不枯燥,我不打算贴出代码层面的东西。文章仅对统一内存管理模块(UnifiedMemoryManager)进行分析,如对之前的

15日更新
标签:spark 大数据
Apache Spark 统一内存管理模型详解

本文根据彭智勇老师于第九届中国数据库技术大会(DTCC 2018)的现场演讲《支持海量复杂数据管理的对象代理数据库系统TOTEM》内容整理而成。

15日更新
对象代理数据库:大数据时代下的应需之作

相信大家都知道, HDFS 将文件按照一定大小的块进行切割,(我们可以通过 dfs.blocksize 参数来设置 HDFS 块的大小,在 Hadoop 2.x 上,默认的块大小为 128MB。)也就是说,如果一个文件大小大于 128MB,那么这

14日更新
标签:HDFS Hadoop
HDFS 块和 Input Splits 的区别与联系

很多SAP顾问朋友们对于人工智能/机器学习这个话题非常感兴趣,也在不断思考如何将这种新技术和SAP传统产品相结合。Jerry之前的微信公众号文章 C4C和微信集成系列教程 曾经介绍了Partner如何利用SAP Cloud for Customer内置的社交媒

14日更新
标签:人工智能
使用Recast.AI创建具有人工智能的聊天机器人

已经记不清有多少读者问过: 博主,你是怎么学习的?像我这样的情况有啥好的建议嘛? 也不知道啥时候我居然成人生导师了。当然我不排斥这些问题,和大家交流都是学习的过程。 因此也许诺会准备一篇关于学习方面的文章;所以本文其实准备了很久,篇幅较长,大

14日更新
标签:IT职场
如何成为一位「不那么差」的程序员

本文将对 Spark 的内存管理模型进行分析,下面的分析全部是基于 Apache Spark 2.2.1 进行的。为了让下面的文章看起来不枯燥,我不打算贴出代码层面的东西。文章仅对统一内存管理模块(UnifiedMemoryManager)进行分析。

10日更新
标签:spark
Apache Spark 统一内存管理模型详解

静默数据破坏问题是一直存在 存储系统中最难解决 的数据一致性问题之一,无论是传统多控、分布式存储,还是公有云存储。对存储系统设计和开发人员来讲,数据一致性问题解决能否解决决定着存储系统是否可以商用。到这个问题一直没有成为讨论的技术焦点,直到最近腾讯云事件持续热

10日更新
标签:数据 存储
针对静默数据错误,如何采用DIX和DIF保证数据一致性?

这篇文章主要讲述Redis的主从复制功能。会依次从环境搭建、功能测试和原理分析几个方面进行介绍。

10日更新
标签:redis 架构
redis系列:主从复制

这次主要来分享Ceph中的PG各种状态详解,PG是最复杂和难于理解的概念之一

09日更新
标签:分布式存储
分布式存储 Ceph 中 PG 各种状态详解

数据中心内部系统的核心要求是“稳定可靠”,一是指系统在运行过程中有能力提供连续可靠的服务,长时间无故障运行;二是指当故障发生之后,有能力快速定位,及时排查,故障范围不蔓延。

03日更新
分离式or超融合,分布式存储建设时的两种部署模式

在处理任何类型的机器学习(ML)问题时,我们有许多不同的算法可供选择。而机器学习领域有一个得到大家共识的观点,大概就是:没有一个ML算法能够最佳地适用于解决所有问题。不同ML算法的性能在很大程度上取决于数据的大小和结构。因此,如何选择正确的算法往往是一个大难题

02日更新
标签:机器学习
为你的回归问题选择最佳机器学习算法

redis大家在项目中经常会使用到。官网也提供了多语言的客户端供大家操作redis,如下图所示

01日更新
标签:redis
自己动手写一个能操作redis的客户端

我曾经在多个场合说过,我分析一个系统的设计思路,往往不是一开始就去看看这个系统的设计文档或者源代码,而是去看系统的基本介绍,特别是框架类的功能详细介绍,然后根据介绍可以大概了解这样一个系统用来解决什么问题,有哪些特色......

27日更新
标签:架构 技术
ElasticSearch架构反向思路

目标检测旨在准确地找到给定图片中物体的位置,并将其正确分类。准确地来讲,目标检测需要确定目标是什么以及对其定位。

27日更新
目标检测技术演化:从R-CNN到Faster R-CNN

您一定听说过 Development Engineer ( 开发工程师 ) ,也听说过 Operation Engineer ( 运维工程师 ) ,那 DevOps Engineer 是个什么工种?想回答这个问题,在我担任 DevOps Engineer 这短

27日更新
标签:DevOps
SAP成都研究院DevOps那些事
最新文章