存储 频道

2010 SACC会场:259亿图片 淘宝如何存储

  【IT168 报道】8月29日,2010年系统架构师大会在北京永泰福朋.喜来登大酒店拉开帷幕。本次大会主题是:“企业IT应用非常好的实践”,是由IT168联合旗下三大技术社区ChinaUnix、ITPUB、IXPUB主办的继2009年第一届系统架构师大会之后偏重技术经验分享和案例剖析的又一次技术盛宴。据悉,本次技术大会邀请了37位各行各业、国内最优异的技术专家分享来自企业技术一线的系统架构非常好的实践经验。

2010 SACC会场 淘宝解决259亿图片存储
27日下午架构与存储分会场极其火爆

  对于大多数系统来说,最头疼的就是大规模的小文件存储问,淘宝网同样遇到了类似的问题。对于淘宝网来说,服务器上保存着259亿图片文件,这些图片文件很多是根据素材原图生成的不同尺寸规格的缩略图,总图片存储容量约1PB,其中文件大小不足8K的约占60%左右。

2010 SACC会场 淘宝解决259亿图片存储
淘宝网公司技术委员会主席,淘宝核心工程师章文嵩博士

  在今天架构师大会的架构与存储分论坛上,淘宝网公司技术委员会主席,淘宝核心工程师章文嵩博士向大家介绍了淘宝独立研发的分布式文件系统TFS(Taobao File System),根据章文嵩博士的介绍,淘宝网TFS文件系统已经较好的解决了海量小图片存储的挑战,此外,章文嵩博士还介绍道,TFS将于今年9月份完全开源,公开的开源版本和将淘宝网正在使用的版本完全一致。

  章文嵩介绍道,为了解决大量小文件并发存储的挑战,淘宝网曾经尝试过不同的方式。之前一直用NetApp的文件存储系统,属于花钱解决问题,随着淘宝网经营规模的不断扩张,后台的NetApp存储系统也从低端到高端不断迁移。到2006年,淘宝网决定自己开发一套文件系统解决后台存储问题。

  2007年6月,淘宝网自己开发了第一个版本的TFS文件系统,部署在200台PC服务器上,容量达到100多TB。到09年6月,TFS 1.3版本正式上线,进一步扩展了集群规模,并改善了心跳和切换方面的性能。

  此外,TFS 2.0也在开发中,由于TFS在初始设计的时候,定义文件块是64MB,意味着文件系统中每个文件必须小于64MB,因此较适合小文件的大规模并发存储,至于如何实现大文件跨越块的存储,则会在TFS 2.0版本中得到较好的解决。此外,TFS 2.0的更新选项还包括针对SSD、SAS等不同硬盘类型的优化应用方案。

0
相关文章