答题小程序 微信_微信小程序点餐怎么做_怎么做小程序_小程序模板源码下载_小程序小游戏
当前位置:建站首页 > 新闻资讯 > 常见问题 >

Facebook、amazon等大佬是怎样修建自身的数据信息库

发表日期:2021-04-06 10:31文章编辑:jianzhan浏览次数: 标签:    

在Keen IO,大家觉得会应用恶性事件数据信息的企业才具备市场竞争优点,全球领跑的高新科技企业证实了这一点。可是大家依然对Facebook、Amazon、Airbnb、Pinterest和Netflix数据信息精英团队所做的事儿觉得诧异。她们为手机软件和公司从数据信息中获得信息内容而制订了国家免检产品准。 因为她们的商品客户量巨大,因此这种精英团队务必持续地界定经营规模剖析的方式。她们早已在数据信息构架中资金投入了数千万美金,而且在大多数数企业中,数据信息精英团队的经营规模超出了全部工程项目单位的经营规模。 大家创建了Keen IO,是以便以让大多数数手机软件工程项目精英团队不用从头开始搭建全部內容,便可以运用全新的大中型恶性事件数据信息技术性。可是,假如您对怎样变成大佬企业觉得好奇心,那麼请从最好的企业中搜集一些构架。 Netflix Netflix有着9三百万客户,沒有互动缺点。如同她们的工程项目精英团队在Netflix数据信息管路的演化中叙述的那般,她们每日大概捕捉5000亿次恶性事件,每日大概有1.3 PB的数据信息传送。在高峰期时间段,她们每秒钟将纪录4000万次恶性事件。她们雇佣了100好几个数据信息工程项目师或剖析师。 Facebook、亚马逊等巨头是如何建造自己的数据库的?| 全球聚焦 Facebook 有着超出十亿的活跃性客户,Facebook有全球上较大的数据信息库房之一,储存超出300PB。该数据信息被用以普遍的运用:从传统式的批处理命令到图型剖析,设备学习培训和即时互动式剖析。 以便开展规模性的互动式查寻,Facebook的工程项目师创造发明了Presto,一种对于点到点剖析开展提升的订制遍布式的SQL查寻模块。每日有1000多位Facebook职工应用Presto,根据Hive、HBase和Scribe的可插拔后端开发数据信息储存,每日实行查寻频次超出30000次。 Facebook、亚马逊等巨头是如何建造自己的数据库的?| 全球聚焦 管理体系构造 Facebook、亚马逊等巨头是如何建造自己的数据库的?| 全球聚焦 后端开发数据信息储存 Airbnb Airbnb适用超出一亿客户访问200多万元的房子目录。她们智能化地为这种客户出示新的旅游提议的工作能力,这对她们的发展有非常大危害。 Airbnb的数据信息科学研究主管Elena Grewal在上年的大会“创建一个全球级的剖析精英团队”上提及,她们早已将Airbnb的数据信息精英团队拓展到有着30多位工程项目师的经营规模。它是每个人每一年五百万的项目投资。 在blog《数据信息基本构架》一原文中,AirbnbEng工程建筑师James Mayfield、Krishna Puttaswamy、Swaroop Jagadish和Kevin Longdescribe叙述了搭建数据信息构造的基本因素及其怎样为重要每日任务数据信息出示高些的靠谱性。她们比较严重依靠Hive和Apache Spark,并应用了Facebook的Presto。 Facebook、亚马逊等巨头是如何建造自己的数据库的?| 全球聚焦 AIRBNB的数据信息基本构造 Pinterest Pinterest每个月有超出一亿的客户访问超出100亿的网页页面访问量。截止2016年,她们将数据信息精英团队拓展到有着250多位工程项目师的经营规模。她们的基本设备依靠于开源系统系统软件Apache Kafka,数据信息解决架构Storm,系统软件基本构架Hadoop,开源系统数据信息库HBase和GPU3D渲染器Redshift。 Facebook、亚马逊等巨头是如何建造自己的数据库的?| 全球聚焦 数据信息管路构造图 Pinterest精英团队不但必须跟踪很多顾客有关的数据信息。像别的社交媒体服务平台一样,她们还必须向广告宣传商出示详尽的剖析。黄彤波在《Behind the Pins: Building Analytics at Pinterest》一原文中写到:以便考虑这一要求,她们改善了自身的剖析堆栈。下列是Pinterest精英团队怎样应用Apache Kafka,AWS S3和HBase的提示图: Facebook、亚马逊等巨头是如何建造自己的数据库的?| 全球聚焦 Pinterest商业服务数据信息剖析构造图 Twitter / Crashlytics 每日即时解决50亿个大会。Ed Solovey详细介绍了Crashlytics Answers精英团队搭建的一些构架,用以解决数十亿的平时移动终端恶性事件。 Facebook、亚马逊等巨头是如何建造自己的数据库的?| 全球聚焦 信息内容流接受 Facebook、亚马逊等巨头是如何建造自己的数据库的?| 全球聚焦 Facebook、亚马逊等巨头是如何建造自己的数据库的?| 全球聚焦 批处理命令测算 Facebook、亚马逊等巨头是如何建造自己的数据库的?| 全球聚焦 加快测算 Facebook、亚马逊等巨头是如何建造自己的数据库的?| 全球聚焦 Keen IO的数据信息构架 如同我以前提及的,大家搭建了Keen数据信息插口(API),便于一切开发设计工作人员都可以令其用全球一流的数据信息构架,而不用有着一个巨大的精英团队搭建一大堆基本构架。不计其数的工程项目精英团队应用Keen的API来捕捉、剖析、流式的传送和置入恶性事件数据信息,包含即时和批处理命令运用程序。 尽管应用Keen的开发设计工作人员在推送恶性事件或运作查寻时不用了解台前幕后产生的状况,但下边是解决其恳求的管理体系构造: Facebook、亚马逊等巨头是如何建造自己的数据库的?| 全球聚焦 Keen IO信息内容解决构造图 在键入层面,负荷平衡器解决数十亿次传到的贴子恳求。恶性事件流来源于于运用程序,网站,联接机器设备,网络服务器,收费系统软件这些。恶性事件必须认证、排列和可选择择地丰富多彩附加的数据库,如IP-自然地理查寻。这一切都产生在几秒钟钟内。 一旦安全性地储存在Apache Cassandra中,恶性事件数据信息便可以根据REST API开展查寻。大家的构架(根据Apache Storm,DynamoDB,Redis和AWS lambda等技术性)适用从初始传到数据信息即时数据信息探寻,到运用程序揉面向顾客汇报的缓存文件查寻的各种各样查寻要求。Keen每日查寻数十万个恶性事件特性,并且为不计其数的顾客搭建汇报,全自动化和数据信息发掘页面。 谢谢团结一致一致的数据信息工程项目界,持续创造发明新的数据信息技术性、开源系统,并共享她们的专业知识。假如沒有那么多工程项目团队的基本工作中,沒有与大家每天一起协作的人,大家的精英团队都不将会有今日。热烈欢迎多方的建议和意见反馈。 谢谢编写Terry Horner,Dan Kador,Manu Mahajan和Ryan Spraetz的协助。 汉语翻译 译者ID:王炜 编写:郝鹏程


成都市磅礴驱动力企业网站建设企业出示:成都市企业网站建设、成都市手机上企业网站建设、成都市手机微信开发设计、成都市微信小程序开发设计、成都市自适应网站基本建设、成都市网站建设、成都市响应式企业网站建设、成都市网页页面设计方案、腾迅公司电子邮箱、商城系统开发设计等服务。

相关新闻

url动态性、静态数据、伪静态数据的差别

许多做SEO的都是说网站url是静态数据最好,伪静态数据次之,最终才算是动态性url。见过许多...

日期:2021-03-26 浏览次数:84

网站域名安全性及违反规定网站解决

1、本网站回绝为一切违反规定內容出示网站域名服务。2、为确保网站域名安全性,本网将协...

日期:2021-03-24 浏览次数:76

网站制作中提升信赖度的11点方法

3、详尽的企业详细介绍(About US)---沒有人想要和“模糊不清目标”做买卖。在互联网买卖个人...

日期:2021-03-21 浏览次数:96

精英团队招骋

1、了解SEO,了解掌握Google、百度搜索等各种检索模块的基本原理和特性,了解排行标准和规律...

日期:2021-03-18 浏览次数:103

腾迅总市值超Facebook满足球第五

九州互联网 腾迅总市值超Facebook满足球第五来源于: 公布 阅读文章数:2778九州互联网九州互...

日期:2021-03-16 浏览次数:59

网站制作颜色配搭的一些妙用

一、鲜红色的色感溫暖,性情刚直而性格外向,是一种对人刺激性性较强的色。鲜红色非常容...

日期:2021-03-11 浏览次数:145