存档

‘大数据’ 分类的存档

数据存储框架04

2019年11月27日 没有评论

看完企业级硬盘和普通硬盘的区别,归纳了如下几点:
– 企业级硬盘的外壳做工比普通硬盘要扎实: 企业级硬盘的外壳表面略带弧形(龟壳),普通硬盘是平面。
– 企业级硬盘内部碟片的中心转轴和整个盘体通过螺丝相连,增加了稳定性。普通硬盘内部碟片的中心转轴没有与其它盘体相连固定。
– 企业级硬盘内部碟片的部分被一块半园环装的铝合金固定。企业级硬盘转速较快,为了保证碟片的整机稳定性,增加了此片铝合金固定件。普通硬盘没有此部件。
– 企业级硬盘电机的磁铁体积明显大于普通硬盘,使得企业级硬盘的电机获得更大的推力。
– 企业级硬盘的主轴电机相对较细,主要是在体积相同的情况下,放置更大的转子,
– 企业级硬盘电路板上的主控芯片采用FPGA,一并封装了缓存。普通硬盘的主控芯片和缓存芯片是分开的,且以针脚形式链接到硬盘电路板。

“分久必合,合久必分“,可以对应分布式存储和传统存储产品的关系。这两种力量在长期的互为作用下,形成行业创新的动力。随着云计算和大数据时代的到来,传统SAN存储产品虽然不会消亡,但已经很难满足海量数据处理的需求,分布式存储的创新给用户带来更好的选择。

企业级用户选择存储供应商,完全由自身业务与应用场景而定。大部分企业用户主要考虑两点:一是对系统稳定、可靠和安全的要求;二是商业化产品应用的稳重要求,即选择有自研能力的存储厂商,明显会减少许多不必要的试错过程。如果有很强技术能力的用户,他们可能会选择开源软件。

在分布式存储市场上坚守十年技术迭代和创新的厂商比较少。”十年磨一剑“,经历十几年技术洗礼的某公司就是其中之一。其产品经受了市场考验和取得较好的市场成绩,主要原因有四点:经验、本地化、融合架构和性能卓越。

如何描述经验? ”不经一番寒彻骨,怎得梅花扑鼻香。“只有经过长期的实战,才能获得对诸多用户场景成功落地的丰富经验。任何一个分布式存储系统,都是从最初的版本一代一代优化升级,然后才能变得成熟,并成为厂商决胜市场的关键。这是获得经验的根本所在。

分类: 大数据 标签:

数据存储框架03

2019年11月26日 没有评论

公司的愿景和目标? 帮助客户通过挖掘其数据的潜力,并利用其数据中的价值进行智能创新。利用公司丰富的创新、开发和经验资源,将在运营技术(OT)领域广泛专业知识与经过验证的信息技术(IT)产品创新和解决方案相结合,为工商企业提供数据驱动解决方案。

业务转型标志着公司的一次巨变,因为我们在不断推进公司的统一社会创新愿景。公司多年来一直帮助客户利用数据的力量来只是具有实效的商业举措。现在,鉴于世界正在被数字化工具和流程改变,我们进行业务调整和转型,

-数据中存在的机会:数据已经成为企业最大的财富,前提是他们能够从中获得可以付诸行动的发现。数据是获取新的收入来源、提高客户体验、改善市场洞察力以及降低经营成本的关键。我们的产品和方案能够帮助客户充分发掘其数据的价值。

-新兴的物联网市场: Gartner,Inc表示”2020年物联网相关支持将达到4400亿美元,在这一时期,将有超过210亿个传感器和端点相链接。“

-优雅的便携式架构: 能够在工作场所或云端运行,支持在边缘和核心的工业物联网部署。

从做双控存储开始的二十年时间内,公司一直坚持积累与创新。回顾这段历史,公司给人的印象比较低调而理性。低调在于,针对技术和产品的研发,始终坚持以用户需求和市场发展为先的路线,不会有”只因技术而做技术“的激进。理性在于,多年的行业经验,成就了公司善于在合适的时间选择合适的技术放在合适的平台上(三个合适/PPT),理性看待技术创新的独特优势。这对于任何一个企业级存储厂商的健康发展来说,都显得尤为重要。(然后举例说明)单从这两个(案例)关键技术的创新发展来看,谨慎严谨,理性创新,使得低调的公司不断取得进步。毕竟这些年来传统存储整体市场规模增长已经不是十分明显,出货量一度出现下滑的趋势,同时因为后来全闪存阵列与传统存储的有效结合,才将传统存储的影响力进一步拉了回来。全球传统存储市场发展趋势和全闪存的表现,最终让公司选择了突破自己,成就数字时代下的存储新未来

数字化时代的企业用户所面临的不只是传统应用环境的挑战,还有来自物联网与大数据发展带来的基础架构现代化的新挑战,这对存储产品提出了新的需求:
– 需要进一步优化存储产品的性能,为处理物联网数据和流数据分析等现代工作负载加速。
– 需要对来自Oracle,SAP等传统企业应用、来自容器化的现代应用,以及来自大型机的关键业务应用等多样化工作负载,进行高效的处理和有效的管理。
– 需要确保架构等前瞻性,以适应企业发展的未来需求
– 需要优化总体拥有成本,增强现有数据服务的价值并延长其生命周期,扩展现有存储资产的价值。
– 需要简化管理并加速自动化,基于AI创建新的管理机制,快速提高IT运营效率。

挑战和机遇并存。新需求的出现预示着存储产品的发展必须经历一次跨越时间的变化。数字化时代,必然需要企业用户在存储产品方面具备应对多样化环境的能力。存储产品应数字化新时代发展而顺势转型的进程开始了。

没有一成不变的产品,更没有一成不变的数据。正是因为企业用户自身的数据变化,带来了数据存储的变革。在企业级用户领域,传统存储厂商不断受到来自公有云厂商存储解决方案的影响。一个传统的企业级存储厂商,在高端存储产品创新上倘若不能实现与时俱进的创新,不能融入对物联网、大数据和云环境等新兴技术的支持,那后果将不堪设想。因此,在针对与云环境的对接上,添加了一个文件存储网关。用户数据可以通过该网关平滑移到公有云,利于存储资源的综合有效的应用。其移动到公有云的数据将被对象化,可以快速建立索引方便检索。

关于”高性能、高可靠、高扩展、高灵活“:
– 高性能,是存储产品的显著指标。在强调IOPS超快的同时需要考虑响应时间(IOPS指的是每秒的读写次数,何谈响应时间?此处有问题)。
– 高可靠,是存储产品的必须性指标。只有在重视高可靠的基础上,追求更高的性能,才是厂商和用户的正确选择。存储产品拥有8个9的设备可靠性,主要源自其架构具备强大的自愈能力,专为始终在线的业务而设计。
– 高扩展,由于企业用户数字化转型的加快,无论是面对大型机平台的传统需求还是容器平台的云原生需求,都必须有灵活的支持。存储产品需要全面兼容主流的各种存储介质。
– 高灵活,这是企业用户数字化平台所必须的能力。针对有苛刻要求的大型机应用和有着弹性特点的容器应用,实现了灵活的支持,并且具备跨平台的数据迁移和整合能力。

在应对这样复杂的应用环境下,样样在行,从而为企业用户带来更好的应用体验。

随着云计算的发展,计算架构的变化也催生了存储架构从Scale Up走向Scale Out。Scale Out架构带来更大存储容量的扩展性,也早成为企业级存储用户的一个核心要求,任何传统的紧耦合方式必然无法满足对更多节点的要求。可是新的问题是,对于庞大的存储节点,必须要采取更适合的互联技术。因为节点互联技术会直接影响到存储的延迟性和相应管理的复杂性。那么存储产品如何从物理层和逻辑层来保证节点链接和传输的稳定高效?

从企业用户需求的角度出发,优秀的存储产品更需要好的运营管理。这样才可以让用户在用好产品的同时,可以更容易体验到好产品的好用之处。存储产品的性能瓶颈会随着时间的推移不断被打破,但是性能再好、机器再可靠,没有一个与时俱进的运营管理,那可就拉底存储的段位了。运营管理工具的价值和意义是,采用AI技术增强能力,提供简单、强大、联合管理,这是目前企业用户在数据存储管理上最关心的话题。

管理程序模板带来企业用户在管理和IT工作流程上的简化。收集并分析遥测数据,自动执行日常任务和动作,管理和保护数据,简单的设备管理,这四大模块是企业用户在存储产品上最想要的体验。客户需要具有全局运营洞察能力。进一步分析来看,将人工智能引入基础架构管理和运营中,借助一套智能的集成化系统管理软件,可以为企业用户带来战略性业务成果。与第三方工具一起集成起来,有助于企业更加轻松地分析和管理从服务器、虚拟机、网络到存储的数据中心环境,进而优化应用整个数据路径。

maintain

处于转型期的存储公司依然保有创新进取的初心。二十年,对于一个企业的技术坚持来说,在常年的激荡和风雨之中,它早已沉淀下来成熟的动力。因此,在IT新旧交替的关键时期,任何一个走在数字化转型路上的厂商和企业用户,都需要对数据存储的现代化进行深度考量,谨慎而理性地对待新兴技术的发展,坚持在合适的时间选择合适的存储技术放在合适的平台上,真正发挥数据应有的价值。

分类: 大数据 标签:

数据存储框架02

2019年11月25日 没有评论

不管做什么产品,都要与业务本身紧密相连。现在是一个专业化,比专业性的时代。不能简单地把一个技术套到一个产品上就叫创新了,而是要通过技术把之前难以实现的、具有价值的事情做成做好。

凡事均有因果,不论是做事还是思考,在没有找到底层核心逻辑之前,都是存在很大的挖掘和探索空间的。做技术架构设计,如果能回答以下几个问题,那么架构就没有问题:
– 你同类产品的架构方案大概是什么样子的,他们都有哪些优缺点
– 你的产品主要解决的核心问题、面临的核心挑战
– 你的技术架构设计相对同类产品来说,具有哪些优势,是如何解上述第二点中问题的
不管是做架构还是开发,永远相信世界上没有最好的技术,只有最适合当前应用场景的技术。前段时间在和客户交流时,讲方案总觉得不顺畅。我想主要是没有弄清上面的三个问题,不理解就没有办法去说清楚,更不要谈如何发挥。

AARRR模式: 包括Acquisition获客、Activation激活、Retention留存、Revenue变现和Refer裂变五个环节。
– Acquisition,战略合作获得客户。战略合作是大多数公司需要考虑的重点,一方面可以通过战略合作提升自身在业内的声音,另一方面也可以通过战略合作,战术授权和OEM协议等,获得一定规模的行业进展机会。对于大厂商来说,不可能在每一项技术领域都做得非常深入和精到,只要公司的软件、应用确实有业内难得的深入,那么战略合作的可能性就极大。这对公司的发展尤其重要,借力使力,是最先最快迎来客户的方式。
– Retention,技术服务存留。既然有了战略合作带来的客户基础,想要获得战略合作伙伴的好评,客户的青睐,关键在于提供积极的技术服务支持,并且要专业。新产品需要经过一定规模用户的检验才能最后产品化,走向更广阔的市场和行业。通过积极、专业、贴身周到的技术服务,完全有可能存留既有的客户和合作伙伴的持续合作。
– Activation,激活用户体验。在软件应用方面,需要更多考虑用户的体验,考虑到用户的问题和痛点,自然可以赢得更多的好口碑。好口碑犹如品牌催化剂、起到市场推进事半功倍的作用。
– Revenue,在行业专注变现方面。公司要持续向前发展,不能仅仅依靠融资,还需要通过变现来获得新鲜血液。公司的员工、能力和技术都是有限的,要在有限的资源情况下,抓住一个或两个重点行业进行深耕,进行深入研究和让产品更好的匹配。这样才能彰显公司自有的优势,否则,很容易变成竞争的劣势。因为在任何一个行业中,都可能遇见大厂商或者大机构的触角。“人有我有”容易,“人有我精”会难一些。既然难一些,才有更多的竞争机会。要不然连进入某行业的门都没有,何谈行业变现呢。
– Refer,用户口碑裂变。好的用户体验自然可以带来良好的用户口碑,但是想要获得用户在口碑方面的裂变效果,必然需要在对用户、对合作伙伴的技术支持上下一番苦功夫不可。用户口碑的裂变,不仅仅需要靠技术支持的到位,更需要在品牌推广、市场推广、技术推广、服务推广等方面形成合理,才能真正实现最后的用户口碑裂变。

分类: 大数据 标签:

数据存储框架01

2019年11月21日 没有评论

数据存储框架大致可以分为三类:
1.关系型数据库。如Oracle和mysql等。主要面向OLTP,支持事务处理/二级索引/主从模式/Group Replication架构。Innodb是mysql的默认数据引擎。
2.非关系型数据库NoSQL,如HBase、Apache Cassandra和Redis。HBase基于HDFS,支持海量数据读写(尤其是写),支持上亿行、上百万列、面向列的分布式NoSQL数据库。主从架构/不支持事务/不支持二级索引,也不支持sql。
3.全文检索框架,如ElasticSearch(简称ES)和Solr等。ES是一款分布式的全文检索框架,底层基于Lucene实现。ES采用P2P架构,不支持事务处理,采用倒排索引提供全文检索。

名词解释:
关系型数据库-Relational Database,创建在关系模型基础上的数据库。
OLTP-联机事务处理(OnLine Transaction Processing),以在线交易方式处理一般即时性的作业数据。通常用于自动化的数据处理工作,如订单输入、金融业务等反复性的日常交易活动。
OLAP-联机分析处理(OnLine Analytical Processing)。OLAP是更广泛的商业智能范畴的一部分,它包括关系型数据库、报告编写和数据挖掘。其典型应用为销售业务报告、市场营销、管理报告、业务流程管理、预算和预测、财务报表以及类似领域。OLAP让用户能够从多个角度交互地分析多维数据。为OLAP配置的数据库使用多维数据模型,允许快速执行复杂的分析查询和即席查询。OLAP和OLTP相比,OLTP的特点是查询的复杂性要小很多,但是查询量很大,以处理事务,而不是用于商业智能或报告。OLAP针对读取进行优化,而OLTP能处理各种查询(读取、插入、更新和删除)。

分类: 大数据 标签: