存档

2020年10月 的存档

Linux磁盘性能监控

2020年10月14日 没有评论

1. iostat,里面的 iowait 太高通常就出问题了。通常偏离正常值太多,而且和故障出现关联就可以怀疑了。和已知的性能极值接近,且其 mem/cpu 占用较低。“瓶颈”是:性能不满足于需求,且处于最弱一环。如果按照这个定义来说,脱离需求谈瓶颈没啥意义。iostat里看%util磁盘使用率,值越低表示磁盘活动越闲,当值非常大,达到90以上时,建议不要操作了,应该等一等,不然会很卡。

2. 看r/w 速度(这个和是ssd还是hdd有关),util,如果cpu 小于70~80,util 大于20~30,峰值可以到100,基本上就可以确定磁盘瓶颈了。可以用iotop看谁在写磁盘,lsof看在写什么文件,blktrace看到具体io操作。

3.当服务器系统性能突然低于平均应有的情况,问题可能来自在执行的进程、内存的使用率、磁盘的性能、网络流量和CPU 的压力。在预算短缺的今天,理解如何优化系统性能比以往任何时候都重要。 要实现它的前提是,你必须充分了解自己的计算机和网络,从而找到真正的瓶颈所在。

工作过程是:首先查看整个系统的状态,然后是检查特定的子系统。 Linux服务器进行性能监控有几种方法,每种方法都各有其优缺点。

使用SNMP等标准工具
标准及非标准工具能执行一个或多个收集、合并及传输阶段,如rstatd或SNMP工具,然而标准的rstat后台程序提供的信息是有限的,速度慢而且效率低。

内核模块
几个系统监控工程利用内核模块来存取监控数据。一般情况下,这是很有效的收集系统数据的方法。然而这种方法存在的问题是,当主内核源内有其它改变时,必须保持代码一致性。一个内核模块可能与用户想使用的其它内核模块相冲突。此外,在使用监控系统之前,用户必须获得或申请模块。

/proc虚拟文件系统
/proc虚拟文件系统是一个较快的、高效率执行系统监控的方法。使用/proc的主要缺点是必须保持代码分析与/proc 文件格式改变的同步。事实表明,Linux内核的改变比/proc 文件格式的改变要更频繁,所以,用/proc虚拟文件系统比用内核模块存在的问题要少。 /proc文件系统特点 Linux 系统向管理员提供了非常好的方法,使他们可以在系统运行时更改内核,而不需要重新引导内核系统。这是通过 /proc 虚拟文件系统实现的。/proc 文件虚拟系统是一种内核和内核模块用来向进程 (process) 发送信息的机制 (所以叫做 /proc)。这个伪文件系统让你可以和内核内部数据结构进行交互,获取 有关进程的有用信息,在运行中 (on the fly) 改变设置 (通过改变内核参数)。 与其他文件系统不同,/proc 存在于内存之中而不是硬盘上。不用重新启动而去看 CMOS ,就可以知道系统信息。这就是 /proc 的妙处之一。每个Linux系统根据软硬件不同/proc 虚拟文件系统的内容也有些差异。/proc 虚拟文件系统有三个很重要的目录:net,scsi和sys。Sys目录是可写的,可以通过它来访问或修改内核的参数,而net和scsi则依赖于内核配置。

分类: 科技 标签:

阿里云又给自己找了个新台阶

2020年10月13日 没有评论

原文链接:https://zhuanlan.zhihu.com/p/258858881

前几天和几个企业家朋友聊天,聊到一个话题,疫情的冲击把2020弄的波澜起伏,但有没有给我们留下一些东西?答案是肯定的,全中国人民和所有行业,都被强制「地推」了一把数字化变革。从健康码到视频会议,从直播带货到办公协同软件,这些原本要再走不少年才能被如此广泛应用的东西,一下子被提速了。大家聊到了一个趋势,那就是「深层数字化」已经获得第一推动力。所谓的「深层」,就是指横向看每一个行业无论新旧,纵向每一个公司无论大小,他们以数字化提升效率,都将是下一个十年的必然。而最近这件事上,阿里云的一系列动作很值得聊聊。

「深层数字化」的时代说来就来 中国互联网发展20多年,但客观的说,数字化这件事,一直停留于浅层阶段。虽然在C端大量用户迅速形成了数字化的生活习惯,社交网络、信息消费、电子商务、水银泻地一般的变成了社会新常态。但在B端,这些年一直数字化的进展是很有限的,至少是非常不均衡。由于各个行业,甚至各个企业实际情况、需求、数字化场景经验的差异。并不容易找到C端那种普遍需求之上的普遍产品。再加上各个行业和企业认知程度的不同,数字化渗透的速度一直是缓慢而艰难,数字化「扫盲」、「脱贫」还有很多产业和企业没完成。这自然吸引不了更多优质创业者参与,也吸引不了资本的大力加持,怎么看都是个是个「滴水穿石」的慢功夫。但疫情是只「黑天鹅」。突然在一段时间内,让所有行业和企业被迫、强制性地体验了一次深层数字化之旅,数字化的广度(所有企业所有人)和数字化的深度(数字化的业务流和工作流,而不只是销售的数字化),都会一次大突破。

今年云栖大会,阿里巴巴集团董事会主席兼首席执行官张勇就特别分享了三个故事,都与疫情催生、助推行业数字化拐点相关。杭州的疫情防控健康信息码从第一个版本上线,到在超200个城市落地,耗时仅15天;达摩院的AI诊断技术可在20秒内对新冠疑似案例CT影响作出判读,准确率达99%;钉钉不仅在国内服务于企业员工,还成了教育领域的数字化基础架构。变革最大的阻力,就是认知的不统一。这下好了,数字化被在「深度」和「广度」同时强迫体验,确实有可能是会让更多的人和组织看到效率提升,进而数字化「上瘾」。因为一般来说,to c的产品好 3-5倍的体验才能迎来爆发,但 to B效率提升30-50% 就会被普遍采用了。今年众多资本和巨头开始重点看消费和 to B领域,核心的原因就是因为「深层数字化」的时代迅速到来,旧世界要开始重新迭代一次了。

「大爆发」还缺些什么?「风口」这个概念过去总是被误解,大家看媒体上怎么说就觉得哪个是风口。其实真正的趋势是可以推导分析的,不是只看一些现象的反向总结。 疫情只是一个加速,浅层与深层数字化的「分水岭」来首先来自于基础设施的变化。我们应该看到,经过20多年发展,数字化这件事,在基础设施层面,以及技术层面已经越来越成熟。既包括云计算 IaaS 层面上的存储、网络、芯片、云操作系统,PaaS 层面的容器、数据库,还包括很多周边技术如 5G、IoT 物联网、AI 人工智能、移动化能力等。是多个层面、多个维度的技术共同叠加。另一个变化是「大玩家」的力量。C 端飞速数字化本身也推动了一大批科技公司去自己构建基础设施,现在他们都开始对外「溢出」能力了。这些能力的溢出只是去多抢一块市场意义不大,巨头进场真正的意义是改变原有的「市场线性发展轨迹」,去做一些创业公司做不了的事情,解决不了的问题。这也是「深层数字化」趋势一个重要的指标。要爆发,要提升渗透率的发展斜率,就要解决三个关键要素——成本、易用性、个性化。还是拿着这方面做的最坚决的阿里来看,比如阿里云就是最早提出「去IOE」(IBM小型机、Oracle数据库、EMC存储)的云厂商。只有后来者才能打破原有行业的成熟成本和价格体系,把数字化的初始门槛降下来。这些针对成本的问题,确实很难被创业公司推动解决,阿里也是过去十几年的海量投入,结合自己的其他业务的能量积累,才能推动这一步。不过我觉得阿里这样的巨头,更大的贡献还是要来自于对「商业计算环境」的推动。当整个数字化时代从薄薄的一层个人计算延伸至包含一切的商业计算;从主机时代跃迁至分布式时代,算力从线下迁移至线上变成云,只是通过投入,解决基础设施便宜可用这一个层面是不够的。必须要屁股坐到更广更深的产业里,去解决「痛点问题」。

比如阿里云上半年提出的「云钉一体」,就是一个很值得关注的战略。「云钉一体」的意思,其实就是让这个已经有了众多用户,深入到众多行业的软件,升级为一个「商业操作系统」,而依托阿里云提供的超级简单的开发环境,用户自己设置应用和系统流程。打个比方就是原来的「云」都是给专业人用的,就像装了一个DOS系统,开发复杂、应用界面很难用。而钉钉现在提供了 Windows 界面,阿里云又建立了一套新的开发环境,这样更多的人可以在上面更好的「自我定制」解决数字化的问题。这可以把易用性和个性化都大幅提升上去。以往开发商业体系的应用,全权交由程序员,由此确实带来一系列麻烦。程序员不懂业务流程,每个企业、每个行业的经验不具备可复制性,企业场景复杂繁多,开发出的程序可能不适用于企业实际场景。即便是大公司成熟的商业应用,别人花钱买了用起来也会遇到不匹配的情景,要不就要「削足适履」,要不就要搞定制开发,这样企业数字化进程当然就慢的很,也不够爽。近年来随着低代码/零代码等技术的更新,阿里云和钉钉一起,显然在解决业务人员不懂程序,程序员不懂业务的数字化困境。在此基础上,企业很容易开发构建起自己的应用程序,不再需要买一套系统「削足适履」,硬套逻辑。

其实钉钉本身原始能力上就有不少关键应用。钉钉囊括了 ERP(企业资源计划)、CRM(客户关系管理)、OA(人力)等 SaaS 层面的核心能力,现在结合阿里云的商业计算和新开发环境之后,关键应用+平台的能力,开始有了真正走向「操作系统」的感觉。「云钉一体」的本质就是面向大中小型企业、政府、甚至是个人,提供一整套数字化的「基础平台+小程序开发体系」,用户可以更应符合自己情况的方式,通过深层数字化去解放效率。阿里云+钉钉的结合,有没有让你想到 PC 时代的 Wintel 联盟(Windows 操作系统+Intel 芯片硬件),当年他们联手推动了个人计算的普及。这本质上也是越来越好用的操作系统和越来越强的计算力,一起推动大生态才能实现的。

云的 2.0。不得不说,「阿里概念制造公司」最近火力很猛,「云钉一体」大家还没吃透,今年云栖大会阿里云智能总裁张建锋就又抛出了「云端一体」的战略。阿里云在过去十年用自研的「飞天操作系统」,去解决以往传统 IT 时代基础设施资源云化过程中的复杂性问题。通俗说就是随着小型机、大型机等 IT 单机设备越来越多,计算环境越来越复杂,「飞天操作系统」通过分布式计算能力解决了服务器与服务器之间资源、数据调度、管控的问题。当然今天他认为仅依靠「飞天操作系统」还不够,IoT 时代涉及端的形态更多,从芯片到 PC、手机,云如要更好地匹配 IoT 时代的计算环境,需要对云进行再升级。「云端一体」带来的最大变革,即过去在硬件上的算力可以全部迁移到云端,每个人在云端都可以拥有自己的个人电脑,而不再依赖于 CPU、GPU 等硬件指标。而且,以往端侧从各种硬件组件的采购到软件、中间件的适配,像搭积木一样,过程、环节繁琐,成本昂贵。现在通过在云端布置一切软硬件能力,再把一整套IoT平台能力赋能给端侧,基于云计算,构建出新型的端形态。这应该是IoT时代与传统PC时代最大的差异,这种计算的变革是自上而下推动的。

在我看来,所谓「云钉一体」与「云端一体」本质上就是阿里云的 .0版本,这件事定义了阿里云接下来一个阶段的核心目标,那就是从商业计算的中台基础设施,变成一套商业领域的「数字原生操作系统」——基于云计算,又有协同、移动、数据智能、IoT 一体化能力。 「云钉一体」更聚焦商业操作系统本体,相比之下,「云端一体」,更聚焦于基于大量 IoT 的计算新环境。这是一个更深远的商业计算环境的布局。显然,阿里在长期趋势上的坚决行动,「因为相信所以看见」,还是那个味道,2020又给自己找到了个新台阶。如果说 10 年前,阿里云创立时候给自己找的台阶,是向上通往「我相信」的,那么现在阿里云这个更复杂,跨度更大的台阶应该是向下的。这需要把「自己因为相信所以看见」的阿里云,变成为更多人和组织,去建立「因为好用所以能实现」的商业计算操作系统。这件事超级复杂,但很值得期待。毕竟「深层数字化」的下一个十年,谁真正解决这些「真问题、大问题、难问题」,时代当然也就会给予谁匹配的嘉奖。

分类: 足球 标签: