如何利用BI预测新冠疫情导致的供应链中断的

1. 项目迁移背景

1.1 为什么要在“太岁”上动土?

目前公司的测试环境、UAT环境、生产环境均已经使用k8s进行维护管理，大部分项目均已完成容器化，并且已经在线上平稳运行许久。在我们将大大小小的项目完成容器化以后，测试、UAT、生产环境的发版工具以及CICD流程慢慢的实现统一化管理，并且基于k8s开发了内部的发版审核平台，同时接入了Jira等项目管理工具。

在自研平台进行发版时，能够自动关联项目的开发进度以及Release版本，最重要的是其可以控制发版权限、统一发版工具及发版模式，并且支持一键式发版多个项目的多个模块，同时也包括了发版失败应用的统一回滚及单个应用的回滚。

因为该项目从始至今一直在使用GitRunner进行发版，并且基于虚机部署，所以一直没有集成到发版审核平台，但是由于项目比较重要，并且涉及的服务和机器较多，所以必须要把这个项目进行容器化并且统一发版工具才能更好的适应公司的环境，以及更好的应对下一代云计算的发展。

1.2 为什么要弃用Git Runner?

首先我们看一下Git Runner发版的页面，虽然看起来很简洁清爽，但是也难免不了会遇到一些问题。


 

他们的观点是，一份同步报告估计，华盛顿大学(University of Washington)的格罗弗(Grover)假新闻检测模型的培训成本为2.5万美元，耗时约两周。据报道，OpenAI花费了1200万美元来训练它的GPT-3语言模型，谷歌花费了大约6912美元来训练BERT，一个双向转换模型重新定义了11个自然语言处理任务的最新状态。

在去年6月的另一份报告中，马萨诸塞大学阿姆赫斯特分校(University of Massachusetts at Amherst)的研究人员得出结论称，训练和搜索某一模型所需的能量大约排放了62.6万磅二氧化碳。这相当于美国汽车平均寿命的五倍。

研究人员写道:「我们不认为这些目标所隐含的计算要求……硬件、环境和货币成本会令人望而却步。以经济的方式实现这一目标，将需要更高效的硬件、更高效的算法或其他改进，从而产生如此巨大的净影响。」

研究人员指出，在算法级别进行深度学习改进已有历史先例。他们指出了诸如Google的张量处理单元，现场可编程门阵列（FPGA）和专用集成电路（ASIC）之类的硬件加速器的出现，以及通过网络压缩和加速技术来降低计算复杂性的尝试。

他们还引用了神经体系结构搜索和元学习，以此使用优化来查找在一类问题上保持良好性能的体系结构，以此作为计算上有效的改进方法的途径。

 

研究人员分析了预印本服务器Arxiv.org上的1058篇论文和其他基准资料，以理解深度学习性能和计算之间的联系，特别关注图像分类、目标检测、问题回答、命名实体识别和机器翻译等领域。他们分别对计算需求进行了两项分析，反映了可用的两类信息:

1、每一网络遍历的计算量，或给定深度学习模型中单次遍历(即权值调整)所需的浮点运算数。

2、硬件负担，或用于训练模型的硬件的计算能力，以处理器数量乘以计算速度和时间计算。(研究人员承认，虽然这是一种不精确的计算方法，但在他们分析的论文中，它的报道比其他基准要广泛得多。)

报告说，除从英语到德语的机器翻译（使用的计算能力几乎没有变化）外，所有基准均具有「统计学上显着性」的斜率和「强大的解释能力」。

对象检测，命名实体识别和机器翻译对于硬件的负担大幅增加，而结果的改善却相对较小，计算能力解释了流行的开源ImageNet基准测试中图像分类精度差异的43%。

研究人员估计，三年的算法改进相当于计算能力提高了10倍。他们写道：「总体而言，我们的结果清楚地表明，在深度学习的许多领域中，训练模型的进步取决于所使用的计算能力的大幅提高。」

「另一种可能性是，要改善算法本身可能需要互补地提高计算能力。」

在研究过程中，研究人员还对预测进行了推断，以了解达到各种理论基准所需的计算能力以及相关的经济和环境成本。即使是最乐观的计算，要降低ImageNet上的图像分类错误率，也需要进行100000次以上的计算。

（编辑：漯河站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!