-
Flink执行流程与源码解析
所属栏目：[大数据] 日期：2021-11-24 热度：98
ink执行流程与源码分析 整体的流程与架构可能三两张图或者三言两语就可以勾勒出画面，但是背后源码的实现是艰辛的。源码的复杂度和当初设计框架的抓狂感，我们只有想象。现在我们只是站在巨人的肩膀上去学习。 作者： 王了个博 来源：大数据左右手|2021-09-08[详细]
-
一篇学会了Hadoop3数据容错技术
所属栏目：[大数据] 日期：2021-11-24 热度：146
随着大数据技术的发展，HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了数据的可靠性，HDFS通过多副本机制来保证。在HDFS中的每一份数据都有两个副本，1TB的原始数据需要占用3TB的磁盘空间，存储利用率只有1/3。而且系统中大部分是使用频率非常低的冷数[详细]
-
大数据的数据整治与应用场景
所属栏目：[大数据] 日期：2021-11-24 热度：119
医疗大数据治理 医疗大数据的采集及管理、分析等环节的统称，目的是妥善管理有用的数据并从海量数据中挖掘价值。 02医疗大数据采集及管理 目前，医疗数据大多散落在各个系统，碎片化、低质量、孤立分类、类型多样、标准不一，而优质的数据采集手段可以实现异[详细]
-
如何使用技术解决方案做出数据驱动的决定
所属栏目：[大数据] 日期：2021-11-24 热度：165
数据驱动决策(DDDM)是一种基于可量化目标或关键绩效指标(KPI)的方法，可以收集信息、从发现中评估模式和事实，并以各种方式实施有利于企业的战略和行动。一般来说，数据驱动的决策需要依靠经过验证和研究的数据，而不是利用未处理的数据来实现重要的业务目标[详细]
-
大数据集群开始 kerberos 认证后 Hive 作业执行失败
所属栏目：[大数据] 日期：2021-11-24 热度：189
大数据集群开启 kerberos 安全认证后，HIVE ON SPARK 作业执行失败。通过客户端 beeline 提交作业，报错 spark client 创建失败，其报错信息是： Failed to create spark client for spark session xxx: java.util.concurrent.TimeoutException: client xxx t[详细]
-
因HIVE元数据与HDFS上的数据不一致引起的问题修补
所属栏目：[大数据] 日期：2021-11-24 热度：75
客户端报错如下： Unable to move source xxx to destination xxx 客户端报错 问题分析 客户端的报错信息，并没有完全展现问题背后的全貌。我们进入 hiveserver2 所在节点查看hiveserver2的日志，可以看到如下相关信息： 2021-09-01 11:47:46,795 INFO org.ap[详细]
-
简谈大数据风控平台的功能需要
所属栏目：[大数据] 日期：2021-11-24 热度：175
大数据风控业务的开展依赖智能风控平台，智能风控平台的技术基础是大数据技术，智能风控系统技术架构也是以大数据系统技术架构为基础演进而来的。 智能风控系统技术架构主要分为访问层、展现层、系统层、大数据平台四部分，其中大数据平台又分为接入层、清洗[详细]
-
数据研发，如何平衡效率与质量
所属栏目：[大数据] 日期：2021-11-24 热度：92
数据开发的效率，是如何尽快的将产品设计、业务过程，转换为数据模型;数据开发的质量，则是如何尽快的将数据加工过程中的问题，识别出来。向业务交付的内容，是开发的内容;而如果开发的时候，忽略质量的问题，虽然交付的时候不会有感知，但往往会在排查问题阶[详细]
-
浅谈人工智能、大数据等技术在交通行业的应用
所属栏目：[大数据] 日期：2021-11-24 热度：52
我们将浅谈一下人工智能、大数据、云计算、物联网等技术将会给交通行业带来哪些便利与变革： 1.数据资源整合 由于我国线路众多，与交通相关的绝大多数部门都有自己的信息化平台，并产生着海量数据，但是现在的每个部门及单位内的系统平台大都是独立的，信息与[详细]
-
时代大数据安全和隐私
所属栏目：[大数据] 日期：2021-11-24 热度：159
随着大数据的发展，大数据的安全问题越来越受到行业的重视。 日前，中国信息通信研究院指出了目前大数据发展面临的安全问题，提出了促进大数据安全技术发展的具体建议。 大数据已经严重影响了经济运行机制、社会生活方式和国家治理能力，需要从大安全的角度认[详细]
-
从技术视角看大数据行业的发展走势
所属栏目：[大数据] 日期：2021-11-24 热度：164
关于该趋势，明哥在前期发布过一篇博文，大数据与云计算深度融合的趋势体现在哪些方面? 对该趋势做了自己的解读，这里再次简要描述下。该博文链接如下: 大数据与云计算深度融合的趋势体现在哪些方面? 云原生(Cloud Native)理念，本质上是一套利用云计算技术为[详细]
-
Hdfs 相对路径和静态代码块引起的问题
所属栏目：[大数据] 日期：2021-11-24 热度：83
HIVE 作为大数据生态的数仓解决方案，因为历史的原因在很多行业很多公司都有着广泛的应用。对于比较复杂的业务逻辑，HIVE SQL 往往比较难以表达，此时大家在开发中往往会辅以 HIVE UDF。所以充分理解和掌握 HIVE UDF正确的表写和使用方式，是大数据从业人员[详细]
-
大数据时代，移动联通大数据技术的价值，你知道了多少
所属栏目：[大数据] 日期：2021-11-24 热度：152
大数据时代，移动联通大数据技术的价值，你掌握了多少 大数据技术就是在多种类型的大量数据信息中，快速获得有使用价值信息的技术性，然后做到大数据精准营销。拥有大量信息本身并不能造就出多少使用价值，必须选用具体方法进行处理分析才能够获得其智能化的[详细]
-
大数据与云计算之间的联系
所属栏目：[大数据] 日期：2021-11-24 热度：175
大数据处理大量的结构化，半结构化或非结构化数据，以进行存储和处理以进行数据分析。大数据有五个方面，通过5V来描述 数量数据量 种类不同类型的数据 速度系统中的数据流率 价值 基于其中包含的信息的数据价值 准确性 数据保密性和可用性 云计算以按需付费的[详细]
-
如何让你的网站更安全的快速技能
所属栏目：[大数据] 日期：2021-11-23 热度：139
每个负责网站的人都有同样的噩梦。黑客侵入并获得你的员工或客户委托你保护的数据或信息。这可能会对一个组织产生巨大的影响。 这可能会造成破坏性的公关效果，降低销量，导致停机时间，并花费大量资金进行补救。一些行业也可能因未能遵守数据保护协议而遭受[详细]
-
macOS 的最好免费归档应用程序
所属栏目：[大数据] 日期：2021-11-23 热度：165
文件压缩和解压是几乎所有类型用户的日常操作。 默认情况下，一些操作系统(如macOS和Windows)支持Zip格式作为默认的压缩文件格式。用户可以一键压缩和解压文件。 然而，其他文件压缩格式(如(RAR, ACE))在默认情况下不受支持，特别是它们提供了其他有用的功能[详细]
-
主要信息基础设施安全保护条例征求意见稿
所属栏目：[大数据] 日期：2021-11-23 热度：84
总则 第一条 为了保障关键信息基础设施安全，根据《中华人民共和国网络安全法》，制定本条例。 第二条 在中华人民共和国境内规划、建设、运营、维护、使用关键信息基础设施，以及开展关键信息基础设施的安全保护，适用本条例。 第三条 关键信息基础设施安全保[详细]
-
一文带你了解物联网
所属栏目：[大数据] 日期：2021-11-23 热度：92
物联网的第一次正式亮相是在2005年，由国际电信联盟（International Telecommunication Union，ITU）在突尼斯举办的信息社会世界峰会上正式提出的。ITU发布了《ITU互联网报告2005：物联网》，明确且相对完整地阐述了物联网的内涵、可用技术、市场机会、潜在挑[详细]
-
工业互联网——打破智慧和机器的边界
所属栏目：[大数据] 日期：2021-11-23 热度：73
随着工业互联网的崛起，世界正处在通向新的创新与变革时代的门口，这要归功于全球工业系统与先进的计算、分析、低成本传感技术以及全新互联网连接融合的结果。数字世界与机器世界的更深层次融合有可能对全球产业带来深刻的变革，并对日常生活的方方面面产生影[详细]
-
PLM和PDM的区别是什么？两者有何关系？
所属栏目：[大数据] 日期：2021-11-23 热度：125
PLM全称Product Lifecycle Management,中文意思是产品生命周期管理 PLM是一种企业信息化的商业战略.它实施一整套的业务解决方案,把人、过程和信息有效地集成在一起,作用于整个企业,遍历产品从概念到报废的全生命周期,支持与产品相关的协作研发、管理、分发和[详细]
-
为何说BOM物料清单是工厂乱象的源头?
所属栏目：[大数据] 日期：2021-11-23 热度：97
话说一位网友在群里讨论，说在产品设计过程中的BOM好像没有啥作用，工程BOM好像不必花力气去搭建，直接由CAD结构形成，还要建一个单独的BOM表没有任何意义？为什么会有这样的情况发生呢？ 先说结论和观点，我认为之所以会出现这样的现象，原因一：是没有搞正[详细]
-
相关建设智能工厂有哪些国家标准
所属栏目：[大数据] 日期：2021-11-23 热度：90
在《中国制造2025》战略发布以后，国家随后发布了《国家智能制造标准体系建设指南（2018年版）》，用来指导智能制造标准体系的建设。 建设智能工厂，实现智能制造，是工业4.0的核心。那我们来看看，关于建设智能工厂，已经发布了哪些国家标准呢？ （1）GB/T 3[详细]
-
可以配置BOM的颜色管理
所属栏目：[大数据] 日期：2021-11-23 热度：155
在汽车系列化开发过程中，如何基于可配置BOM对车型内外饰颜色风格、颜色件数据进行有效管理，以支持对产品颜色个性化定制的OTD业务，显得非常重要。在产品开发过程中，内外饰风格定义、颜色方案定义和BOM中颜色件定义的工作有效衔接，及时准确的颜色件BOM数据[详细]
-
销售一些线索管理
所属栏目：[大数据] 日期：2021-11-23 热度：83
当下，汽车行业面临销售放缓和客户购买行为变化等挑战，越来越多车企正在通过升级销售线索管理机制，借助数字化之力，提升客户转化成效。 车企采用这一策略主要有两大动因。 第一个动因是线索成本见长，质量持续降低。目前，一些汽车垂直门户已经牢牢把控了与[详细]
-
BT，爱立信，O2和沃达丰扩展茎为女孩规划
所属栏目：[大数据] 日期：2021-11-23 热度：126
BT，沿网络公司爱立信，O2和沃达丰，达成了一项协议，扩大并扩展了指导计划 - 去年首次试点 - 鼓励更多女孩追求科学，技术，工程和数学（Stew）的职业生涯。 进入Stem项目的步骤由内部妇女网络支持的所有四家公司都支持，这是一个与女孩谈话伦敦的合作伙伴关[详细]
