制造业怎么应用大数据？_光点科技
随着信息技术的迅猛发展，大数据正逐渐成为各行各业的重要资源和工具。在制造业中，大数据的应用也逐渐得到了广泛关注。
巨量千川不同阶段人群定向策略使用技巧汇总
例如: 10条专业计划，其中80%消耗需要集中在1到2条计划上面，最好是2条计划，万一A计划出了问题，还有B计划跟上。d: 模型搭建的速度，标签的本质是看谁有意愿和我们直播间产生优秀的数据的反馈，影响接下来更多优秀的分配。c: 直播间自然流量，用户数据反馈影响直播间排序，影响流量获取，精准的人才
基于Kafka和Spark实现实时计算系统
Apache Kafka是一个分布式的流处理平台。它最初是由LinkedIn开发并开源的，现在已经成为Apache软件基金会旗下的顶级项目之一。Kafka主要用于实时流数据的高吞吐量传输、存储和处理，例如日志收集、流式的ETL以及实时的Web日志等。Apache Spark是一个用于大规模数据处理的
数据之海 — 探索大数据的无尽可能
在信息爆炸的时代，大数据已经成为当今社会的瑰宝，而数据科学的发展为我们揭开了一个神秘而广阔的世界 —— 数据之海。本文将带领读者踏上一段奇妙的探索之旅，深入了解大数据的定义、应用领域以及对未来的巨大影响。我们将揭示数据之海中隐藏的宝藏，并通过精心设计的实例演示，帮助新手更好地理解和学习数据科学的精髓
azkaban介绍
Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies 来设置依赖关系。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于
SparkUI超详细解释（2）——Stages
推测的原因是这个stage对应的是以下面的代码，上下两个shuffle的key相同又有一次union all，所以可以放在一个stage中，虽然task数量是4000，但是上面的shuffle数据是分在2000个task中，下面的是另一个2000task中，并不会两者合在一起hash到4000个ta
CDH 6.3.2下安装Flink
cdh 6.3.2下安装flink简单教程，自己在生产环境中测试成功
Flink使用 KafkaSource消费 Kafka中的数据
很多 flink相关的书籍和网上的文章讲解如何对接 kafka时都是使用的 FlinkKafkaConsume，'org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer' is deprecated ，新版 flink应该使用 K
5G无线频段划分
生活中使用电磁波的地方有很多，比如雷达，Wifi，电视，广播等都采用了电磁波传输数据，只不过他们之间的频率不通，如果使用相同的频率，则会产生干扰，所以频率一旦被某方占用，另一方就没得使用了。不同用途的电磁波频率有一个使用范围，该范围称为频段（又称Band）频段的上下限差值为带宽。
hive的数据导入
insert导出，导出的目录不用自己提前创建，Hive会帮我们自动创建，但是由于是overwrite，所以导出路径一定要写具体，否则很可能会误删数据。insert不支持插入部分字段，并且后边跟select语句时，select之前不能加as，加了as会报错，一定要跟下面的as select区分开。并且
如何解决Flink任务的数据倾斜
如何解决flink任务的数据倾斜问题
HDFS常用命令
正则匹配OriginalFilePath目录下的文件（夹），批量上传到hdfs的targetFilePath目录下。其中-E表示告诉grep后面是一个正则表达式。查看yarn集群中正在运行的应用，可以看到各个应用的执行状态和进度（progress可能不准确，一直为10%）查看所有处于running状
Elastic8.2下载和安装教程
Elastic8.2下载和安装教程1、下载：https://www.elastic.co/downloads/elasticsearch2、解压到本地文件目录3、点击elasticsearch.bat打开ElasticSearch4、首次启动 Elasticsearch 时，会自动进行以下安全配置：
Hadoop启动后没有namenode进程的解决办法
【代码】Hadoop启动后没有namenode进程的解决办法。
【大数据实战】你真的了解 Clickhouse 投影吗？
🔔 近几年 Clickhouse 在大数据场景下表现非常不错，应用也越来越广，从事大数据场景开发的同学都可以学起来。目前我们系统已经通过它存储几十亿的数据了，性能依旧杠杠的。
jps命令
当Hadoop集群中出现故障时，可以通过jps命令来查找故障的进程，并排除故障。
[Hive的基本概念之---数据库 ]
《咏柳》唐·贺知章碧玉妆成一树高，万条垂下绿丝绦。不知细叶谁裁出，二月春风似剪刀。
CDH6.3.2-组件安装&安全认证
CDH6.3.2-组件安装&安全认证
ElasticSearch第十五讲 ES数据写入过程和写入原理以及数据如何保证一致性
ElasticSearch第十五讲 ES数据写入过程和写入原理以及数据如何保证一致性
大数据技术之Hadoop学习(七)——Hive数据仓库
Hive数据仓库的认识与操作
