大数据云平台设计与实现
作者：禅与计算机程序设计艺术 1.简介随着互联网应用的爆炸式增长、用户群体的日益壮大，传统的单机部署方式已经不能满足用户对高并发、海量数据的需求。基于互联网环境，各种大数据分析框架如MapReduce、Spark等被提出。但是这些框架均是在一台服务器上运行，无法
你们公司的产品中，有没有人工智能组件？
作者：禅与计算机程序设计艺术 1.简介人工智能（Artificial Intelligence）这个领域，最近几年在研究、探索、应用越来越火热，各种新闻报道层出不穷。其中的一个重要分支——机器学习（Machine Learning），已经逐渐成为人工智能发展方向
Understanding Kafka Internals: A Distributed Messaging
作者：禅与计算机程序设计艺术 1.简介Kafka是一个开源分布式发布-订阅消息系统，由LinkedIn开发并开源。它是一个高吞吐量、低延迟的分布式传输平台，其设计目标是处理实时数据 feeds 。作为一个异步消息队列，Kafka提供了易于使用的接口和功能，能够轻
剧院建筑三维可视化综合管控平台提高安全管理效率
智慧楼宇数字孪生可视化中控平台实现了数据信息的集成、智能分析和可视化管理，促进了办公楼内部的智能化、自动化和精细化，为用户提供了更加安全、高效、舒适的办公环境和管理服务。
Flink将数据写入MySQL(JDBC)
在实际的生产环境中，我们经常会把Flink处理的数据写入MySQL、Doris等数据库中，下面以MySQL为例，使用JDBC的方式将Flink的数据实时数据写入MySQL。
大数据智能决策系统架构：决策系统与物联网
作者：禅与计算机程序设计艺术 1.简介大数据时代已经到来了，基于海量数据的价值不断被充分发挥。数据的生成、采集、处理、分析等环节对企业而言越来越重要。如何将这些数据应用于决策中是一个重要课题。在这种情况下，如何建立一个高效、准确、智能的决策系统，成为我们绕不过的
Python大数据之PySpark(五)RDD详解
📢本文由 Maynor 原创，首发于 CSDN博客🙉。分区个数getNumberPartitions。📢感觉这辈子，最深情绵长的注视，都给了手机⭐。分区内元素glom().collect()PySpark中RDD的创建两种方式。扩展阅读：RDD分区数如何确定。WordCount中RDD。RDD
【大数据基础平台】星环TDH社区开发版单机部署
TDH企业级一站式大数据基础平台致力于帮助企业更全面、更便捷、更智能、更安全的加速数字化转型。通过数年时间的打磨创新，已帮助数千家行业客户利用大数据平台构建核心商业系统，加速商业创新。为了让大数据技术得到更广泛的使用与应用从而创造更高的价值，依托于TDH强大的技术底座，星环科技推出TDH社区版（Tr
MySQL到TiDB：Hive Metastore横向扩展之路
本文介绍了vivo在大数据元数据服务横向扩展道路上的探索历程，由实际面临的问题出发，对当前主流的横向扩展方案进行了调研及对比测试，通过多方面对比数据择优选择TiDB方案。其次分享了整个扩展方案流程、实施遇到的问题及解决方案，对于在大数据元数据性能上面临同样困境的开发者本篇文章具有非常高的参考借鉴价值
Centos7系统下搭建Hadoop 3.3.6
Centos7系统下搭建Hadoop 3.3.6(包括jdk的安装)
Hive性能调优：Hive优化技术以及Hive集群规划
作者：禅与计算机程序设计艺术 1.简介Apache Hive是一个开源的分布式数据仓库软件，可以用来进行数据提取、转换、加载（ETL）、查询等功能。作为Hadoop生态系统的一员，Hive具有强大的分析能力、灵活的数据定义、数据处理、数据分析和可扩展性，是一个理
多次重新初始化hadoop namenode -format后，DataNode或NameNode没有启动
多次重新初始化hadoop namenode -format后，DataNode或NameNode没有启动
学术前沿 | DMSP-OLS夜间城市灯光数据文献综述
DMSP（Defense Meteorological Satellite Program）是美国国防气象卫星计划。该项目是通过气象卫星搭载的传感器，探测出夜间低强度灯光，例如城市的灯光、车流的灯光、居民小区的灯光等。目前，获取到这些DMSP-OLS夜间灯光数据，已成为研究人类活动的不可多得数据源。
spark 与 mapreduce 对比
多进程模型的好处是便于细粒度控制每个任务占用的资源，但每次任务的启动都会消耗一定的启动时间，即MapReduce 的Map Task和Reduce Task是进程级别的，都是 jvm 进程，每次启动都需要重新申请资源，消耗了不必要的时间。所以对于下次再次使用此 RDD时，不用再次计算，而是直接从缓存
【大数据】Doris 构建实时数仓落地方案详解（三）：Doris 实时数仓设计
有时候我们还会在 DWS 层的基础上增加 DWT（Data Warehouse Topic），作为宽表，但是我们也可以将这一层保留在 DWS 中，作为 DWS 层的一部分。DM 层是数据集市层，在 OLAP 查询不理想的情况下，DM 层是需要大力建设的。现在技术发展了，OLAP 查询不再是瓶颈，我们
ElasticSearch ES 安全完整的重启步骤
【代码】ElasticSearch ES 安全完整的重启步骤。
大数据中间件——Kafka
Kafka中间件的安装与启动
人工智能技术基础系列之：语音识别与语音处理
作者：禅与计算机程序设计艺术 1.简介语音识别（英语：Speech recognition）是一个广义上的概念，泛指在不同场景、不同的条件下通过语言或口头获取信息并转换成文字的能力。具体来说，语音识别就是把人类的声音或者说话转化成计算机可以理解的文字、数字信号。
大数据技术之Hadoop：HDFS集群安装篇（三）
此为个人学习笔记，包含个人归纳总结以及结合了对网络资源的整理，初衷是为了自己复习巩固。如果能帮到各位是我的荣幸！该总结参考了黑马教程，感兴趣的也可以去观看相关视频。
【大数据】专业融合型人才迎来发展良机-国家数据局正式揭牌
新华社北京10月26日电 《中国证券报》26日刊发文章《国家数据局揭牌 数据要素产业进入加速发展期》。文章称，10月25日，国家数据局正式揭牌。业内人士认为，这标志着我国数字经济发展新阶段的开始，预计数据要素配套政策将加快出台，数据要素产业进入加速发展期。
