Hadoop 重新格式化NameNode
目录一、重新格式化 NameNode1、删除hadoop 三台节点配置路径下的残留文件（1）core-site.xml删除/usr/local/src/hadoop/tmp目录（2）hdfs-site.xml删除/usr/local/src/hadoop/dfs/name目录（3）hdfs-site
大数据技术原理与应用（第三版）林子雨教材配套实验答案---实验二 熟悉常用的hdfs操作
大数据技术原理与应用（第三版）林子雨教材配套实验答案---实验二熟悉常用的hdfs操作。
大数据Maxwell（二）：使用Maxwell增量和全量同步MySQL数据
注意：maxwell-bootstrap命令执行后，可以在对应的topic中查看到数据，这里对应的topic是maxwell进程对应config.properties文件中配置的topic。Maxwell不支持高可用搭建，但是支持断点还原，可以在执行失败时重新启动继续上次位置读取数据。停止maxwe
ES 搜索引擎的分片数、副本数分配算法
本文将 ES 搜索引擎的分片数、副本数配置总结成固定的算法，跟据集群的服务器个数，总CPU核心个数，总内存大小很快可以确定要分配的参数值
【数据架构系列-03】数据仓库、大数据平台、数据中台... 我不太认同《DataFun数据智能知识地图》中的定义
2022年底DataFun发布《DataFun数据智能知识地图》，一看就做得很用心，内容涵盖数据采集与治理、数据架构、数据能力、数据应用等四大领域、15大数据模块，拆解了数据流转全流程。其中，就包含数据仓库、大数据平台、数据中台的定义，但是我确实不太认同，乍一看就感觉不太对，怎么成了“洋葱模型”，大
ASP.NET知识点
ASP.NET知识点第一章 ASP.NET简介第二章 ASP.NET中的控件1. 控件分类2. 页面回发3. 常用控件1. Label控件2. TextBox控件3. Image控件4. HyperLink控件5. RadioButton控件6. CheckBox控件7. 列表控件8. Hidden
亚马逊云科技游戏孵化营-游戏的增长
亚马逊云科技游戏孵化营-游戏的增长
windonws下spark的安装(最新安装)
spark超详细安装步骤（1） 针对于不可写问题，只要它下面已经说明已经安装或安装成功便可忽略；（2） 对于没有“py4j”库的问题，通过pip install py4j==0.10.9.5 即可添加。
深入Kafka核心设计与实践原理读书笔记第二章
深入Kafka核心设计与实践原理读书笔记第二章
大数据如何进行测试
大数据测试通常是指对采用大数据技术的系统或者应用的测试。大数据测试可以分成两个维度，一个维度是数据测试，另一个维度是大数据系统测试和大数据应用产品测试。大数据测试和传统数据测试的不同对比项大数据测试传统数据测试数据量级需要处理的数据量级较高设计的数据量级较低数据结构处理的数据包括结构化数据、非结构化
Hadoop(一) 原理简介、基本构建
了解Hadoop的基本架构和工作原理，在linux上实现三种运行模式
每日一问-ChapGPT-20230116-关于智慧城市
今天上午，去城建学院开会，内容为智慧城市行业学院建设。听着院里的规划，一阵阵激动，带着热情，希望步步前行，把一些事情，做深入，做扎实，出成果。于是我请教了ChapGPT，有问题的朋友，可以评论区留言啊，我下期帮你问。
kaggle简单使用教程(代码查找.下载、项目建立.运行、参加比赛）
Kaggle机器学习竞赛、托管数据库、编写和分享代码
安全多方学习开源框架调研
在数据隐私保护法律（如中国的《数据安全法》和《个人信息保护法》以及欧盟的 GDPR 等）日趋完善的大环境下，如何在合法合规的前提下为数据孤岛搭建平台桥梁是一个亟需解决的问题。安全多方学习是指基于安全多方计算实现的隐私保护机器学习的方法和框架，已有一批框架已经开源。本文调研了 FudanMPL, Pr
ElasticSearch的读写更新数据流程
此时会定期执行 merge。每次 merge 的时候，会将多个 segment file 合并成一个同时这里会将标识为 deleted 的 doc 给物理删除掉，然后将新的 segment file 写入磁盘这里会写一个 commit point，标识所有新的 segment file，然后打开 s
ClickHouse写入常见问题: too many parts解决方案
ClickHouse写入常见问题: too many part
大数据学习-bug01-hadoop进程错误
Hadoop进程冲突，配置文件出错。
kettle在Linux下分布式集群服务器搭建
kettle在Linux下分布式集群服务器搭建
elasticsearch8和kibana部署遇到的坑
elasticsearch 8安装遇到的问题
ES 查询语句总结（1）条件和聚合
ES常用查询语句模式（关键字）的总结
