Hadoop部署本地模式
本地模式，即运行在单台机器上。没有分布式的思想，使用的是本地文件系统。使用本地模式主要是用于对MapReduce的程序的逻辑进行调试，确保程序的正确性。由于在本地模式下测试和调试MapReduce程序较为方便，因此，这种模式适合用在开发阶段。上传JDK安装包到指定的路径。上传Hadoop到指定的
数据仓库基础知识
数据仓库基础知识介绍
Centos6系统中yum源的配置
在file-other-select a wizard中创建MapReduce项目。在编辑区-run as- run configuration。在hdfs中的output子目录下查看输出文件。2022年10月10日08:49:17。
Flink中常用的去重方案
将数据保存到状态中，进行累计。
个人电脑windows装青龙面板,本地运行,无需服务器，本人亲测成功
个人电脑windows装青龙面板,本地运行,无需服务器，本人亲测成功
jar包获取resource下配置文件路径
我们在代码里可以这样写但是打成jar包后就不行了,我们有很多方法获取jar包路径或者resource下文件路径但是打印后你会发现路径里面带 ！，此时就算你去掉！也不行就算把路径copy到linux，用cat命令也显示文件不合法，猜测打包之后的jar就是无法获取的但是我们可以读取文件，然后写入固定路径
spark-md5根据文件内容生成hash
spark-md5根据文件内容生成hash
SparkSql数组操作的N种骚气用法
总结一下sparksql（基于branch3.3） 中 array操作相关的骚气用法，这恐怕是总结的最全的一篇了，哈哈~~
Impala时间转换to_date、to_timestamp
在时间的运算上，也常常使用到日期格式的转换，如日期字符串转为日期型，日期转为格式化字符串，是两种常见的需求；另外也有需要将时间转为时间戳的场景等等；把string类型的timestamp转化成时间戳Unix。把string类型的date或日期转化成时间戳Unix。指定时区的时间戳转化为UTC时区的时
Kibana的搜索和过滤
在Kibana中，您可以使用查询语句来完成一些高级搜索任务，比如在多个字段中搜索、排除特定值、计算文本相似度等。（1）搜索栏：Kibana的搜索栏位于主页面的顶部，它可以用来输入关键字，然后在所选索引中搜索匹配的数据。在过滤器面板中，您可以使用逻辑运算符（AND、OR、NOT）来组合多个过滤器，并指
最新，2022年JCR正式发布（附影响因子名单下载）
今年共有近13000本期刊获得影响因子，其中60%以上的期刊IF实现了上涨。影响因子最高的仍然是Ca-A Cancer Journal for Clinicians，但今年下跌较多，由508.702降至286.130。国产期刊影响因子最高的是Cell Research，最新IF为46.297，重回国
大数据工程师需要学习哪些内容
Hadoop以及其他大数据处理技术很多都是用Java，例如Apache的基于Java的HBase和Accumulo以及 ElasticSearchas，因此学习Hadoop的一个首要条件，就是掌握Java语言编程。• 结合当下热门的云平台（阿里云、UCloud）为大家带来《云原生大数据开发》：基于H
ES删除索引中的所有数据（不删除索引结构）含curl删除方式
场景：想只删除索引下的数据，不删除索引结构，(windows环境)服务器中没有postman工具第一种：只删除索引中的所有数据，不删除索引结构POST 192.168.100.88:9200/my_index/_delete_by_query请求体：{ "query": { "match_a
SAP 各模块常用系统表及关系总结
采购组织与公司代码可以不存在分配关系，我们除极少的两三家公司外，基本上没有进行分配（如果进行分配的话，则一个采购组织只能分配给一个公司代码）。程序的选择屏幕上的选择文本，如果属于标准字段，若无特殊需求，请尽量使用Dictionary，避免造成在不同语言环境中显示错误的情况。但为了保证业务的正确性，我
2023年最新自动化/控制保研夏令营&预推免经验贴（清华/自动化所/浙大/上交）
个人感觉是最友好的院所。众所周知，清华计算机、北大信科、自动化所、计算所是计算机方向的四大天王（可能有争议），这也从他们的保研生源中有很好的反映。我入选了今年的“人工智能菁英班”项目（今年新开），报录比大概是30/1200，由于项目目的是让大三学生能够线上/线下参与所内的实习，所以大部分成员都是京校
hive启动报错解决流程
hive启动报错
Flink部署
可以看到，Flink 本地启动非常简单，直接执行 start-cluster.sh 就可以了。如果我们想要扩展成集群，其实启动命令是不变的，主要是需要指定节点之间的主从关系。Flink 是典型的 Master-Slave 架构的分布式数据处理框架，其中 Master 角色对应着 JobManager
Hive的Metastore三种配置方式
Hive的Metastore三种配置方式
绿色经济：WIPO 绿色专利分类数据
绿色经济：WIPO 绿色专利分类数据
启动yarn时，resourcemanager启动失败
使用启动yarn后，再使用jps查看进程，发现只有Notemanager启动了，而resourcemanager没有启动。
