“互联网+”大学生创新创业大赛经历
参赛项目能够将移动互联网、云计算、大数据、人工智能、物联网、下一代通讯技术等新─代信息技术与经济社会各领域紧密结合,培育新产品、新服务、新业态、新模式;(三)“互联网+”信息技术服务,包括人工智能技术、物联网技术、网络空间安全技术、大数据、云计算、工具软件、社交网络、媒体门户、企业服务、下-代通讯技
IDLE开发wordCount程序(第五弹)
以本地模式执行spark程序
Hive DML常见操作
Hive DML常见操作
1-第一篇入住博客自我介绍
对于数据科学专业而言,掌握计算机知识以及编程应用尤其重要,而计算机和数据科学相关的课程包括(我们已学和在学的):Linux,sql数据库,数据科学导论,统计学导论,计算机操作原理,大数据技术原理与应用,数据结构与算法,python程序设计,C语言,HBase数据库,Hadoop,Spark算法,机器
第15章_锁
第 15 章_锁事务的隔离性由这章讲述的锁来实现。1. 概述锁是计算机协调多个进程或线程并发访问某一资源的机制。在程序开发中会存在多线程同步的问题,当多个线程并发访问某个数据的时候,尤其是针对一些敏感的数据(比如订单、金额等),我们就需要保证这个数据在任何时刻最多只有一个线程在访问,保证数据的完整性
HiveServer2 报错 OutOfMemoryError 解决思路
HiveServer2 报错 OutOfMemoryError 解决思路
大数据必学Java基础(四十九):Math类和Random类的讲解
不能【6】静态导入。
迎战秋招计划
MCA_高并发,MCA_Redis。代码随想录刷到动态规划。
Springboot+RabbitMQ+ACK机制(生产方确认(全局、局部)、消费方确认)、知识盲区
Springboot+RabbitMQ+ACK机制(生产方确认(全局、局部)、消费方确认)、知识盲区
H(hadoop&code&notebook).数据压缩
表-3优缺点压缩算法优点缺点gzip压缩率比较高不支持Split;压缩/解压速度一般bzip2压缩率高;支持Split压缩/解压速度慢LZO压缩/解压速度比较快;支持Split压缩率一般;想支持切片,需要额外创建索引Snappy压缩和解压缩速度快不支持Split;压缩率一般。......
深入浅出对话系统——任务型对话系统技术框架
任务型对话系统所需要了解的基本概念。
【python数据分析刷题】-N03.逻辑运算
Python实际针对数据分析的学习是库,用库来解决一系列的数据分析问题
Presto: 是谁偷走了我的一天
最近在数据迁移的过程中遇到一个好玩的 当我们要计算两个日期的间隔的是时候需要调用一些数据分析组件内置的函数, 如下所示: 代码表示的含义很简单 就是计算8月9日和8月8日之间相隔天数, 但是这样的计算的结果竟然不相同: 竟然出现同样的时间段里比多一天这种情况. 即在分析中得到是相隔一天, 但是
体验第一个spark程序(第四弹)
先启动spark集群或者启动hdfs集群,如果之前有开启,则需要重新关闭再开启spark集群或者启动hdfs集群。以客户端模式连接Yarn集群,集群的位置可以在HADOOP_CONF_DIR环境变量中配置。以集群模式连接Yarn集群,集群的位置可以在HADOOP_CONF_DIR环境变量中配置。在s
案例:ELK日志分析系统
通过对日志的分析,既可以未雨绸缪,预防故障的发生,又可以在故障发生时,寻找蛛丝马迹,快速定位故障点。
半量化交易(一)
程序自动选优质股,再判断是否有买入卖出信号进行操作
用于视觉语言导航的自监督三维语义表示学习
在视觉语言导航任务中,embodied agent遵循语言指令并导航到指定目标位置。它在许多实际场景中都很重要,并引起了计算机视觉和机器人领域的广泛关注。然而,现有的大多数工作仅使用RGB图像,而忽略了场景的三维语义信息。为此,我们开发了一种新的自监督训练框架,将体素级(voxel-level)三维
Hadoop完全分布式部署
host映射:这里是把三个Linux的ip地址保存到三个虚拟机去,相当于我们自己在手机里面存别人的电话号码 一样的道理,这样相互之间就知道对应ip地址的机器是哪一台。所以这个操作也是要在三台虚拟机都要 进行的。给ip地址起名字,几个机器需要互相连通,这样在连接几台机器的时候只需要使用机器名就行,不需
初识MQ和RabbitMQ
RabbitMQ是MQ消息队列的一种,我们一般使用的是Spring集合后的SpringAMQP.SpringAMQP是基于RabbitMQ封装的一套模板,并且还利用SpringBoot对其实现了自动装配,使用起来非常方便。AMQP 是一种高级消息队列协议.而SpringAMQ是基于AMQP协议制订的
SpringBoot-spring-data-elasticsearch7.12.0
SpringBoot-spring-data-elasticsearch7.12.0