【爬虫笔记】Python爬虫简单运用爬取代理IP
近些年来,网络上的爬虫越来越多,很多网站都针对爬虫进行了限制,封禁了一些不规则的请求。为了实现正常的网络爬虫任务,爬虫常用代理IP来隐藏自己的真实IP,避免被服务器封禁。本文将介绍如何使用Python爬虫来获取代理IP,以及如何在爬虫中使用代理IP。需要注意的是,代理IP并不是万能的,在一些反爬虫机
pyspark笔记:读取 & 处理csv文件 (pyspark DataFrame)
pyspark cmd上的命令。
kafka学习笔记
数据传输的事务定义有三种级别:1、最多一次,消息不回重复发送,最多被传输一次,但也有可能一次不传输2、最少一次,消息不会漏发,但是可能会被重复传输3、精确的一次(exactly one):不会漏传,但是也不会重复传输,是大家所期望的。
【笔记】Spark3 AQE(Adaptive Query Execution)
不同于传统以整个执行计划为粒度进行调度的方式,AQE 会把执行计划基于 shuffle 划分成若干个子计划,每个子计划用一个新的叶子节点包裹起来,从而使得执行计划的调度粒度细化到 stage 级别 (stage 也是基于 shuffle 划分)。我们知道一般的 SQL 执行流程是,逻辑执行计划 ->
VSCODE设置位置
VSCODE的设置区域的介绍,包括用户区、工作区,设置编辑器、settings文件创建,书写规则等内容
【笔记】解决Ubuntu 23.04下Warning: Could not find TensorRT的问题
解决问题笔记:TF-TRT Warning: Could not find TensorRT & Cannot dlopen some GPU libraries.
goadmin 学习笔记
安装goadmin 过程中遇到的坑
【李沐深度学习笔记】线性代数
课程地址和说明数据预处理实现p3本系列文章是我学习李沐老师深度学习系列课程的学习笔记,可能会对李沐老师上课没讲到的进行补充。线性代数标量标量(scalar),亦称“无向量”。有些物理量,只具有数值大小,而没有方向,部分有正负之分。物理学中,标量(或作纯量)指在坐标变换下保持不变的物理量。用通俗的说法
Selenium - Tracy 小笔记2
它可以让python代码调用浏览器。并获取到浏览器中加们可以利用selenium提供的各项功能。帮助我们完成数据的抓取。1.掌握 selenium发送请求,加载网页的方法。2.掌握selenium简单的元素定位的方法。selenium本身是一个自动化测试工具。它没有逻辑,只有相应的函数,直接搜索即可
RabbitMQ笔记-RabbitMQ基本术语
RabbitMQ就是AMQP协议的Erlang实现,RabbitMQ是AMQP协议的erlang实现,AMQP的模型架构也是:生产者将消息发送给交换器,交换器和队列绑定,当生产者发送消息时所携带的RoutingKey与绑定时的BindingKey相匹配时,消息被存入相应队列中,消费者可以订阅相应的队
我的私人笔记(zookeeper分布式安装)
(2)将/opt/servers/zookeeper/conf路径下的zoo_sample.cfg修改为zoo.cfg。(4)在/opt/servers/zookeeper这个目录下创建zkData。(7)拷贝Zookeeper到其他节点上,修改myid的服务编号。(6)编辑myid文件,在文件中加
渡一大师课笔记(重点:事件循环、浏览器渲染原理)
reflow 的本质就是重新计算 layout 树。当进行了会影响布局树的操作后,需要重新计算布局树,会引发 layout。为了避免连续的多次操作导致布局树反复计算,浏览器会合并这些操作,当 JS 代码全部完成后再进行统一计算。所以,改动属性造成的 reflow 是异步完成的。也同样因为如此,当 J
学习笔记:CentOS 7安装openssl 1.1.1
现在是1.1.1u版,下载openssl-1.1.1u.tar.gz文件,并上传到CentOS7服务器中,我以user用户登录,放在/home/user/目录下。CentOS7中预装了openssl 1.0.2版本,该版本不支持sm2、sm3、sm4等国密算法,可以安装openssl 1.1.1的版
MySQL最新版8.1.0安装配置教程
本章是对最新版8.1.0的MySQL数据库的安装教程,不仅仅是自己为自己学习SQL注入,还是在学校学习数据库的同时进行练手来说,都是必须要做的一件事情,下面就是详细的安装教程本文章,是对自己在安装最新版MySQL数据库的一个详细过程吧,中间也有很多不清楚的地方,但是经过自己的多次对,工具环境以及软件
在VMware 17虚拟机上安装Windows 11操作系统(全程有图超级详细)+VMware使用技巧
从零开始在VMware安装Win11操作系统保姆级教程,全过程有图,超级详细,新手福利!
BladeX框架开源-工作-笔记-Docker部署-Jenkins配置
BladeX框架开源-工作-笔记-Docker部署-Jenkins配置
【强化学习理论】状态价值函数与动作价值函数系列公式推导
强化学习理论中,状态价值函数、动作价值函数、贝尔曼方程系列公式推导。
1. HBase中文学习手册之揭开HBase的神秘面纱
HBase基础入门第一课
Canal+kafka 配置与部署笔记
Canal+kafka 配置与部署笔记
AI夏令营第三期用户新增挑战赛学习笔记
通过数据可视化,我们可以更详细地观察不同特征与目标之间的关系,从而帮助我们筛选出有用的特征,并进行特征组合,以进一步提高模型的预测准确性。并且可以更好地理解数据,发现数据中的模式和趋势,并根据这些发现来优化我们的建模过程。