爬虫 selenium
selenium可以像人一样打开浏览器,可以从selenium中直接提取网页上的各种信息,有些网页的请求数据是加密的,碰到这种情况我们就可以用selenium模拟浏览器去请求这些数据,跳过解密步骤,用selenium来驱动浏览器来打开去发送请求,可以避免一些反爬机制与手段,在一些情况下,更加方便,缺
IDEA 自带的接口测试神器HttpClient的使用
在IDEA中有一个非常方便的http接口测试工具httpclient,下边介绍它的使用方法,用它进行接口测试。
学习python你必须弄懂的 Python、Pycharm、Anaconda 三者之间的关系
而要进行项目开发的人员,时常有多个项目同时开发,并且不同的项目需要不同版本的工具包,这时使用Anaconda可以帮助我们管理更多项目的环境,将每个项目单独放在一个虚拟环境中,并且使这些环境中工具包相互独立,不会产生工具包版本冲突问题,并且可以下载多个版本的工具包,可以安装多个不同版本的Python解
Python读取大json文件性能优化及入库(100G+)
使用以上方式更节省内存,并且是最优的,比分块读取,如f.read(8K)、f.readlines(1000)更优。原因在于,f为文件对象,采用缓存I/O来对文件进行读写操作,本身就具有内存管理,可以不用担心内存管理的问题。但问题是,这个大列表是占用内存的,因此是高CPU开销的,但服务器上只有32G内
开源大模型部署——ollama
ollama+MaxKB开源大模型部署方法的部署手册
Spark-Shuffle阶段优化-Bypass机制详解
Spark——Bypass机制详解
医疗大数据:数据分析与预测
1.背景介绍医疗大数据是指在医疗领域中涉及的大规模数据,包括患者病历数据、医疗图像数据、医疗设备数据、医学研究数据等。随着医疗领域的发展,医疗大数据的规模和复杂性不断增加,为医疗领域提供了巨大的机遇和挑战。医疗大数据的应用主要体现在以下几个方面:1.1 个性化医疗:通过分析患者的基因、生活习惯和生理
springboot项目东方通TongWeb改造适配
本文章改造适配的项目是使用的前后端分离的框架,只记录后端springboot项目的改造适配的过程。改造的项目使用的springboot是2.4.3版本。项目在生产环境都是打包成jar包,用jar包部署运行。
前端利用vue如何实现导入和导出功能.md
xlsx/TOC。
SQL 基础入门教程
SQL 是一种用于访问和操作数据库的标准语言。它最早由 IBM 在 1970 年代开发,并在 1986 年被美国国家标准学会(ANSI)和国际标准化组织(ISO)采纳为标准。数据查询数据插入数据更新数据删除数据库和表的创建和修改数据库权限管理通过本文的学习,相信你已经掌握了 SQL 的基本操作和一些
识别 Spring Cloud 配置文件的规则:Nacos, Bootstrap, Application
主要用于程序启动时初始化一些较早的配置,如配置中心地址、加密/解密信息等。加载时机较早,优先级高于系列文件。主要用于定义应用程序的配置,如数据源、日志配置等。加载时机稍晚于bootstrap文件。Nacos 配置作为配置中心,可以动态地管理和更新配置。配置可以覆盖bootstrap和系列文件的配置,
SQL职场必备:掌握数据库技能提升职场竞争力
掌握SQL不仅是数据分析师和数据库管理员的必备技能,对于任何涉及数据处理的职场人士而言,都是一种强大的工具。通过本文的介绍,希望你能够理解SQL的基本概念和常用操作,并能在实际工作中灵活运用这些技能。无论你是初学者还是有一定经验的专业人士,SQL都能帮助你在职场中更高效地处理数据,提升竞争力。
漏洞英文bug/360安全团队受邀亮相顶级盛会,安全漏洞利用技术入选Black Hat 2022_零基础信息安全自学
5月10日至13日,网络安全领域著名的安全会议Black Hat Asia 2022(亚洲黑帽峰会)在新加坡举行。Black Hat大会被公认为世界信息安全行业的最高盛会
【一般排查思路】针对银河麒麟高级服务器操作系统磁盘空间已满
【一般排查思路】针对银河麒麟高级服务器操作系统磁盘空间已满
选择 Python IDE(VSCode、Spyder、Visual Studio 2022和 PyCharm)
当选择 Python 开发工具时,你需要考虑自己的需求、偏好和项目类型。下面是对VSCode、Spyder、Visual Studio 2022和 PyCharm的对比推荐总结。
SpringBootWeb 篇-入门了解 Swagger 的具体使用
其中设置 apis(RequestHandlerSelectors.basePackage("需要扫描的项目名")) 该属性是很重要的,项目中要测试的方法或者类在具体包的包名。简单来说,通过这些注解就可以对类、方法、方法中的属性进行说明,在测试方法的过程中,可以很清晰的明白该方法或者类的用途、信息。
【Nginx】Nginx 日志配置
Nginx 预定义了日志格式,如果没有明确指定日志格式将使用预定义的日志格式。如果需要修改,参考 log_format 的语法进行修改即可。name:格式名称,在 access_log 中显性引用,否则会使用默认的语法。escape:置变量中的字符编码方式是 json 还是 default ,默认是
AI在创造还是毁掉一些东西
在制造业中,机器人可以代替人类进行重复性的、高强度的劳动,不仅提高了生产速度,还降低了生产成本。因为有了AI,我们的工作并不是少了,赚的钱并不是多了,我们依然天天996,大部分依然赚不到多少钱,没有让人们不用干活就能安居乐业,财务自由,只会产生更多的焦虑和引发各种社会问题。AI技术的应用也带来了数据
软件供应链安全:如何防范潜在的攻击?
软件生产组织面临越来越大的监管和法律压力,要求其保护供应链并确保软件的完整性,这不足为奇。在过去几年里,软件供应链已经成为攻击者越来越有吸引力的目标,他们看到了将攻击增加几个数量级的机会。例如,看看2021年的Log4j漏洞,Log4j(由Apache维护并用于无数不同应用程序的开源日志框架)是使数
如何使用windows搭建一个公网ftp/sftp服务器
在有公网ip的情况下,使用windows系统搭建一个ftp/sftp服务器会带来很多的方便,可以实现远程移动端的一键式访问,对于文件的备份、多设备的共享都十分的方便。然而网上许多的教程都是基于windows自带的iis搭建一个局域网ftp服务器,然而在搭建好后,我想要通过端口映射的方式实现在外网访问