overfit同步小助手
文章同步
OpenAI 又开始憋大招了——Sora AI视频模型
OpenAI新产品，Sora视频模型的出现对其他职业产生了深远的影响。影视制作人员、内容创作者、教育工作者、视觉艺术家以及广告和营销人员等各个领域的专业人士都会受到其影响。
Visual Studio 2022 使用 Obfuscar 进行代码混淆
然后把混淆后的新dll替换到程序目录下，发给运维上线即可。
SWIG-Python与C++交互（三）-回调函数
本期介绍通过SWIG将Python的回调函数正确地传递到C++代码，并由C++调用该回调函数。
最强开源模型 Mixtral-8x7B-Instruct-v0.1 详细介绍：稀疏 Mixtral of experts
同样，在推理过程中，假设每个令牌仅使用两名专家，推理速度 (FLOP) 就像使用 12B 模型（而不是 14B 模型），因为它计算 2x7B 矩阵乘法，但共享一些层。然后，输入的信息将以最高的概率发送给专家，确保最合适的专家处理手头的任务。C) 另请注意，虽然有推理服务，但实现了 FP8 实现，每个
spark-sql orderby遇到的shuffle问题
第3点 减少shuffle的数据量，这个我也有考虑，原本三列合并为一列（key: id_data_type），没有用到的列我也drop掉。shuffle read(Map阶段)的时候数据的分区数则是由spark提供的一些参数控制，如果这个。参数值设置的很小，同时shuffle read的量很大，那么
Spark的timestamp 数据时间问题
使用Spark来处理国际业务数据，涉及到数据时区转换，在实际项目中出现时区转换问题。但在实际Cluster 去run job的时候，如果给一个eff_dt为的时间，但是往往会出现df_eff_dt为20240131的日期。
大数据的演变
大数据是结构化、半结构化和非结构化数据的大集合。与单独的结构化数据相比，它的数据量大得多，速度快得多，文件格式多种多样，来源也多种多样。“大数据”一词自1990年代末就出现了，当时它是由美国宇航局的研究人员迈克尔·考克斯和大卫·埃尔斯沃思在1997年发表的论文中正式提出的。他们用这个术语来描述处理和
Couchbase安全与权限管理
1.背景介绍Couchbase是一个高性能、可扩展的NoSQL数据库系统，它基于Apache CouchDB的开源项目。Couchbase在数据库领域具有很高的性能和可扩展性，因此在大规模应用场景中得到了广泛应用。然而，在实际应用中，数据安全和权限管理是非常重要的问题。因此，在本文中，我们将深入探讨
浅谈RabbitMQ消费端ACK和限流
如上图所示：如果在A系统中需要维护相关的业务功能，可能需要将A系统的服务停止，那么这个时候消息的生产者还是一直会向MQ中发送待处理的消息，消费者此时服务已经关闭，导致大量的消息都会在MQ中累积。如果当A系统成功启动后，默认情况下消息的消费者会一次性将MQ中累积的大量的消息全部拉取到自己的服务，导致服
2023年的AI模型学习/部署/优化
LDC边缘检测的轻量级密集卷积神经网络：segment-anything分割一切的图像分割算法模型：YOLO For 3D Object Detection模型（YOLOV5）：DeDoDe图像局部特征匹配模型：LSTR车道线检测模型：SuperGlue Inference and Evaluati
AI：146-基于图像特征的法庭口供真实性分析
AI：146-基于图像特征的法庭口供真实性分析随着人工智能技术的迅猛发展，其在各个领域的应用逐渐深入，其中包括司法系统。法庭口供真实性分析一直是司法领域的关键问题之一。传统的口供真实性判断主要依赖于人工审查，然而，这种方法可能受到主观因素的影响，而人工智能技术能够通过客观的图像特征分析提供更加科学和
【安全】大模型安全综述
主要关注点在于安全应用程序领域，深入研究利用 LLM 发起网络攻击。
创建 Git 仓库
什么是仓库呢？仓库又名版本库，英文名，你可以简单理解成一个目录，这个目录里面的所有文件都可以被Git管理起来，每个文件的修改、删除，Git都能跟踪，以便任何时刻都可以追踪历史，或者在将来某个时刻可以“还原”。
阿里开源的Java诊断利器Arthas
通常，本地开发环境无法访问生产环境。如果在生产环境中遇到问题，则无法使用 IDE 远程调试。更糟糕的是，在生产环境中调试是不可接受的，因为它会暂停所有线程，导致服务暂停。开发人员可以尝试在测试环境或者预发环境中复现生产环境中的问题。但是，某些问题无法在不同的环境中轻松复现，甚至在重新启动后就消失了。
git 拉取指定分支代码
git initgit remote add origin <远程仓库地址>git fetchgit checkout <分支名>这种方法适用于已经存在一个空的本地仓库，再拉取指定分支的代码的情况。
Iceberg从入门到精通系列之二十四：Spark Structured Streaming
Iceberg 使用 Apache Spark 的 DataSourceV2 API 来实现数据源和目录。Spark DSv2 是一个不断发展的 API，在 Spark 版本中提供不同级别的支持。
Kafka——MirrorMaker详解
对于Kafka企业级用户而言，一个常见的痛点就是跨机房或跨数据中心(data center,DC)的数据传输。大型企业通常在多个数据中心部署Kafka集群。.这里的数据中心可能是企业拥有的自建机房，也可能是公有云厂商的不同机房。在多个机房部署Kafk集群的优势如下。实现灾备。较近的地理位置可缩短延时
大数据之Flink优化
以计算每个 mid 出现的次数为例，keyby 之前，使用 flatMap 实现 LocalKeyby 功能//Checkpoint 时为了保证 Exactly Once，将 buffer 中的数据保存到该 ListState 中//本地 buffer，存放 local 端缓存的 mid 的 cou
dolphin上MySQL到hive、seatunnel任务创建
3.根据需要创建TransformParam，TransformParam中可添加多个Transform，Transform用于对数据源表处理产生结果表供后续transform或sink使用，transform的source_table_name为上一段流程的结果表，result_table_nam
C# （WebApi）整合 Swagger
C# webapi 也可以整合Swaggerwebapi运行其实有个自带的HELP页面但是如果觉得UI不好看，且没办法显示方法注释等不方便的操作，我们也可以整合Swagger。