一款完全开源并免费的监测与分析系统，支持监测，预警，分析，报告，支持本地化部署（附源码）

前言

在当今这个信息爆炸的时代，企业和个人都需要时刻了解网络上的动态，以便及时了解自身品牌形象和社会舆论的变化。然而，现有的舆情监测工具往往价格昂贵，且cao作复杂，难以满足普通用户的需求。

在这种背景下，思通舆情 应运而生，它致力于处理当前舆情监测工具中存在的痛点，为用户提供一个高效、便捷、低成本的处理方案。

介绍

思通舆情 是一款完全开源并且免费的舆情监测系统。该系统支持本地化部署。通过思通舆情，用户可以对海量的舆情数据进行交叉分析和深度挖掘，从而获得全面的舆情信息，进行专业的舆情分析，实现快速的舆情处理，以此来提升企业的品牌价值和风险控制能力。

特点

• 开源开放：零门槛获取和安装，允许用户快速获取并安装系统，及时收集用户反馈，并按月更新版本。
• 简单易用：用户界面设计直观，通过简单的鼠标拖拽即可完成复杂的分析工作。
• 秒级响应：即使面对庞大的数据集，系统也能在几秒钟内返回查询结果。

数据来源

思通舆情的数据覆盖了广泛的来源，包括但不限于：

• 新闻媒体：涵盖各大主流新闻网站、应用程序及电子报刊。
• 网络自媒体：整合了搜狐、百度百家号、今日头条、博客、企鹅号、微-信公-众号以及微-博等多个平台的信息。
• 论坛：整合了贴吧、各类论坛、问答平台以及知乎等社区。
• 短视频：收录了来自抖音、快手等热门短视频平台的内容。

技术架构

数据采集

• 开发平台：采用 Java J2EE 和 SpringBoot 框架。
• 采集框架：利用 Spider-flow、WebMagic 及 HttpClient 实现数据抓取。
• APP采集：采用 Xposed 框架。
• URL仓库：使用布隆过滤器与 Redis 结合的方式存储 URL。
• 网页渲染解析：采用 Jvppeteer、Playwright 以及 Selenium 实现网页内容的渲染与解析。
• web应用服务器：配置 Nginx 和 Tomcat 提供服务。
• 储存任务发送：通过 Kafka 和 Zookeeper 发送任务。
• 抓取任务发送：利用 RabbitMQ 发送抓取任务。
• 配置管理：使用 MySQL 进行配置管理。
• 前端展示：采用 Bootstrap 和 Vue 构建前端展示层。

数据处理

• 开发框架：基于 SpringBoot。
• 开发语言：使用 Java J2EE。
• 数据暂存：以 MySQL 作为数据暂存地。
• 数据索引：利用 Redis 加速数据访问。
• 深度学习：使用 PaddlePaddle 框架。
• 自然语言处理：借助 HaNLP 和 THUCTC 工具。
• 数据处理和储存任务发送：通过 Kafka 和 Zookeeper 协调任务。
• 数据初始化：集成 FlyWay 自动初始化 MySQL。
• 数据中台：集成自研组件和 DataEase。
• 数据总线：使用 RocketAPI （二次开发）。

数据分析

• 数据库：使用 MySQL 存储数据。
• 数据检索：采用 Elasticsearch 进行数据检索。
• 中文分词器：使用 IK 分词工具。
• 相似度计算：利用 Clickhouse。
• 数据同步：通过 DataX 同步数据。
• 文章储存：采用 MongoDB 存储文章。
• 数据缓存：利用 Redis 缓存数据。
• 消息队列：使用 Kafka 和 RabbitMQ。
• 开发框架：基于 SpringBoot。
• 开发语言：使用 Java J2EE。
• 图表展示：采用 Apache Echarts 和 AnyCharts 展示数据。

部署方式

使用 Docker 进行部署，命令如下：

docker run -itd --name stonedt_yuqing -p 8085:8085 registry.cn-beijing.aliyuncs.com/stonedt_yuqing/stonedt_yuqing:1.0.7

开源协议

本项目遵循 GPL 开源协议。

功能展示

舆情监测：具备全文搜索、来源搜索、热搜监测等功能，实现对全网文本、图片、视频舆情的实时监控。

舆情分析：涵盖全网事件分析、事件分析、传播分析、竞品分析、评-论分析、热度指数等多种大数据分析功能。

舆情报告：支持一键生成日、周、月、季度报告，并提供行业舆情案例库，辅助舆情应对决策。

智写报告：内置丰富的报告模板和样式，结合 AI 技术，快速生成专业报告。

更多的功能待你来发现。

结语

思通舆情 以其强大的功能和简便的cao作，为广大的企业和个人提供了全-方位的舆情监测和分析服务。

后端开源地址：https://gitee.com/stonedtx/yuqing
使用手册：https://gitee.com/stonedtx/yuqing/blob/master/install_guide.md