【重磅升级】基于大数据的股票量化分析与预测系统

温馨提示：文末有 CSDN 平台官方提供的学长 QQ 名片 :)

1. 项目简介

    伴随全球经济一体化和我国经济的快速发展，中国股票市场对世界经济的影响力不断攀升，中国股市已成为全球第二大股票交易市场。在当今的金融市场中，股票价格的波动受到众多因素的影响，包括市场情绪、经济指标、公司业绩等。传统的分析方法往往难以捕捉到这些复杂因素的相互作用。

    本项目利用 Python 网络爬虫技术从某财经网站**实时采集**A股各大指数、个股的 K线数据、公司简介、财务指标、机构预测、资金流向、龙虎榜等数据，并进行 KDJ、BOLL等技术指标的计算和收益率的量化计算，构建股票数据分析与预测系统，**深入挖掘板块热点、资金流向、市场估值**等，并利用 Tensorflow 深度学习框架构建 **LSTM 神经网络，预测个股的未来走势**。

    通过该系统，用户可以更加科学地进行股票投资决策，提高投资回报率。通过不断优化算法模型与用户体验，未来有望将此系统推广至更广泛的场景中，为股票市场的量化分析与预测提供有力支持。

    **B站系统演示视频：【重磅升级，全网最优！】基于大数据的股票量化分析与预测系统_哔哩哔哩_bilibili**

【重磅升级，全网最优！】基于大数据的股票量化分析与预测系统

2. 股票数据获取

    数据获取是股票数据分析的第一步，找不到可靠、真实的数据，量化分析就无从谈起。随着信息技术的不断发展，数据获取渠道也越来越多，当前包括开源的股票数据获取的工具：tushare、baostock、pandas_datareader和yahool等财经数据API，这样可以节省不少精力。当这些开源的API接口不能满足自己特定场景的股票数据需求的时候，本项目利用 Python 编写网络爬虫采集某财经网站的行情数据。采集的数据包括：

1、指数或个股的模糊搜索；

2、获取个股的 K 线和基本指标数据;

3、个股基本面信息获取；

4、个股的最新核心题材；

5、A股的资金流的最新排名；

6、个股主力资金占比排名；

7、交易日的涨停板数据；

8、沪深两市实时资金流;

9、获取南向实时资金流;

10、获取市场的市盈率和市净率的估值数据

11、A 股的所有股票最新排名榜单

12、......

    以采集交易日的涨停板数据为例：

def get_limit_up_stocks(self, trade_date, page_index=0, pagesize=100):
        """
        获取交易日的涨停板数据，注意网站中收录的涨停板不包含 ST 股
        http://quote.eastmoney.com/ztb/detail#type=ztgc

        Args:
            trade_date: 交易日期，%Y%m%d 格式，20230901
            page_index: 当前页下标
            pagesize: 分页大小，默认最大千股涨停。。。
        """
        time_token = int(time.time() * 1000)
        base_url = 'https://push2ex.eastmoney.com/getTopicZTPool?ut=7eea3edcaed734bea9cbfc24409ed989&dpt=wz.ztzt&Pageindex={}&pagesize={}&sort=fbt%3Aasc&date={}&_={}'
        url = base_url.format(page_index, pagesize, trade_date, time_token)
        print(url)
        headers = {
            'Accept': '*/*',
            'Accept-Encoding': 'gzip, deflate',
            'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
            'Connection': 'keep-alive',
            "Cookie": "Your cookie",
            "Host": "push2ex.eastmoney.com",
            "Referer": "https://quote.eastmoney.com/ztb/detail",
            "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36",
        }
        resp = requests.get(url, headers=headers)
        resp.encoding = 'utf8'
        resp = json.loads(resp.text)['data']
        if resp is None:
            return []

        stock_datas = resp['pool']

        columns_map = {
            'c': '证券代码',
            'n': '证券名称',
            'zdp': '涨跌幅',
            'p': '最新价',
            'amount': '成交额',
            'ltsz': '流通市值',
            'tshare': '流通市值',
            'hs': '换手率',
            'fund': '封板资金',
            'zbc': '炸板次数',
            'zttj': '涨停统计',
            'hybk': '行业板块'
        }

        limit_up_stocks = []
        for stock_info in stock_datas:
            limit_up_stock = {}
            for c in stock_info:
                if c in columns_map:
                    value = stock_info[c]
                    if c == 'zttj':
                        value = '{}天{}板'.format(stock_info[c]['days'], stock_info[c]['ct'])
                    limit_up_stock[columns_map[c]] = value
            limit_up_stock['交易日期'] = trade_date
            limit_up_stocks.append(limit_up_stock)

        return limit_up_stocks

    获取个股的 K 线和基本技术指标数据，**可支持采集日线、周线、月线级别的 K 线数据**：

def get_stock_kline_factor_datas(self, security_code, period, market_type):
        """
        获取个股的 K 线和基本指标数据

        Args:
            security_code: 股票代码
            period: 周期: day、week、month
        """
        if not market_type:
            security_type = security_util.get_security_type(security_code)
            market_type = int(security_type == 'SH')
        print('market_type:', market_type)

        # 根据当前时间，计算 beg 值
        cur_date = datetime.now()
        if period == 'day':
            begin_date = cur_date + timedelta(days=-1200)
            begin_date = begin_date.strftime('%Y%m%d')
            url = f'https://push2his.eastmoney.com/api/qt/stock/kline/get?fields1=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f11,f12,f13&fields2=f51,f52,f53,f54,f55,f56,f57,f58,f59,f60,f61&beg={begin_date}&end=20500101&ut=fa5fd1943c7b386f172d6893dbfba10b&rtntype=6&secid={market_type}.{security_code}&klt=101&fqt=1'
        elif period == 'week':
            begin_date = cur_date + timedelta(days=-120)
            begin_date = begin_date.strftime('%Y%m%d')
            url = f'https://push2his.eastmoney.com/api/qt/stock/kline/get?fields1=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f11,f12,f13&fields2=f51,f52,f53,f54,f55,f56,f57,f58,f59,f60,f61&beg={begin_date}&end=20500101&ut=fa5fd1943c7b386f172d6893dbfba10b&rtntype=6&secid={market_type}.{security_code}&klt=102&fqt=1'
        elif period == 'month':
            begin_date = cur_date + timedelta(days=-250)
            begin_date = begin_date.strftime('%Y%m%d')
            url = f'https://push2his.eastmoney.com/api/qt/stock/kline/get?fields1=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f11,f12,f13&fields2=f51,f52,f53,f54,f55,f56,f57,f58,f59,f60,f61&beg={begin_date}&end=20500101&ut=fa5fd1943c7b386f172d6893dbfba10b&rtntype=6&secid={market_type}.{security_code}&klt=103&fqt=1'
        else:
            raise ValueError(f'暂不支持 {period} 类型周期')

        resp = requests.get(url)
        resp.encoding = 'utf8'
        resp_data = resp.json()['data']
        security_name = resp_data['name']
        klines = resp.json()['data']['klines']

        all_stock_info = []
        for kline in klines:
            # 日期, 开盘, 收盘, 最高, 最低, 成交量, 成交额, 振幅, 涨跌幅, 涨跌额, 换手率
            datas = kline.split(',')
            stock_info = {
                'date': datas[0],
                'code': security_code,
                'name': security_name,
                'open': float(datas[1]),
                'close': float(datas[2]),
                'high': float(datas[3]),
                'low': float(datas[4]),
                'volume': float(datas[6])
            }
            all_stock_info.append(stock_info)

        stock_df = pd.DataFrame(all_stock_info)
        stock_df.to_csv(f"./dataset/kline/{security_code}.csv", index=False, encoding='utf8')
        return stock_df

    网络爬虫代码接近1000行，此处篇幅限制，暂不一一列出。

3. 股票量化分析与预测系统

3.1 系统注册登录

    用户需要先完成注册过程才能使用系统的所有功能。注册时需提供基本信息如用户名、密码等，并设置个人信息保护措施。登录后，用户可以根据自身需求选择不同的服务项目。

    前端基于 Bootstrap 框架实现扁平石响应式页面：

<section class="ftco-section" style="margin-top: 50px;">
        <div class="container">
            <div class="row justify-content-center">
                <div class="col-md-8 text-center mb-5">
                    <h2 class="heading-section">欢迎使用“基于大数据的股票量化分析与预测系统”</h2>
                </div>
            </div>
            <div class="row justify-content-center">
                <div class="col-md-12 col-lg-10">
                    <div class="wrap d-md-flex">
                        <div class="img" style="background-image: url(../static/img/login.jpeg);">
                        </div>
                        <div class="login-wrap p-4 p-md-5">
                            <div class="d-flex">
                                <div class="w-100">
                                    <h3 class="mb-4">用户注册</h3>
                                </div>
                                <div class="w-100">
                                    <p class="social-media d-flex justify-content-end">
                                        <a href="#"
                                            class="social-icon d-flex align-items-center justify-content-center"><span
                                                class="fa fa-facebook"></span></a>
                                        <a href="#"
                                            class="social-icon d-flex align-items-center justify-content-center"><span
                                                class="fa fa-twitter"></span></a>
                                    </p>
                                </div>
                            </div>
                            <form action="#" class="signin-form">
                                <div class="form-group mb-3">
                                    <label class="label" for="name">用户名</label>
                                    <input type="text" class="form-control" placeholder="Username" required  id="name" >
                                </div>
                                <div class="form-group mb-3">
                                    <label class="label" for="password">密&nbsp;&nbsp;码</label>
                                    <input type="password" class="form-control" placeholder="Password" required id="password">
                                </div>
                                <div class="form-group">
                                    <button type="submit" id="submit" class="form-control btn btn-primary rounded submit px-3">注册</button>
                                </div>
                                
                            </form>
                            <p class="text-center">已有账号? <a data-toggle="tab" href="/login">直接登录</a></p>
                        </div>
                    </div>
                </div>
            </div>
        </div>
    </section>

** （1）新用户注册**

** （2）用户登录**

3.2 系统首页

    主页提供简洁明了的界面设计，用户可以通过主页快速了解系统的基本功能和所包含的核心模块。

3.3 大盘指数行情

    实时采集上证指数、深证成指、创业板指、中小板指和沪深300指数的日线行情数据，利用 echarts 进行股票 K 线数据的可视化：

3.4 个股量化分析

    支持个股的**股票代码、股票名称、名称缩写等形式的股票模糊搜索**，个股的量化分析包括：个股的 K线行情数据、公司简介、核心财务指标、机构预测、核心概念板块等。

** （1）个股K线与公司简介**

** （2）主要财务指标与机构预测**

** （3）个股的核心概念板块**

3.5 涨停板热点分析

    通过选择交易日的日期，系统实时采集当天的涨停板个股数据，统计不同行业博客的涨停股票数据分布和涨停股的成交额占比分布，并将当天的涨停板的股票信息、成交额、流通市值、换手率、封板资金、炸板统计、行业板块等信息进行表格展示：

    （1）热点行业板块涨停板数量分布

** （2）当日涨停股票池**

** 涨停股票池表格中，点击股票代码或股票名称，可直接跳转到该个股的量化分析页面。**

3.6 大盘资金流向

    实时采集交易日的大盘资金流向，包括：

• 沪深两市实时资金流（主力、超大单、大单、中单和小单的实时资金流）
• 南向资金的实时资金流（港股通(沪)、港股通(深)的实时净买额）

3.7 市场基本面估值分析

    市场的基本面估值包括大盘市盈率TTM、大盘市净率 MRQ两个维度，同时对近5年大盘市盈率的30、50、70分位数进行对比：

3.8 龙虎榜热股排名

    采集交易日的龙虎榜数据，挖掘最新资金热点方向，**击股票代码或股票名称，可直接跳转到该个股的量化分析页面。**

3.9 个股收益量化分析

    支持个股的**股票代码、股票名称、名称缩写等形式的股票模糊搜索**，分析该个股的每日涨跌幅收益率、和累计收益率情况：

3.10 基于 LSTM 神经网络的股票价格预测

    利用 Tensorflow 框架构建 LSTM 神经网络，预测某一只股票的未来走势，系统支持在线的参数调试，以观察不同参数对预测性能的影响，对于历史数据，计算模型预测的误差，以作为趋势预测的参考。

4. 总结

    本项目利用 Python 网络爬虫技术从某财经网站网站**实时采集**A股各大指数、个股的 K线数据、公司简介、财务指标、机构预测、资金流向、龙虎榜等数据，并进行 KDJ、BOLL等技术指标的计算和收益率的量化计算，构建股票数据分析与预测系统，**深入挖掘板块热点、资金流向、市场估值**等，并利用 Tensorflow 深度学习框架构建 **LSTM 神经网络，预测个股的未来走势**。

B站系统演示视频：【重磅升级，全网最优！】基于大数据的股票量化分析与预测系统_哔哩哔哩_bilibili****

欢迎大家点赞、收藏、关注、评论啦 ，由于篇幅有限，只展示了部分核心代码。技术交流、源码获取认准下方 CSDN 官方提供的学长 QQ 名片 :)

精彩专栏推荐订阅：

1. Python-数据挖掘实战案例

2. Python-深度学习实战案例

3. Python-管理系统实战案例