0
0

2023年3月版联邦学习（fate）从主机安装到实现联邦学习

联邦学习（fate）从主机安装到实现联邦学习

一、单机部署

单机版提供3种部署方式，这里选择在主机中安装FATE（官方建议使用Docker镜像，但不熟悉Docker的人容易找不到FATE路径）

1.1虚拟机配置

使用虚拟机VMware进行实验，实验过程中随时拍摄快照，节约重装时间。
项目Value虚拟机配置内存4G + 硬盘150G操作系统centos 7

1.2安装python

  • 这里不重复写了，请参考（Ubuntu安装python）（CentOS安装python）
  • 或者安装anconda–linux版本

1.3端口检查

检查端口8080、9360、9380是否被占用

netstat -apln|grep 8080
netstat -apln|grep 9360
netstat -apln|grep 9380

1.4获取安装包，并解压

sudo wget https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/fate/1.8.0/release/standalone_fate_install_1.8.0_release.tar.gz --no-check-certificate
tar -xzvf standalone_fate_install_1.8.0_release.tar.gz

1.5安装

  • 进入解压后的目录并使用init.sh进行安装
  • 该脚本将自动完成： 安装必要的操作系统依赖包 安装python36环境 安装pypi依赖包 安装jdk环境 配置FATE环境变量脚本 配置fateflow 配置fateboard 安装fate client
cd standalone_fate_install_1.8.0_release
bash init.sh init

1.6启动

bash init.sh status
bash init.sh start

加载环境变量

source bin/init_env.sh

1.7测试

部署成功后，通过网页访问 localhost:8080 可以进入FATE Board页面，账号密码默认为：admin

返回终端，开始测试

  • Toy测试
flow test toy -gid 10000 -hid 10000
  1. 如果成功，屏幕显示类似下方的语句: success to calculate secure_sum, it is 2000.0（我的显示的为1999.999999999）
  2. 之后进入FATE Broad，点击右上角JOBS，看到任务栏出现两项任务，并且状态为success则说明成功。
  • 单元测试
fate_test unittest federatedml --yes

如果成功，屏幕显示类似下方的语句:

there are 0 failed test

1.8安装FATE-Client、FATE-Test、FATE-Flow、jupyter notebook

1.8.1FATE-Client、FATE-Test

  • 为方便使用FATE，安装便捷的交互工具FATE-Client以及测试工具FATE-Test.
  • 请在环境内使用以下指令安装：
python -m pip install fate-client
python -m pip install fate-test

1.8.2FATE-Flow

  • 安装FATE-Client的过程会安装好FATE-Flow，这个工具是联邦学习端到端流水线的多方联邦任务安全调度平台，是执行任务的核心
  • 初始化
flow init --ip 127.0.0.1 --port 9380

1.8.3FATE中的Jupyter Notebook

参考：在Juypter Notebook中构建联邦学习任务

上边如果安装anaconda的则只需要执行下方第二步

  • 安装jupyter notebook
pip install notebook fate-client

启动 Juypter Notebook 服务并监听 20000 端口，待服务启动完毕后则可以通过的方式 “IP：Port” 的方式访问 Notebook


jupyter notebook --ip=0.0.0.0 --port=20000 --allow-root --debug --no-browser --NotebookApp.token= ''--NotebookApp.password= ''
  • 保持终端运行的状态，可以通过"IP：Port"的方式访问Juypter Notebook，此时notebook中的目录，就是Ubuntu中fate安装目录下的内容（按本教程的安装过程，fate根目录位于/home/fate/standalone_fate_master_1.8.0/）

二、用FATE从零实现横向逻辑回归

在开始本章之前，请确保已经安装Python和FATE单机版

2.1 数据集获取

from sklearn.datasets import load_breast_cancer
import pandas as pd 

breast_dataset = load_breast_cancer()
breast = pd.DataFrame(breast_dataset.data, columns=breast_dataset.feature_names)
breast['y']= breast_dataset.target
breast.head()

2.2 横向联邦数据集切分

为了模拟横向联邦建模的场景，我们首先在本地将乳腺癌数据集切分为特征相同的横向联邦形式，当前的breast数据集有569条样本，我们将前面的469条作为训练样本，后面的100条作为评估测试样本。

  • 从469条训练样本中，选取前200条作为公司A的本地数据，保存为breast_1_train.csv，将剩余的269条数据作为公司B的本地数据，保存为breast_2_train.csv。
  • 测试数据集可以不需要切分，两个参与方使用相同的一份测试数据即可，文件命名为breast_eval.csv。
from sklearn.datasets import load_breast_cancer
import pandas as pd 

breast_dataset = load_breast_cancer()
breast = pd.DataFrame(breast_dataset.data, columns=breast_dataset.feature_names)
breast =(breast-breast.mean())/(breast.std()) 
col_names = breast.columns.values.tolist()

columns ={}for idx, n inenumerate(col_names):
    columns[n]="x%d"%idx 
    
breast = breast.rename(columns=columns)    
breast['y']= breast_dataset.target
breast['idx']=range(breast.shape[0])
idx = breast['idx']
breast.drop(labels=['idx'], axis=1, inplace =True)

breast.insert(0,'idx', idx)
breast = breast.sample(frac=1)
train = breast.iloc[:469]eval= breast.iloc[469:]
breast_1_train = train.iloc[:200]
breast_1_train.to_csv('breast_1_train.csv', index=False, header=True)

breast_2_train = train.iloc[200:]
breast_2_train.to_csv('breast_2_train.csv', index=False, header=True)eval.to_csv('breast_eval.csv', index=False, header=True)

运行完此程序之后会得到三个新的scv格式的数据集

2.3 上传数据-修改文件

在数据处理完之后，我们需要进行对数据进行上传。我们采用json格式进行上传。在FATE项目中有写好的上传json文件，在examples/dsl/v2/upload文件夹中，upload_conf.json此文件。在我的实验中，我将此文件复制到了我在FATE目录下新建的工作目录下，并对其进行了修改。

{"file":"examples/data/breast_1_train.csv",#指定数据文件"head":1,"partition":10,"work_mode":0,"table_name":"homo_breast_1_train",#指定DTable表名"namespace":"breast_1_train.csv"#指定DTable表名的命名空间}

“file”：需要改为自己的csv路径
“work_model”:0 表示为单机部署模式
“table_name”:需要改为自己的table名

2.4 上传数据-跳转目录

为了方便后面的叙述统一，我们假设读者安装的FATE单机版本目录为：

fate_dir=/data/projects/fate-1.8.0-experiment/standalone-fate-master-1.8.0/

做完上述准备之后，我们需要进行以下操作

  1. 跳转到standalone-fate-master-1.8.0目录下
cd /data/projects/fate-1.8.0-experiment/standalone-fate-master-1.8.0
  1. 加载环境变量
source bin/init_env.sh
  1. 在加载环境变量的基础上，在在当前目录下（$fate_dir/examples/federatedml-1.x-examples），在命令行中执行下面的命令，即可自动完成上传和格式转换：
python /opt/standalone_fate_install_1.8.0/fateflow/python/fate_flow/fate_flow_client.py -f upload -c /opt/standalone_fate_install_1.8.0/fate/upload_data/upload_train1.json

或者

flow data upload -c /opt/standalone_fate_install_1.8.0/fate/upload_data/upload_train1.json

出现如下界面说明成功：
成功截图

2.5 模型训练与评估

在数据完成上传之后，下面需要对训练任务进行配置，在FATE项目中已经给出了很多写好的配置，我们可以在此基础上进行修改就能直接用了。

2.5.1 修改conf和dsl文件参数

书中的版本与v1.8.0完全发生了改变，我们需要重新配置dsl和conf文件，且书中是使用训练集建模，训练集评估，与建模流程不符，我们改变书中流程，使用训练集建模，训练集与测试集分开进行评估。

在这里我使用的是homo_lr_train_conf.json和homo_lr_train_dsl.json，这两个文件在examples/dsl/v2/homo_logistic_regression目录中能够找到。接下来我们需要对其进行修改

  1. homo_lr_train_conf.json：用来设置各个组件的参数，比如输入模块的数据表名，算法模块的学习率，batch大小，迭代次数。 一般使用默认值即可，需要修改的地方包括以下几处。
  • role字段：该字段包括guest和host分别对应两个参与方。需要修改三个参数。首先是name和namespace，代表训练数据的DTable表名和命名空间；此外，label_name表示的是标签列对应的属性名，
{"role":{"host":{"0":{"reader_0":{"table":{"name":"mnist_host_train",#注意此处换成对应的表名，在复制此代码时需要删除此注释"namespace":"experiment"}},"evaluation_0":{"need_run": false
                    }}},"guest":{"0":{"reader_0":{"table":{"name":"mnist_guest_train",#注意此处换成对应的表名，在复制此代码时需要删除此注释"namespace":"experiment"}}}}}}}
  • component_parameters字段：用来设置模型训练的超参数信息，包括优化函数与学习率，迭代次数
"component_parameters":{"common":{"data_transform_0":{"with_label": true,"output_format":"dense"},"homo_lr_0":{"penalty":"L2","tol":1e-05,"alpha":0.01,"optimizer":"sgd","batch_size":-1,"learning_rate":0.15,"init_param":{"init_method":"zeros"},"max_iter":30,"early_stop":"diff","encrypt_param":{"method": null
                },"cv_param":{"n_splits":4,"shuffle": true,"random_seed":33,"need_cv": false
                },"decay":1,"decay_sqrt": true
            },"evaluation_0":{"eval_type":"binary"}}
  1. homo_lr_train_dsl.json：用来描述任务模块，将任务模块以有向无环图的形式组合在一起。以下组件模块构成了最基本的横向联邦模型流水线。
  • homo_lr_0：横向逻辑回归组件
  • evaluation_0:模型评估组件，如果没有提供测试数据集，将自动使用训练数据进行模型评估。

2.5.2 修改结束之后，在命令行输入以下命令（submit_ job）执行模型训练

python /opt/standalone_fate_install_1.8.0/fateflow/python/fate_flow/fate_flow_client.py -f submit_job -d /opt/standalone_fate_install_1.8.0/fate/dsl_conf/homo_lr_train_dsl.json -c /opt/standalone_fate_install_1.8.0/fate/dsl_conf/homo_lr_train_conf.json

或者

flow job submit -d /opt/standalone_fate_install_1.8.0/fate/dsl_conf/homo_lr_train_dsl.json -c /opt/standalone_fate_install_1.8.0/fate/dsl_conf/homo_lr_train_conf.json

成功后显示如图
截图
通过箭头所指地址我们可以在浏览器中查看任务进度和信息
截图成功

标签： linux docker 运维
本文转载自: https://blog.csdn.net/feverfew1/article/details/129298953
版权归原作者 小白学习记录 所有， 如有侵权，请联系我们删除。
登录后发布评论

“2023年3月版联邦学习（fate）从主机安装到实现联邦学习”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

公司文件防止泄密的方式有哪些？记住这七个措施，保护文档安全！

Selenium的下载及chrome环境搭建

IDEA 2024.3 版本预览：这几个新特性吊炸天了都

OpenWebUI系列之 如何通过docker自动将其更新到OpenWebUI最新版本

在Visual Studio Code(VS Code)中使用Gitee进行代码版本管理(一)

Prometheus通过注册中心nacos、Eureka 实现服务注册自动发现监控

大数据-231 离线数仓 - DWS 层、ADS 层的创建 Hive 执行脚本

文章导航