大数据相关知识||电商大数据相关参数和返回||主流电商平台大数据采集

主流电商大数据：

公共参数
名称类型必须描述keyString是调用key（免费测试）secretString是调用密钥api_nameString是API接口名称（包括在请求地址中）[item_search,item_get,item_search_shop等]cacheString否[yes,no]默认yes，将调用缓存的数据，速度比较快result_typeString否[json,jsonu,xml,serialize,var_export]返回数据格式，默认为json，jsonu输出的内容中文可以直接阅读langString否[cn,en,ru]翻译语言，默认cn简体中文versionString否API版本
请求参数

请求参数：num_iid=652874751412&is_promotion=1

参数说明：num_iid:淘宝商品ID
is_promotion:是否获取取促销价

响应参数

Version: Date:2022-04-04
名称类型必须示例值描述
item
item[]1宝贝详情数据
电商大数据文档：

1. 参数说明- 通用参数说明 - 参数不要乱传，否则不管成功失败都会扣费- url说明 https://api-gw..cn/平台/API类型/ 平台：淘宝，京东等， API类型:[item_search,item_get,item_search_shop等]- version:API版本- key:调用key,测试key:test_api_key- secret:调用secret,测试secret:(不用填写)- cache:[yes,no]默认yes，将调用缓存的数据，速度比较快- result_type:[json,xml,serialize,var_export]返回数据格式，默认为json- lang:[cn,en,ru] 翻译语言，默认cn简体中文- secret:密钥- API:item_search 参数说明：- q:搜索关键字- cat:分类ID- start_price:开始价格- end_price:结束价格- sort:排序[bid,bid,bid2,_bid2,_sale,_credit] (bid:总价,bid2:商品价格,sale:销量,credit信用,加前缀为从大到小排序)- page:页数- page_size:每页宝贝数量，默认40- seller_info:是否获取商家信息[yes,no],默认yes- API:item_get 参数说明: num_iid:宝贝ID
2. 此API目前支持以下基本接口：- item_get 获得淘宝商品详情- item_get_pro 获得淘宝商品详情高级版- item_review 获得淘宝商品评论- item_fee 获得淘宝商品快递费用- item_password 获得淘口令真实url- item_list_updown 批量获得淘宝商品上下架时间- seller_info 获得淘宝店铺详情- item_search 按关键字搜索淘宝商品- item_search_tmall 按关键字搜索天猫商品- item_search_pro 高级关键字搜索淘宝商品- item_search_img 按图搜索淘宝商品（拍立淘）- item_search_shop 获得店铺的所有商品- item_search_seller 搜索店铺列表- item_search_guang 爱逛街- item_search_suggest 获得搜索词推荐- item_search_jupage 天天特价- item_search_coupon 优惠券查询- cat_get 获得淘宝分类详情- item_cat_get 获得淘宝商品类目- item_search_samestyle 搜索同款的商品- item_search_similar 搜索相似的商品- item_sku 获取sku详细信息- item_recommend 获取推荐商品列表- brand_cat 获取品牌分类列表- brand_cat_top 获取分类推荐品牌列表- brand_cat_list 得到指定分类的品牌列表- brand_keyword_list 得到指定关键词的品牌列表- brand_info 得到品牌相关信息- brand_product_list 得到指定品牌的产品- custom 自定义API操作- buyer_cart_add 添加到购物车- buyer_cart_remove 删除购物车商品- buyer_cart_clear 清空购物车- buyer_cart_list 获取购物车的商品列表- buyer_cart_order 将购物车商品保存为订单- buyer_order_list 获取购买到的商品订单列表- buyer_order_detail 获取购买到的商品订单详情- buyer_order_express 获取购买到的商品订单物流- buyer_order_message 获取购买到的订单买家留言- buyer_address_list 收货地址列表- buyer_address_clear 清除收货地址- buyer_address_remove 删除收货地址- buyer_address_modify 修改收货地址- buyer_address_add 添加收货地址- buyer_info 买家信息- buyer_token 买家token- seller_order_list 获取卖出的商品订单列表- seller_order_detail 获取卖出的商品订单详情- seller_order_close 卖家关闭一笔交易- seller_order_message 获取或修改卖出去的订单备注- seller_auction_list 商品可上下架商品列表- seller_auction 商品上下架- seller_item_add 商品上传- upload_img 上传图片到淘宝- img2text 图片识别商品接口- tbk_order_query 淘宝客订单查询- item_list_weight 批量获取商品信息- item_history_price 获取商品历史价格信息- item_get_app 获得淘宝app商品详情原数据

hadoop生态圈

HDFS的主要功能和作用包括：

1、分布式存储：HDFS将大量的数据文件分布式地存储在Hadoop集群中的多个机器上。数据被分割成块并复制到多个节点上，提供了可靠性和容错性，防止数据丢失。

2、高可靠性：HDFS通过数据冗余和复制机制来提供高可靠性。每个数据块都会在多个节点上进行复制，如果一个节点失败，数据仍然可以从其他副本中访问。

3、数据流式访问：HDFS支持以流式方式对大规模数据进行访问。它通过一次传输整个数据块的方式，以提高读写数据的效率。

4、扩展性：HDFS具有良好的可扩展性，可以容纳非常大的数据集。它可以在集群中添加新的机器，以同时扩展存储容量和计算能力。5、数据局部性：HDFS通过尽量将数据存储在离计算节点近的位置来提高数据访问的效率。这样可以减少网络传输的开销，提高数据处理的性能。

HBase:HBase是一种分布式、可扩展的面向列的NoSQL数据库，它基于Hadoop的HDFS和ZooKeeper来提供可靠的、高性能的数据存储和实时读写访问。HBase的功能和作用包括：

1、面向列的存储：HBase采用面向列的存储方式，数据被组织成表，每个表由行和列族组成。这种存储方式使得HBase能够存储和处理非结构化和半结构化的数据。

2、高可扩展性：HBase能够在大规模数据集上进行水平扩展。它可以在大量的服务器节点上进行数据存储和处理，以满足日益增长的数据量和访问需求。

3、高性能的读写访问：HBase的存储引擎使用了基于内存的索引结构（B+树），能够提供高速的读写访问性能。此外，HBase支持数据缓存、批处理操作和并行处理，进一步提高了数据的访问效率。

4、数据一致性：HBase通过ZooKeeper来提供数据的一致性。ZooKeeper是一个分布式协调服务保数据的一致性和可靠性。

5、实时查询：HBase支持基于行键的随机访问和范围扫描，可以快速检索和查询数据。它还支持多版本数据，可以存储和检索历史数据，适用于时间序列数据和实时分析。

6、强一致性：HBase支持强一致性，即对于相同的数据操作请求，返回的结果是一致的。这对于需要保持数据一致性的应用场景非常重要，例如金融和电子商务领域。