0
0

hadoop技术实验- 第4章 HBase 开发：使用Java操作HBase

相关知识

为了完成本关任务，你需要掌握：1.如何使用Java连接HBase数据库，2.如何使用Java代码在HBase中创建表。

如何使用Java连接HBase数据库
Java连接HBase需要两个类：

HBaseConfiguration
ConnectionFactory
HBaseConfiguration
要连接HBase我们首先需要创建Configuration对象，这个对象我们需要通过HBaseConfiguration（HBase配置）对象来进行创建，HBaseConfiguration看名字我们就能猜到它的用途：读取指定路径下hbase-site.xml和hbase-default.xml的配置信息。

具体用法：

Configuration config = HBaseConfiguration.create(); //使用create()静态方法就可以得到Configuration对象
ConnectionFactory
获取到连接对象Connextion我们就算连接上了HBase了，怎么获取呢？

通过ConnectionFactory（连接工厂）的方法我们就能获取到Connection（连接对象）了。

具体用法：

Connection connection = ConnectionFactory.createConnection(config); //config为前文的配置对象
使用这两个步骤就能完成连接HBase了。

注意：在1.0之前的版本HBase是使用HBaseAdmin和HTable等来操作HBase的，但是在1.0之后的版本中这些被弃用了，新的客户端API更加干净简洁，本文使用的HBase是2.1.1版本（18年10月发布）的，

创建表
要创建表我们需要首先创建一个Admin对象，然后让它来创建一张表：

  1. Admin admin = connection.getAdmin(); //使用连接对象获取Admin对象
  2. TableName tableName = TableName.valueOf("test");//定义表名
  3. HTableDescriptor htd = new HTableDescriptor(tableName);//定义表对象
  4. HColumnDescriptor hcd = new HColumnDescriptor("data");//定义列族对象
  5. htd.addFamily(hcd); //添加
  6. admin.createTable(htd);//创建表

HBase2.X创建表
上述创建表的方法是HBase1.X版本的方式，而在HBase2.X的版本中创建表使用了新的API，创建表关键代码如下：

TableName tableName = TableName.valueOf("test");//定义表名
//TableDescriptor对象通过TableDescriptorBuilder构建；
TableDescriptorBuilder tableDescriptor = TableDescriptorBuilder.newBuilder(tableName);
ColumnFamilyDescriptor family = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("data")).build();//构建列族对象
tableDescriptor.setColumnFamily(family);//设置列族
admin.createTable(tableDescriptor.build());//创建表
在2.X版本中主要是HTableDescriptor对象被弃用，取而代之的是TableDescriptor对象，TableDescriptor对象通过TableDescriptorBuilder构建；

TableName tableName = TableName.valueOf("test");
TableDescriptorBuilder tableDescriptor = TableDescriptorBuilder.newBuilder(tableName);
然后添加列簇方法变更：

ColumnFamilyDescriptor family = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("data")).build();//构建列族对象
tableDescriptor.setColumnFamily(family); //设置列族
最后由Admin对象进行创建表操作：

admin.createTable(tableDescriptor.build());
值得咱们注意的是，如果你的HBase环境是1.X的那么你只能使用第一种方式来创建表，如果是2.X的版本，那么两种方式你都可以使用（本实训使用的 HBase是2.1.1版本，所以两种都可用）。

编程要求

使用本关知识，在右侧编辑器begin-end处补充代码，请你编写一个Java程序，在HBase中创建表tb_step2,列簇都为：data，添加数据：

行号分别为：row1，row2；
列名分别为：1，2；
值分别为：张三丰，张无忌。

代码编写
  1. package step2;
  3. import java.io.IOException;
  4. import org.apache.hadoop.conf.Configuration;
  5. import org.apache.hadoop.hbase.HBaseConfiguration;
  6. import org.apache.hadoop.hbase.HColumnDescriptor;
  7. import org.apache.hadoop.hbase.HTableDescriptor;
  8. import org.apache.hadoop.hbase.TableName;
  9. import org.apache.hadoop.hbase.client.Admin;
  10. import org.apache.hadoop.hbase.client.ColumnFamilyDescriptor;
  11. import org.apache.hadoop.hbase.client.ColumnFamilyDescriptorBuilder;
  12. import org.apache.hadoop.hbase.client.Connection;
  13. import org.apache.hadoop.hbase.client.ConnectionFactory;
  14. import org.apache.hadoop.hbase.client.Get;
  15. import org.apache.hadoop.hbase.client.Put;
  16. import org.apache.hadoop.hbase.client.Result;
  17. import org.apache.hadoop.hbase.client.ResultScanner;
  18. import org.apache.hadoop.hbase.client.Scan;
  19. import org.apache.hadoop.hbase.client.Table;
  20. import org.apache.hadoop.hbase.client.TableDescriptor;
  21. import org.apache.hadoop.hbase.client.TableDescriptorBuilder;
  22. import org.apache.hadoop.hbase.util.Bytes;
  24. public class Task {
  26.     public void insertInfo()throws Exception{
  27.         /********* Begin *********/
  28.         Configuration config = HBaseConfiguration.create(); //使用create()静态方法就可以得到Configuration对象
  29.         Connection connection = ConnectionFactory.createConnection(config); //config为前文的配置对象
  31.         Admin admin = connection.getAdmin(); //使用连接对象获取Admin对象
  32.         TableName tableName = TableName.valueOf("tb_step2");//定义表名
  33. //TableDescriptor对象通过TableDescriptorBuilder构建；
  34.         TableDescriptorBuilder tableDescriptor = TableDescriptorBuilder.newBuilder(tableName);
  35.         ColumnFamilyDescriptor family = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("data")).build();//构建列族对象
  36.         tableDescriptor.setColumnFamily(family);//设置列族
  37.         admin.createTable(tableDescriptor.build());//创建表
  39.         Table table = connection.getTable(tableName);//获取Table对象
  40.         try {
  41.             byte[] row = Bytes.toBytes("row1");    //定义行
  42.             Put put = new Put(row);                //创建Put对象
  43.             byte[] columnFamily = Bytes.toBytes("data");    //列簇
  44.             byte[] qualifier = Bytes.toBytes(String.valueOf(1)); //列
  45.             byte[] value = Bytes.toBytes("张三丰");    //值
  46.             put.addColumn(columnFamily, qualifier, value);
  47.             table.put(put);        //向表中添加数据
  49.             row = Bytes.toBytes("row2");    //定义行
  50.             put = new Put(row);                //创建Put对象
  51.             columnFamily = Bytes.toBytes("data");    //列簇
  52.             qualifier = Bytes.toBytes(String.valueOf(2)); //列
  53.             value = Bytes.toBytes("张无忌");    //值
  54.             put.addColumn(columnFamily, qualifier, value);
  55.             table.put(put);        //向表中添加数据
  56.         } finally {
  57.             //使用完了要释放资源
  58.             table.close();
  59.         }
  61.         /********* End *********/
  62.     }
  63. }

第3关：获取数据

任务描述

本关任务：获取HBase中已存在表的数据并输出。

相关知识

为了完成本关任务，你需要掌握：1.如何使用Get对象获取数据，2.如何使用Scan批量输出表中的数据。

获取指定行的数据

我们使用Get对象与Table对象就可以获取到表中的数据了。

  1. //获取数据
  2. Get get = new Get(Bytes.toBytes("row1"));    //定义get对象
  3. Result result = table.get(get);            //通过table对象获取数据
  4. System.out.println("Result: " + result);
  5. //很多时候我们只需要获取“值” 这里表示获取 data:1 列族的值
  6. byte[] valueBytes = result.getValue(Bytes.toBytes("data"), Bytes.toBytes("1")); //获取到的是字节数组
  7. //将字节转成字符串
  8. String valueStr = new String(valueBytes,"utf-8");
  9. System.out.println("value:" + valueStr);
扫描表中的数据

只获取一行数据显然不能满足我们全部的需求，我们想要获取表中所有的数据应该怎么操作呢？

Scan、ResultScanner对象就派上用场了，接下来我们看个示例你应该就明白这两个对象的用法了：
  1. Scan scan = new Scan();
  2. ResultScanner scanner = table.getScanner(scan);
  3. try {
  4.     for (Result scannerResult: scanner) {
  5.         System.out.println("Scan: " + scannerResult);
  6.          byte[] row = scannerResult.getRow();
  7.          System.out.println("rowName:" + new String(row,"utf-8"));
  8.     }
  9. } finally {
  10.     scanner.close();
  11. }

这样就能将指定表中的数据全部输出到控制台了

编程要求

使用本关知识，在右侧编辑器begin-end处补充代码，输出t_step3表中行号为row1，列族为data:1的值（以utf-8编码），输出table_step3表中所有行的行名称（因为直接输出scannerResult会带有时间戳，所以输出行名方便测评）

  1. package step3;
  3. import java.io.IOException;
  4. import org.apache.hadoop.conf.Configuration;
  5. import org.apache.hadoop.hbase.HBaseConfiguration;
  6. import org.apache.hadoop.hbase.HColumnDescriptor;
  7. import org.apache.hadoop.hbase.HTableDescriptor;
  8. import org.apache.hadoop.hbase.TableName;
  9. import org.apache.hadoop.hbase.client.Admin;
  10. import org.apache.hadoop.hbase.client.ColumnFamilyDescriptor;
  11. import org.apache.hadoop.hbase.client.ColumnFamilyDescriptorBuilder;
  12. import org.apache.hadoop.hbase.client.Connection;
  13. import org.apache.hadoop.hbase.client.ConnectionFactory;
  14. import org.apache.hadoop.hbase.client.Get;
  15. import org.apache.hadoop.hbase.client.Put;
  16. import org.apache.hadoop.hbase.client.Result;
  17. import org.apache.hadoop.hbase.client.ResultScanner;
  18. import org.apache.hadoop.hbase.client.Scan;
  19. import org.apache.hadoop.hbase.client.Table;
  20. import org.apache.hadoop.hbase.client.TableDescriptor;
  21. import org.apache.hadoop.hbase.client.TableDescriptorBuilder;
  22. import org.apache.hadoop.hbase.util.Bytes;
  24. public class Task {
  26.     public void queryTableInfo()throws Exception{
  28.         /********* Begin *********/
  29.          Configuration config = HBaseConfiguration.create(); //使用create()静态方法就可以得到Configuration对象
  30.         Connection connection = ConnectionFactory.createConnection(config); //config为前文的配置对象
  32.         Admin admin = connection.getAdmin(); //使用连接对象获取Admin对象
  33.         TableName tableName = TableName.valueOf("t_step3");//定义表名
  35.         Table table = connection.getTable(tableName);//获取Table对象
  37.         Get get = new Get(Bytes.toBytes("row1"));    //定义get对象
  38.         Result result = table.get(get);            //通过table对象获取数据
  39.         // System.out.println("Result: " + result);
  40.         //很多时候我们只需要获取“值” 这里表示获取 data:1 列族的值
  41.         byte[] valueBytes = result.getValue(Bytes.toBytes("data"), Bytes.toBytes("1")); //获取到的是字节数组
  42.         //将字节转成字符串
  43.         String valueStr = new String(valueBytes,"utf-8");
  44.         System.out.println("value:" + valueStr);
  46.         /**
  47.             这里是批量显示，换表了
  48.         */
  49.         tableName = TableName.valueOf("table_step3");//定义表名
  50.         table = connection.getTable(tableName);//获取Table对象
  52.         Scan scan = new Scan();
  53.         ResultScanner scanner = table.getScanner(scan);
  54.         try {
  55.             for (Result scannerResult: scanner) {
  56.                 // System.out.println("Scan: " + scannerResult);
  57.                 byte[] row = scannerResult.getRow();
  58.                 System.out.println("rowName:" + new String(row,"utf-8"));
  59.             }
  60.         } finally {
  62.             scanner.close();
  63.                        
  64.             } 
  66.         
  67.         
  68.         
  69.         /********* End *********/
  70.     }
  71.     
  72. }

第4关：删除表

任务描述

本关任务：删除表。

相关知识

本次关卡我们来学习本次实训最后一个内容，删除表。

和HBase shell的操作一样，在Java中我们要删除表，需要先禁用他，然后在删除它。

代码很简单：

  1. TableName tableName = TableName.valueOf("test");
  2. admin.disableTable(tableName);    //禁用表
  3. admin.deleteTable(tableName);    //删除表

代码

  1. package step4;
  3. import java.io.IOException;
  4. import org.apache.hadoop.conf.Configuration;
  5. import org.apache.hadoop.hbase.HBaseConfiguration;
  6. import org.apache.hadoop.hbase.HColumnDescriptor;
  7. import org.apache.hadoop.hbase.HTableDescriptor;
  8. import org.apache.hadoop.hbase.TableName;
  9. import org.apache.hadoop.hbase.client.Admin;
  10. import org.apache.hadoop.hbase.client.ColumnFamilyDescriptor;
  11. import org.apache.hadoop.hbase.client.ColumnFamilyDescriptorBuilder;
  12. import org.apache.hadoop.hbase.client.Connection;
  13. import org.apache.hadoop.hbase.client.ConnectionFactory;
  14. import org.apache.hadoop.hbase.client.Get;
  15. import org.apache.hadoop.hbase.client.Put;
  16. import org.apache.hadoop.hbase.client.Result;
  17. import org.apache.hadoop.hbase.client.ResultScanner;
  18. import org.apache.hadoop.hbase.client.Scan;
  19. import org.apache.hadoop.hbase.client.Table;
  20. import org.apache.hadoop.hbase.client.TableDescriptor;
  21. import org.apache.hadoop.hbase.client.TableDescriptorBuilder;
  22. import org.apache.hadoop.hbase.util.Bytes;
  24. public class Task {
  25.     
  26.     
  27.     public void deleteTable()throws Exception{
  28.         /********* Begin *********/
  29.          Configuration config = HBaseConfiguration.create(); //使用create()静态方法就可以得到Configuration对象
  30.         Connection connection = ConnectionFactory.createConnection(config); //config为前文的配置对象
  31.         Admin admin = connection.getAdmin(); //使用连接对象获取Admin对象
  33.         TableName tableName = TableName.valueOf("t_step4");
  34.         admin.disableTable(tableName);    //禁用表
  35.         admin.deleteTable(tableName);    //删除表
  36.         
  37.         
  38.         /********* End *********/
  39.     }
  40. }
标签： hadoop hbase java
本文转载自: https://blog.csdn.net/ZZhYasuo/article/details/143595960
版权归原作者 ZZhYasuo 所有， 如有侵权，请联系我们删除。
登录后发布评论

“hadoop技术实验- 第4章 HBase 开发：使用Java操作HBase”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？

文章导航
没有找到文章内容分段。。。