【hdfs】【hbase】【大数据技术基础】实践二 HBase Java API编程

实践二 HBase Java API编程

为什么可以写命令还要编写程序？自动化批量处理？

    尽管我们可以通过HBase的shell命令行工具进行数据操作，但在实际的生产环境中，为了提高效率和实现自动化处理，我们通常需要编写程序来与HBase进行交互。

    本实例使用Eclipse编写java程序，来对HBase数据库进行增删改查等操作，Eclipse可以在Ubuntu软件中心搜索下载并安装。

第一步：启动hadoop，启动hbase

    在开始之前，确保你已经安装了Hadoop和HBase，并且它们正在运行。你可以通过以下命令启动它们：

cd /usr/local/hadoop
./sbin/start-dfs.sh
cd /usr/local/hbase
./bin/start-hbase.sh

HBase 命令要在HBase shell中使用：

启动 HBase shell：在命令行中输入以下命令来启动 HBase shell：

hbase shell

    如果 HBase 服务启动成功，你将看到 HBase shell 的提示符，通常是一个光标后面跟着

hbase>

。

HBase命令使用：使用scan ‘Score’，示例：

：因为我们表还没被创建，报错Unknown table Score是正常的。

报错了可能因为少了：ssh localhost

这个命令可不能少！使用SSH登录本地主机，确保HBase Shell可以正常访问。

第二步，新建Java Project——>新建Class

第三步：在工程中导入外部jar包：

首先导入前面的HDFS API相应类包(实践一中导入的)。
然后导入hbase安装目录中的lib文件中的所有jar****包。

下列代码包含了数据库创建、增删改查等一系列操作，需要大家根据需要逐步开放注释，进行分阶段运行。
这里给出一个编程实例,，以下是源代码：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.*;
import java.io.IOException;
public class ExampleForHbase{

public static Configuration configuration;

```
public static Connection connection;
```
```
public static Admin admin;
```

//主函数中的语句请逐句执行，只需删除其前的//即可，如：执行insertRow时**请将其他语句注释**

public static void main(String[] args)throws IOException{

    //创建一个表，表名为Score，列族为sname,course

    createTable("Score",new String[]{"sname","course"});

    //在Score表中插入一条数据，其行键为95001,sname为Mary（因为sname列族下没有子列所以第四个参数为空）

    //等价命令：put 'Score','95001','sname','Mary'

    //insertRow("Score", "95001", "sname", "", "Mary");

    //在Score表中插入一条数据，其行键为95001,course:Math为88（course为列族，Math为course下的子列）

    //等价命令：put 'Score','95001','score:Math','88'

    //insertRow("Score", "95001", "course", "Math", "88");

    //在Score表中插入一条数据，其行键为95001,course:English为85（course为列族，English为course下的子列）

    //等价命令：put 'Score','95001','score:English','85'

    //insertRow("Score", "95001", "course", "English", "85");

    //1、删除Score表中指定列数据，其行键为95001,列族为course，列为Math

    //执行这句代码前请deleteRow方法的定义中，将删除指定列数据的代码取消注释注释，将删除制定列族的代码注释

    //等价命令：delete 'Score','95001','score:Math'

    //deleteRow("Score", "95001", "course", "Math");

    //2、删除Score表中指定列族数据，其行键为95001,列族为course（95001的Math和English的值都会被删除）

    //执行这句代码前请deleteRow方法的定义中，将删除指定列数据的代码注释，将删除制定列族的代码取消注释

    //等价命令：delete 'Score','95001','score'

    //deleteRow("Score", "95001", "course", "");

    //3、删除Score表中指定行数据，其行键为95001

    //执行这句代码前请deleteRow方法的定义中，将删除指定列数据的代码注释，以及将删除制定列族的代码注释

    //等价命令：deleteall 'Score','95001'

    //deleteRow("Score", "95001", "", "");

    //查询Score表中，行键为95001，列族为course，列为Math的值

    //getData("Score", "95001", "course", "Math");

    //查询Score表中，行键为95001，列族为sname的值（因为sname列族下没有子列所以第四个参数为空）

    //getData("Score", "95001", "sname", "");

```
    //删除Score表
```
```
    //deleteTable("Score");
```
```
}
```
```
//建立连接
```
```
public static void init(){
```

    configuration  = HBaseConfiguration.create();

    configuration.set("hbase.rootdir","hdfs://localhost:9000/hbase");

```
    try{
```

        connection= ConnectionFactory.createConnection(configuration);

```
        admin = connection.getAdmin();
```
```
    }catch (IOException e){
```
```
        e.printStackTrace();
```
```
    }
```
```
}
```
```
//关闭连接
```
```
public static void close(){
```
```
    try{
```
```
        if(admin != null){
```
```
            admin.close();
```
```
        }
```
```
        if(null != connection){
```
```
            connection.close();
```
```
        }
```
```
    }catch (IOException e){
```
```
        e.printStackTrace();
```
```
    }
```
```
}
```
```
/**
```

 * 建表。HBase的表中会有一个系统默认的属性作为主键，主键无需自行创建，默认为put命令操作中表名后第一个数据，因此此处无需创建id列

```
 * @param myTableName 表名
```
```
 * @param colFamily 列族名
```
```
 * @throws IOException
```
```
 */
```

public static void createTable(String myTableName,String[] colFamily) throws IOException {

```
    init();
```

    TableName tableName = TableName.valueOf(myTableName);

```
    if(admin.tableExists(tableName)){
```

        System.out.println("talbe is exists!");

```
    }else {
```

        HTableDescriptor hTableDescriptor = new HTableDescriptor(tableName);

```
        for(String str:colFamily){
```

            HColumnDescriptor hColumnDescriptor = new HColumnDescriptor(str);

            hTableDescriptor.addFamily(hColumnDescriptor);

```
        }
```

        admin.createTable(hTableDescriptor);

        System.out.println("create table success");

```
    }
```
```
    close();
```
```
}
```
```
/**
```
```
 * 删除指定表
```
```
 * @param tableName 表名
```
```
 * @throws IOException
```
```
 */
```

public static void deleteTable(String tableName) throws IOException {

```
    init();
```

    TableName tn = TableName.valueOf(tableName);

```
    if (admin.tableExists(tn)) {
```
```
        admin.disableTable(tn);
```
```
        admin.deleteTable(tn);
```
```
    }
```
```
    close();
```
```
}
```
```
/**
```
```
 * 查看已有表
```
```
 * @throws IOException
```
```
 */
```

public static void listTables() throws IOException {

```
    init();
```

    HTableDescriptor hTableDescriptors[] = admin.listTables();

    for(HTableDescriptor hTableDescriptor :hTableDescriptors){

        System.out.println(hTableDescriptor.getNameAsString());

```
    }
```
```
    close();
```
```
}
```
```
/**
```

 * 向某一行的某一列插入数据

```
 * @param tableName 表名
```
```
 * @param rowKey 行键
```
```
 * @param colFamily 列族名
```

 * @param col 列名（如果其列族下没有子列，此参数可为空）

```
 * @param val 值
```
```
 * @throws IOException
```
```
 */
```

public static void insertRow(String tableName,String rowKey,String colFamily,String col,String val) throws IOException {

```
    init();
```

    Table table = connection.getTable(TableName.valueOf(tableName));

    Put put = new Put(rowKey.getBytes());

    put.addColumn(colFamily.getBytes(), col.getBytes(), val.getBytes());

```
    table.put(put);
```
```
    table.close();
```
```
    close();
```
```
}
```
```
/**
```
```
 * 删除数据
```
```
 * @param tableName 表名
```
```
 * @param rowKey 行键
```
```
 * @param colFamily 列族名
```
```
 * @param col 列名
```
```
 * @throws IOException
```
```
 */
```

public static void deleteRow(String tableName,String rowKey,String colFamily,String col) throws IOException {

```
    init();
```

    Table table = connection.getTable(TableName.valueOf(tableName));

    Delete delete = new Delete(rowKey.getBytes());

    //删除指定列族的所有数据

    //delete.addFamily(colFamily.getBytes());

```
    //删除指定列的数据
```

    //delete.addColumn(colFamily.getBytes(), col.getBytes());

这里应该是：

if (col != null && !col.isEmpty()) {

    // 如果有 col 参数传入，则删除指定列

    delete.addColumn(colFamily.getBytes(), col.getBytes());

} else if(colFamily != null && !colFamily.isEmpty()) {

    // 否则，删除指定列族的所有数据

    delete.addFamily(colFamily.getBytes());

}

```
    table.delete(delete);
```
```
    table.close();
```
```
    close();
```
```
}
```
```
/**
```
```
 * 根据行键rowkey查找数据
```
```
 * @param tableName 表名
```
```
 * @param rowKey 行键
```
```
 * @param colFamily 列族名
```
```
 * @param col 列名
```
```
 * @throws IOException
```
```
 */
```

public static void getData(String tableName,String rowKey,String colFamily,String col)throws  IOException{

```
    init();
```

    Table table = connection.getTable(TableName.valueOf(tableName));

    Get get = new Get(rowKey.getBytes());

    get.addColumn(colFamily.getBytes(),col.getBytes());

```
    Result result = table.get(get);
```
```
    showCell(result);
```
```
    table.close();
```
```
    close();
```
```
}
```
```
/**
```
```
 * 格式化输出
```
```
 * @param result
```
```
 */
```

public static void showCell(Result result){

```
    Cell[] cells = result.rawCells();
```
```
    for(Cell cell:cells){
```

        System.out.println("RowName:"+new String(CellUtil.cloneRow(cell))+" ");

        System.out.println("Timetamp:"+cell.getTimestamp()+" ");

        System.out.println("column Family:"+new String(CellUtil.cloneFamily(cell))+" ");

        System.out.println("row Name:"+new String(CellUtil.cloneQualifier(cell))+" ");

        System.out.println("value:"+new String(CellUtil.cloneValue(cell))+" ");

```
    }
```
```
}
```
}

第四步：执行与验证

    每次执行完，都可以****回到********shell********界面查看是否执行成功****，如：执行完插入数据后，在shell界面中执行scan 'Score'。截图如下:

建表：

建表成功~

添加数据：

删除指定列：

删除指定列族：

删除整行数据：

查询Score表中，行键为95001，列族为course，列为Math的值：

查询Score表中，行键为95001，列族为sname的值（因为sname列族下没有子列所以第四个参数为空）：

【遇到的问题】：为什么打印了内存地址而不是值？

【解决方法】：把+" "删除就好了？

标签： hadoop 大数据 hdfs

本文转载自: https://blog.csdn.net/m0_73972962/article/details/143184932
版权归原作者 Kika写代码 所有，如有侵权，请联系我们删除。