本文介绍了java 读写Parquet格式的数据，分享给大家，具体如下：

import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.io.IOException;
import java.util.Random;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.log4j.Logger;
import org.apache.parquet.example.data.Group;
import org.apache.parquet.example.data.GroupFactory;
import org.apache.parquet.example.data.simple.SimpleGroupFactory;
import org.apache.parquet.hadoop.ParquetReader;
import org.apache.parquet.hadoop.ParquetReader.Builder;
import org.apache.parquet.hadoop.ParquetWriter;
import org.apache.parquet.hadoop.example.GroupReadSupport;
import org.apache.parquet.hadoop.example.GroupWriteSupport;
import org.apache.parquet.schema.MessageType;
import org.apache.parquet.schema.MessageTypeParser;

public class ReadParquet {
  static Logger logger=Logger.getLogger(ReadParquet.class);
  public static void main(String[] args) throws Exception {
    
//    parquetWriter("test\\parquet-out2","input.txt");
    parquetReaderV2("test\\parquet-out2");
  }
  
  
  static void parquetReaderV2(String inPath) throws Exception{
    GroupReadSupport readSupport = new GroupReadSupport();
    Builder<Group> reader= ParquetReader.builder(readSupport, new Path(inPath));
    ParquetReader<Group> build=reader.build();
    Group line=null;
    while((line=build.read())!=null){
　　　　　　Group time= line.getGroup("time", 0);
　　　　　　　　//通过下标和字段名称都可以获取
　　　　　　　　/*System.out.println(line.getString(0, 0)+"\t"+
　　　　　　　　line.getString(1, 0)+"\t"+
　　　　　　　　time.getInteger(0, 0)+"\t"+
　　　　　　　　time.getString(1, 0)+"\t");*/
　　　　　　　　System.out.println(line.getString("city", 0)+"\t"+
　　　　　　　　line.getString("ip", 0)+"\t"+
　　　　　　　　time.getInteger("ttl", 0)+"\t"+
　　　　　　　　time.getString("ttl2", 0)+"\t");
　　　　　　　　//System.out.println(line.toString());
    }
    System.out.println("读取结束");
  } 
  //新版本中new ParquetReader()所有构造方法好像都弃用了,用上面的builder去构造对象
  static void parquetReader(String inPath) throws Exception{
    GroupReadSupport readSupport = new GroupReadSupport();
    ParquetReader<Group> reader = new ParquetReader<Group>(new Path(inPath),readSupport);
    Group line=null;
    while((line=reader.read())!=null){
     System.out.println(line.toString());
    }
    System.out.println("读取结束");
    
  }
  /**
   * 
   * @param outPath　　输出Parquet格式
   * @param inPath 输入普通文本文件
   * @throws IOException
   */
  static void parquetWriter(String outPath,String inPath) throws IOException{
    MessageType schema = MessageTypeParser.parseMessageType("message Pair {\n" +
        " required binary city (UTF8);\n" +
        " required binary ip (UTF8);\n" +
        " repeated group time {\n"+
        　　" required int32 ttl;\n"+
        　　 " required binary ttl2;\n"+
        "}\n"+
       "}");
    GroupFactory factory = new SimpleGroupFactory(schema);
    Path path = new Path(outPath);
    Configuration configuration = new Configuration();
    GroupWriteSupport writeSupport = new GroupWriteSupport();
    writeSupport.setSchema(schema,configuration);
    ParquetWriter<Group> writer = new ParquetWriter<Group>(path,configuration,writeSupport);
　　　　//把本地文件读取进去，用来生成parquet格式文件
    BufferedReader br =new BufferedReader(new FileReader(new File(inPath)));
    String line="";
    Random r=new Random();
    while((line=br.readLine())!=null){
      String[] strs=line.split("\\s+");
      if(strs.length==2) {
        Group group = factory.newGroup()
            .append("city",strs[0])
            .append("ip",strs[1]);
        Group tmpG =group.addGroup("time");
        tmpG.append("ttl", r.nextInt(9)+1);
        tmpG.append("ttl2", r.nextInt(9)+"_a");
        writer.write(group);
      }
    }
    System.out.println("write end");
    writer.close();
  }
}

说下schema（写Parquet格式数据需要schema，读取的话"自动识别"了schema）

/*
 * 每一个字段有三个属性：重复数、数据类型和字段名，重复数可以是以下三种：
 *     required(出现1次)
 *     repeated(出现0次或多次) 
 *     optional(出现0次或1次)
 * 每一个字段的数据类型可以分成两种：
 *     group(复杂类型)
 *     primitive(基本类型)
 * 数据类型有
 * INT64, INT32, BOOLEAN, BINARY, FLOAT, DOUBLE, INT96, FIXED_LEN_BYTE_ARRAY
 */

这个repeated和required 不光是次数上的区别，序列化后生成的数据类型也不同，比如repeqted修饰 ttl2 打印出来为 WrappedArray([7,7_a]) 而 required修饰 ttl2 打印出来为 [7,7_a]　　除了用MessageTypeParser.parseMessageType类生成MessageType 还可以用下面方法

（注意这里有个坑--spark里会有这个问题--ttl2这里 as(OriginalType.UTF8) 和 required binary city (UTF8)作用一样，加上UTF8，在读取的时候可以转为StringType，不加的话会报错 [B cannot be cast to java.lang.String  ）

/*MessageType schema = MessageTypeParser.parseMessageType("message Pair {\n" +
        " required binary city (UTF8);\n" +
        " required binary ip (UTF8);\n" +
        "repeated group time {\n"+
        "required int32 ttl;\n"+
        "required binary ttl2;\n"+
        "}\n"+
        "}");*/
    
//import org.apache.parquet.schema.Types;
MessageType schema = Types.buildMessage() 
      .required(PrimitiveTypeName.BINARY).as(OriginalType.UTF8).named("city") 
      .required(PrimitiveTypeName.BINARY).as(OriginalType.UTF8).named("ip") 
      .repeatedGroup().required(PrimitiveTypeName.INT32).named("ttl")
              .required(PrimitiveTypeName.BINARY).as(OriginalType.UTF8).named("ttl2")
              .named("time")
     .named("Pair"); 

解决 [B cannot be cast to java.lang.String 异常：

1.要么生成parquet文件的时候加个UTF8
2.要么读取的时候再提供一个同样的schema类指定该字段类型，比如下面:

maven依赖（我用的1.7）

<dependency>
  <groupId>org.apache.parquet</groupId>
  <artifactId>parquet-hadoop</artifactId>
  <version>1.7.0</version>
</dependency>

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。

# java读写parquet文件  # java  # parquet  # 读写  # java写parquet文件  # java 序列化对象 serializable 读写数据的实例  # Java基于字符流形式读写数据的两种实现方法示例  # Java操作IO对象流进行数据的读写  # Java如何利用Socket进行数据读写  # 详解Java编写算法时如何加快读写数据速度  # 打印出来  # 会有  # 有个  # 两种  # 可以用  # 这个问题  # 我用  # 用了  # 自动识别  # 给大家  # 三种  # 报错  # 不加  # 新版本  # 大家多多  # 文本文件  # 再提  # 字段名  # 序列化  # logger 

相关栏目： 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571 】

相关推荐： 详解一款开源免费的.NET文档操作组件DocX（.NET组件介绍之一）  Laravel控制器是什么_Laravel MVC架构中Controller的作用与实践  详解jQuery中基本的动画方法  Laravel如何使用Eloquent ORM进行数据库操作？（CRUD示例）  laravel怎么使用数据库工厂（Factory）生成带有关联模型的数据_laravel Factory生成关联数据方法  魔毅自助建站系统：模板定制与SEO优化一键生成指南  微信小程序 配置文件详细介绍  怎么用AI帮你设计一套个性化的手机App图标？  企业网站制作这些问题要关注  如何在 React 中条件性地遍历数组并渲染元素  如何在阿里云完成域名注册与建站？  微信推文制作网站有哪些,怎么做微信推文，急？  Laravel如何生成API文档？（Swagger/OpenAPI教程）  如何快速上传建站程序避免常见错误？  如何快速登录WAP自助建站平台？  如何使用 Go 正则表达式精准提取括号内首个纯字母标识符（忽略数字与嵌套）  Python制作简易注册登录系统  Win11任务栏卡死怎么办 Windows11任务栏无反应解决方法【教程】  如何用AI帮你把自己的生活经历写成一个有趣的故事？  Python自动化办公教程_ExcelWordPDF批量处理案例  Laravel如何使用Passport实现OAuth2？（完整配置步骤）  laravel怎么用DB facade执行原生SQL查询_laravel DB facade原生SQL执行方法  如何在香港服务器上快速搭建免备案网站？  零服务器AI建站解决方案：快速部署与云端平台低成本实践  Edge浏览器怎么启用睡眠标签页_节省电脑内存占用优化技巧  如何确保FTP站点访问权限与数据传输安全？  图册素材网站设计制作软件,图册的导出方式有几种？  网站图片在线制作软件,怎么在图片上做链接？  Laravel如何创建自定义Artisan命令？（代码示例）  ,南京靠谱的征婚网站？  如何在IIS7中新建站点？详细步骤解析  Laravel辅助函数有哪些_Laravel Helpers常用助手函数大全  Laravel怎么实现API接口鉴权_Laravel Sanctum令牌生成与请求验证【教程】  如何制作新型网站程序文件,新型止水鱼鳞网要拆除吗？  lovemo网页版地址 lovemo官网手机登录  ChatGPT常用指令模板大全 新手快速上手的万能Prompt合集  Laravel Eloquent访问器与修改器是什么_Laravel Accessors & Mutators数据处理技巧  如何快速搭建高效WAP手机网站？  利用 Google AI 进行 YouTube 视频 SEO 描述优化  免费制作统计图的网站有哪些,如何看待现如今年轻人买房难的情况？  清除minerd进程的简单方法  Laravel Octane如何提升性能_使用Laravel Octane加速你的应用  如何注册花生壳免费域名并搭建个人网站？  Laravel如何实现API版本控制_Laravel API版本化路由设计策略  微信小程序 require机制详解及实例代码  Laravel如何获取当前用户信息_Laravel Auth门面获取用户ID  Laravel事件和监听器如何实现_Laravel Events & Listeners解耦应用的实战教程  C语言设计一个闪闪的圣诞树  Midjourney怎样加参数调细节_Midjourney参数调整技巧【指南】  实例解析Array和String方法