当前位置: 代码迷 >> 综合 >> [J is not a valid external type for schema of bigint
  详细解决方案

[J is not a valid external type for schema of bigint

热度:10   发布时间:2023-12-25 21:00:46.0

问题:

起源:在spark任务中,在将TFrecord的数据写入到Hive表中时,使用Datafram读取数据,解析,转化,得到DataFram[Row],再与Schema匹配,写入到Hive表中,打印Datafram的Schema,发现没有问题,但程序一直写不进去,报错,

在解析数据写入到hive表时,出现

 [J is not a valid external type for schema of bigint

可以看到是数据类型不匹配导致的异常,但是 [J数据类型是怎样的?表中的字段近乎1000个,如何排查是由于那个数据类型不一致导致的?

解决:

一定是由于数据类型不匹配导致的异常,
1、排查在datafram中Row的数据和Schema中定义的字段名,类型是否可以匹配,一般是由于不匹配导致的异常。

可以采用打印一行Row,看数据是如何的?

发现是给Row中某个字段解析出来的类型是array <bigint>,
在Schema中定义的是bigint,
在Hive表中定义的是bigint,

定义的类型和hive表的字段的类型不一致,(在Schema与Datafram匹配的时候不会报错,),导致数据写不到hive表中,[J显示的是某个字段的Hash,我这里是
[J@6a5f9cdb,分析该字段应该是array《bigint》类型,
[L@*********,array《float》但定义时时int类型,导致错误

  相关解决方案