聚合国内IT技术精华文章,分享IT技术精华,帮助IT从业人士成长

Apache Pig解析JSON数据

2022-01-05 04:25 浏览: 1588 次 我要评论(0 条) 字号:

JSON

在大数据处理领域,JSON格式的数据非常常见,然而用Apache Pig读取JSON并正确取出其中的字段我觉得并不算方便(在某些情况下很容易写错),所以总结一下几个常见的JSON loader/UDF的用法。

假设有数据文件 1.txt,内容是一行JSON(为了简单,这里以一行为例):

{"items":[{"id":"111","name":"aaa","extra":{"k":"ttt","v":"uuu"}},{"id":"222","name":"bbb","extra":{"k":"rrr","v":"sss"}}]}


为了便于观看,这里把它格式化如下(注意,Pig是按行读取数据,这里格式化只是为了写这篇文章便于展示,实际存储在文件里仍然是一行):

{
    "items": [
        {
            "id""111",
            "name""aaa",
            "extra": {
                "k""ttt",
                "v""uuu"
            }
        },
        {
            "id""222",
            "name""bbb",
            "extra": {
                "k""rrr",
                "v""sss"
            }
        }
    ]
}

我们的目的是正确解析这个JSON。

➤ 来自于Elephant Bird的 com.twitter.elephantbird.pig.piggybank.JsonStringToMap()
其实它不是一个JSON loader而是一个UDF,它的作用是把JSON字符串转成一个map。由于JSON结构中都是key:value形式的数据,所以把JSON字符串转成map之后就可以取出指定字段的内容。
这个UDF对于只有“一层”的JSON非常好用,例如(格式化后)长下面这个样子的JSON:

{
    "id""111",
    "name""aaa"
}

此时,可以像下面这样取到字段 id 及 name 的值:

DEFINE Json2Map com.twitter.elephantbird.pig.piggybank.JsonStringToMap();

A = LOAD '1.txt' AS (jsonStr: chararray);
B = FOREACH A GENERATE Json2Map(jsonStr) AS jsonObj;
C = FOREACH B GENERATE (chararray) jsonObj#'id' AS id, (chararray) jsonObj#'name' AS name;
DUMP C;

在这里,JSON被转成了一个map对象,用 #'id' 的方式可以取出名为 id 的key对应的value。
可见这个UDF在某些场合下用起来很方便,但对本文一开始举例的那种嵌套有多层的JSON就不好处理了。
文章来源:https://www.codelast.com/
➤ Pig内置的 JsonLoader
对付本文开头的那种JSON,我们可以使用Pig内置的 JsonLoader 来加载数据,使用它唯一的坏处就是需要定义JSON的结构:

A = LOAD '1.txt' USING JsonLoader('items: {(id:chararray, name:chararray, extra:(k:chararray, v:chararray))}');
B = FOREACH A GENERATE FLATTEN(items);
C = FOREACH B GENERATE id, name, FLATTEN(extra) AS (k, v);
D = FOREACH C GENERATE id, name, k, v;
DUMP D;

我们仔细看一下本文开头的JSON,它的 items 是一个数组,对应到Pig里就是一个bag(bag里的每个元素是一个tuple),因此用JsonLoader定义JSON的结构时,items 是 items: {()} 这样一种结构。
而JSON中的 extra 字段对应的并不是一个数组,所以它对应到Pig里就是一个tuple,因此在JsonLoader中定义结构时 extra 是 extra:(k:chararray, v:chararray) 这样的形式。
文章来源:https://www.codelast.com/
注意:JsonLoader看似好用,然而这里有一个巨坑——JsonLoader中定义的字段名和JSON字符串中的字段名并不对应,它只跟顺序相关!
例如,你代码这样写:

A = LOAD '1.txt' USING JsonLoader('items: {(id:chararray, invalidField:chararray, extra:(k:chararray, v:chararray))}');
B = FOREACH A GENERATE FLATTEN(items);
C = FOREACH B GENERATE id, invalidField, FLATTEN(extra) AS (k, v);
D = FOREACH C GENERATE id, invalidField, k, v;
DUMP D;

竟然能正确输出:

(111,aaa,ttt,uuu)
(222,bbb,rrr,sss)

在上面的代码中,invalidField 是一个在JSON字符串中根本不存在的字段名,然而它却能被JsonLoader正确识别,那是因为JsonLoader是按字段的顺序来识别的,JSON字符串中的第2个字段 name,被JsonLoader映射到了 invalidField 这个字段上。
也正是因为这个原因,如果你的JSON字符串的各个字段顺序是不恒定的,就不能用这种方法来读取!
并且,在JsonLoader中定义JSON的结构时要非常小心,如果不小心写错了顺序,那么肯定会得到错误的值,例如,你这样写:

A = LOAD '1.txt' USING JsonLoader('items: {(name:chararray, id:chararray, extra:(k:chararray, v:chararray))}');

你以为JsonLoader会自动把JSON字符串中的 id 字段映射到你定义的第二个字段(id:chararray)上吗?根本不会!它会把它映射到 name:chararray 上,因为在JSON字符串中,id 字段是排在第1位的字段,而在JsonLoader中,name:chararray 也是排第1位的字段,因此它俩就映射上了。
所以,如果你有JSON数据的控制权,我建议在生成JSON数据的时候,固定生成字段的顺序。例如,如果是使用 Jackson的ObjectMapper生成JSON,那么可以通过 @JsonPropertyOrder 标注来控制JSON字段的顺序。

最后,这仅仅是一个嵌套层数非常少的JSON,如果层数非常多的话,会导致你代码很难写,这个时候还是用JAVA写Map-Reduce job去处理吧。
文章来源:https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处:codelast.com 
感谢关注我的微信公众号(微信扫一扫):
wechat qrcode of codelast
以及我的微信视频号:



网友评论已有0条评论, 我也要评论

发表评论

*

* (保密)

Ctrl+Enter 快捷回复