在地图类型中创建 DataFrame 分组列

My 数据框具有以下结构：

df = spark.createDataFrame(
    [('B', 'a', 10),
     ('B', 'b', 20),
     ('C', 'c', 30)],
    ['Brand', 'Type', 'Amount'])
df.show()
# +-----+----+------+
# |Brand|Type|Amount|
# +-----+----+------+
# |    B|   a|    10|
# |    B|   b|    20|
# |    C|   c|    30|
# +-----+----+------+

我想通过分组来减少行数type and amount成一列type: Map. So Brand将是独一无二的并且MAP_type_AMOUNT将会有key,value对于每个type amount组合。

我认为，spark.sql 可能有一些函数可以做到这一点，或者我是否必须使用 RDD 并进行“自己的”转换为映射类型？

预期产出:

---------------------------
| Brand | MAP_type_AMOUNT |
---------------------------
|  B    |  {a: 10, b:20}  |
|  C    |  {c: 30}        |
---------------------------

略有改善Prem's https://stackoverflow.com/questions/45532183/pyspark-create-dataframe-grouping-columns-in-map-type-structure/45535762#45535762回答（抱歉我还不能发表评论）

Use func.create_map代替func.struct. See 文档 https://spark.apache.org/docs/latest/api/python/pyspark.sql.html?highlight=map#pyspark.sql.functions.create_map

import pyspark.sql.functions as func
df = sc.parallelize([('B','a',10),('B','b',20),
('C','c',30)]).toDF(['Brand','Type','Amount'])

df_converted = df.groupBy("Brand").\
    agg(func.collect_list(func.create_map(func.col("Type"),
    func.col("Amount"))).alias("MAP_type_AMOUNT"))

print df_converted.collect()

Output:

[Row(Brand=u'B', MAP_type_AMOUNT=[{u'a': 10}, {u'b': 20}]),
 Row(Brand=u'C', MAP_type_AMOUNT=[{u'c': 30}])]