超人学院Hadoop,Hadoop,吴超,Hadoop网络培训,hadoop网络学院,最好hadoop培训机构,Hadoop远程培训,Hadoop免费视频下载,Hadoop学院,吴超Hadoop视频,大数据,云计算

查看: 362|回复: 3

请问RDD:Map[String,String]怎么提取出String的对象来啊?

[复制链接]

56

主题

153

帖子

668

积分

机器学习第2期

积分
668
发表于 2016-7-20 14:06:51 | 显示全部楼层 |阅读模式
比如说有个line: RDD:Map[String,String]的类型,我该怎么做才能得到line.map(_._1)的值,和另一个普通字符串类型的对象String做equals的操作呢。。?

回复

使用道具 举报

56

主题

153

帖子

668

积分

机器学习第2期

积分
668
 楼主| 发表于 2016-7-20 14:30:08 | 显示全部楼层
还有老师我想问一下Spark怎么实现Hadoop中的Partitioner<Text, Text>的功能,就是根据k2,v2的值return不同的数值,最后根据不同的文件名存储在HDFS上?
回复 支持 反对

使用道具 举报

1

主题

4

帖子

17

积分

普通会员班

积分
17
发表于 2016-7-24 16:57:56 | 显示全部楼层
val listword
line.map(x => listWord :: x )

再for 迭代listWord
回复 支持 反对

使用道具 举报

1

主题

842

帖子

2157

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
2157
发表于 2016-7-25 11:28:26 | 显示全部楼层
对结果集进行遍历即可取到k,v的值,实现类似Partitioner功能也可以通过这种方法,一般用map函数,逻辑写在向map传递的实现中
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐 上一条 /4 下一条

QQ|Archiver|手机版|小黑屋|超人学院  

Copyright 2013 最新最精彩-社区论坛 版权所有 All Rights Reserved.

Powered by Discuz! X3.1 Copyright © 2001-2013 Comsenz Inc.    All Rights Reserved.

快速回复 返回顶部 返回列表