Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
运行 Sqoop 导入和导出时如何找到最佳映射器数量?
我正在使用 Sqoop 版本 1 4 2 和 Oracle 数据库 运行 Sqoop 命令时 例如这样 sqoop import fs
Oracle
Hadoop
MapReduce
HDFS
SQOOP
Hadoop Windows 设置。运行 WordCountJob 时出错:“任何本地目录中都没有可用空间”
我正在按照此视频教程尝试在我的计算机上设置 hadoop 如何在 Windows 10 上安装 Hadoop https www youtube com watch v zujpglKP0Nw 我已经成功设置它 从 sbin 目录执行 st
Windows
Hadoop
Hadoop2
Spark on Hive SQL 查询错误 NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT
针对 Hive 2 1 0 提交 Spark 1 6 0 SQL 应用程序时出现错误 Exception in thread main java lang NoSuchFieldError HIVE STATS JDBC TIMEOUT a
Hadoop
apachespark
hive
apachesparksql
Hadoop 上的 Sqoop:NoSuchMethodError:com.google.common.base.Stopwatch.createStarted() [重复]
这个问题在这里已经有答案了 我在 Google Cloud DataProc 上的 hadoop 上运行 sqoop 以通过 Cloud SQL 代理访问 postgresql 但遇到 Java 依赖项错误 INFO First Cloud
postgresql
Hadoop
SQOOP
googleclouddataproc
Sqoop 导出分区的 Hive 表
我在尝试导出分区的 Hive 表时遇到了一些问题 这是否完全受支持 我尝试用谷歌搜索并找到一张 JIRA 票证 sqoop export connect jdbc mysql localhost testdb table sales exp
Hadoop
hive
SQOOP
如何直接将一个mapper-reducer的输出发送到另一个mapper-reducer而不将输出保存到hdfs中
问题最终解决检查底部的我的解决方案 最近 我尝试运行 Mahout in Action 的第 6 章 列表 6 1 6 4 中的推荐示例 但我遇到了一个问题 我用谷歌搜索但找不到解决方案 问题是 我有一对映射器减速器 public fina
Hadoop
mahout
无法验证 serde:org.openx.data.jsonserde.jsonserde
我编写了这个查询来在配置单元上创建一个表 我的数据最初是 json 格式 所以我已经下载并构建了 serde 并添加了它运行所需的所有 jar 但我收到以下错误 FAILED Execution Error return code 1 fr
Java
json
Hadoop
hive
如何找到 JAR:/home/hadoop/contrib/streaming/hadoop-streaming.jar
我正在练习有关 Amazon EMR 的复数视角视频教程 我被困住了 因为我收到此错误而无法继续 Not a valid JAR home hadoop contrib streaming hadoop streaming jar 请注意
Java
python
Hadoop
amazonwebservices
EMR
如何按行扩展数组值!!使用 Hive SQL
我有一个有 4 列的表 其中一列 项目 类型是 ARRAY 其他是字符串 ID items name loc id1 item1 item2 item3 item4 item5 Mike CT id2 item3 item7 item4 i
Hadoop
hive
java.io.IOException: EnsureRemaining: 仅剩余 0 个字节,尝试读取 1
我在 giraph 中的自定义类方面遇到一些问题 我制作了 VertexInput 和 Output 格式 但总是收到以下错误 java io IOException ensureRemaining Only bytes remaining
Java
Hadoop
hadoopyarn
IOException
giraph
使用字符串数组在 Hive 表上加载 CSV 文件
我正在尝试将 CSV 文件插入 Hive 其中一个字段是 string 数组 这是 CSV 文件 48 Snacks that Power Up Weight Loss Aidan B Prince Health Fitness Trave
csv
Hadoop
hive
hive 添加分区语句忽略前导零
我在 hdfs 上有文件夹 user test year 2016 month 04 dt 25 000000 0 需要将上面的分区路径添加到test table 命令 ALTER TABLE test ADD IF NOT EXISTS
Hadoop
hive
hadoopyarn
hivepartitions
HiveDDL
从 HDFS 传出文件
我想将文件从 HDFS 传输到另一台服务器的本地文件系统 该服务器不在 hadoop 集群中 而是在网络中 我本可以这样做 hadoop fs copyToLocal
Hadoop
HDFS
datatransfer
java.lang.ClassNotFoundException:找不到类 org.apache.hadoop.fs.azurebfs.SecureAzureBlobFileSystem
我是 Spark 和 Kubernetes 世界的新手 我使用 docker image tool sh 实用程序使用与 Hadoop 3 2 捆绑在一起的官方 Spark 3 0 1 构建了 Spark docker 映像 我还为 Jup
Java
apachespark
Hadoop
Kubernetes
azuredatalakegen2
从 Spark 访问 Hdfs 会出现令牌缓存错误 Can't get Master Kerberosprincipal for use as renewer
我正在尝试运行测试 Spark 脚本 以便将 Spark 连接到 hadoop 脚本如下 from pyspark import SparkContext sc SparkContext local Simple App file sc t
authentication
Hadoop
kerberos
apachespark
Apache hadoop 版本 2.0 与 0.23
Hadoop 的版本和发行版太多 让我很困惑 我有几个问题 Apache Hadoop 1 x 是从 0 20 205 开始的 Apache Hadoop 2 0 是从 0 22 还是 0 23 开始 根据这个blogpost http b
Hadoop
Hadoop NoSuchMethodError apache.commons.cli
我在用着hadoop 2 7 2我用 IntelliJ 做了一个 MapReduce 工作 在我的工作中 我正在使用apache commons cli 1 3 1我把库放在罐子里 当我在 Hadoop 集群上使用 MapReduceJob
Java
Hadoop
NoSuchMethodError
apachecommonscli
Spark 和 Python 使用自定义文件格式/生成器作为 RDD 的输入
我想问一下 Spark 中输入的可能性 我可以看到从http spark apache org docs latest programming guide html http spark apache org docs latest pro
python
Hadoop
apachespark
Talend 和 Apache Spark?
我对 Talend 和 Apache Spark 在大数据生态系统中的定位感到困惑 因为 Apache Spark 和 Talend 都可以用于 ETL 有人可以用一个例子解释一下吗 Talend 是一种基于工具的大数据方法 通过内置组件支
Hadoop
apachespark
ETL
talend
dataintegration
无法在 Hadoop Map-Reduce 作业中加载 OpenNLP 句子模型
我正在尝试将 OpenNLP 集成到 Hadoop 上的 Map Reduce 作业中 从一些基本的句子分割开始 在地图函数中 运行以下代码 public AnalysisFile analyze String content InputS
Hadoop
MapReduce
opennlp
«
1
2
3
4
5
6
...100
»