Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
Azure 数据工厂 - 从 Data Lake Gen 2 JSON 文件中提取信息
我有一个 ADF 管道 将原始日志数据作为 JSON 文件加载到 Data Lake Gen 2 容器中 我们现在想要从这些 JSON 文件中提取信息 我正在尝试找到从所述文件中获取信息的最佳方法 我发现 Azure Data Lake A
json
azuredatafactory
azuredatalake
azuredatalakegen2
Azure 数据工厂 V2 中的 LeaseAlreadyPresent 错误
我在管道中收到以下错误使用 Rest API 复制活动作为来源和Azure 数据湖存储第 2 代作为水槽 message 失败发生在 Sink 端 ErrorCode AdlsGen2OperationFailed Type Microso
azuredatalake
azuredatafactory
azureblobstorage
从 ADLS2 传输到计算目标的速度非常慢 Azure 机器学习
在计算目标上执行训练脚本期间 我们尝试从 ADLS2 数据存储区下载已注册的数据集 问题是需要hours使用以下方法将 1 5Gb 分成 8500 个文件 下载到计算目标 from azureml core import Datastore
如何在 USQL UDO 中记录某些内容?
我有自定义提取器 我正在尝试从中记录一些消息 我尝试过明显的事情 例如Console WriteLine 但找不到输出在哪里 但是我发现有一些系统日志adl
azuredatalake
usql
如何使用 Azure Data Lake Store 作为 Azure ML 的输入数据集?
我正在将数据移至 Azure Data Lake Store 并使用 Azure Data Lake Analytics 进行处理 数据是XML形式的 我正在阅读它XML提取器 https github com Azure usql tre
azuremachinelearningservice
azuredatalake
Azure Data Lake Store 的一致性
Azure Data Lake Store 的一致性保证是什么 有人找到描述它的技术文档吗 我特别感兴趣的是目录移动是否是原子的 目录列表是否一致以及文件写入后读取是否一致 在 Azure Data Lake Store 中 文件具有写后读
Consistency
azuredatalake
流分析作业 -> 数据湖输出
我想使用 StreamAnalytics 作业设置 CI CD ARM 模板 并将输出设置为 DataLake Store https learn microsoft com en us azure templates microsoft
Azure
azuredatalake
azurestreamanalytics
数据湖分析 U-SQL 提取速度(本地与 Azure)
一直在研究使用 Azure Data Lake Analytics 功能来尝试操作我存储在 Azure Blob 存储中的一些 Gzip 处理的 xml 数据 但我遇到了一个有趣的问题 本质上 当在本地使用 U SQL 处理 500 个 x
Azure
azureblobstorage
azuredatalake
usql
从 U-SQL 表加载数据时优化器内部错误
有没有办法解决这个错误 CQO 内部错误 优化器内部错误 断言 a drgcidChild gt CLength UlSafeCLength popMS gt Pdrgcid 在 rlstreamset cpp 499 从分区 U SQL
azuredatalake
usql
在U-SQL中解析json文件
我正在尝试使用 USQL 解析下面的 Json 文件 但不断收到错误 Json file dimBetType SKey 1 BetType BKey 1 BetTypeName Test1 dimBetType SKey 2 BetTyp
json
Azure
azuredatafactory
azuredatalake
usql
将 CSV 从 Azure Data Lake(第 2 代)加载到 Azure SQL 数据库
我有一个包含多个容器的 Azure Data Lake Storage 第 2 代 帐户 我想导入salesorderdetail csv文件从 Sales 容器复制到 Azure SQL 数据库中 我已经使用 Azure 数据工厂成功构建
将 Azure 事件中心与 Data Lake Store 连接
将数据从事件中心发送到 Data Lake Store 的最佳方式是什么 我假设您希望定期将数据从 EventHub 提取到 Data Lake Store 正如 Nava 所说 您可以使用 Azure 流分析将数据从 EventHub 获
Azure
azureeventhub
azuredatalake
如何在 U-SQL 中抛出错误或引发异常?
在 U Sql 脚本中引发错误或异常的机制是什么 我有一个场景 正在处理 CSV 文件 如果在其中发现重复项 那么我需要放弃处理 在 SQL 中 我可以做raiseerror 在 U Sql 中执行此操作的等效方法是什么 创建一个 C 函数
azuredatalake
usql
usql 应用程序和脚本的单元测试
我有一个自定义的 USql 应用程序 它扩展了IApplier class SqlUserDefinedApplier public class CsvApplier IApplier public CsvApplier totalcoun
c
azuredatalake
usql
尝试转换列数据时值太长失败
Scenario 我有一个源文件 其中每个新行都包含 JSON 块 然后 我有一个简单的 U SQL 摘录 如下所示 其中 RawString 表示文件中的每个新行 FileName 定义为 SourceFile 路径中的变量 BaseEx
json
Azure
azuredatalake
usql
从文件流上传到 ADLS
我正在 ADF 中进行自定义活动 其中涉及从 Azure 存储 Blob 读取多个文件 对它们进行一些处理 最后将生成的文件写入 Azure Data Lake Store 最后一步是我停止的地方 因为据我所知 NET SDK 只允许从本地
c
azuredatafactory
azuredatalake
我们如何在azure数据湖中的u-sql中根据时间戳作业执行动态输出文件名
我们如何根据作业执行时的时间戳在azure数据湖的u sql中动态输出文件名 谢谢您的帮助 我的代码如下 OUTPUT telDataResult TO wasb email protected cdn cgi l email protec
azuredatalake
usql
如何从 Azure 数据工厂运行 PowerShell
I have PowerShell该脚本将复杂的 CSV 文件分割为每 1000 条记录的较小的 CSV 文件 这是代码 i 0 Get Content C Users dell Desktop Powershell Input bigsi
PowerShell
azuredatafactory
azurepowershell
azuredatalake
使用 Azure 函数处理 Azure Datalake 存储文件
我定期在 Azure Datalake 存储上的特定文件夹中获取文件 文件一到达 我想使用 Azure 函数进一步处理它 那可能吗 UPDATE With 多协议接入 https learn microsoft com en us azur
azurefunctions
azuredatalake
使用 Azure Data Lake Analytics 与传统 ETL 方法的原因
我正在考虑使用我最近几周一直在研究的数据湖技术 与我多年来一直使用的传统 ETL SSIS 场景进行比较 我认为数据湖与大数据密切相关 但是使用数据湖技术与 SSIS 之间的界限在哪里 使用 Data Lake 技术处理 25MB 100M
Azure
azuredatalake
usql
1
2
»