Scala 之 高阶函数

2023-10-27

函数式编程

Scala函数式编程是scala的重中之重,老师多次强调它的重要性,spark当中的计算都是用scala函数式编程来做,高级函数也是其独特的一个特性,并且spark基于集合,这样可以使scala发挥其对于集合计算的强大功能。首先,函数/变量同是一等公民,函数与变量同等地位,函数的定义可以单独定义,可以不依赖于类、接口或者object,而且独立存在,独立使用,并且可以赋值给变量。

如:      


这里我们定义了一个函数fun1,然后将他赋值给力一个变量,格式为

       val变量名 = 函数名+空格+_

这里函数名后面必须要有空格,表明是函数的原型。

这样,这个变量就是函数了,如上如,fun_v会接收一个String类型的参数,对参数作用会返回unit类型的返回值(=>表示对左边的参数进行右边的加工)。

匿名函数

而在大量的spark中大都用的是匿名函数(不为函数命名),然后将其复制个一个变量。

如:

匿名函数格式:

Val 变量名 = (参数:类型) => 函数体

 

高阶函数

高阶函数是函数的参数也是函数。(因为函数的参数可以是变量,而函数又可以赋值给变量,即函数和变量地位一样,所以函数参数也可以是函数)

如:

首先我们定义了一个函数BigData,这个函数有两个参数,第一个参数是一个函数,函数名是func,他有一个String类型的参数并且返回值是unit空的;第二个参数是String类型的变量名为content的变量,函数体是将第二个参数作为第一个参数也就是函数func的参数,来调用第一个函数,整个函数返回值为unit空。这里只要传入的函数的格式与定义的一致就行。

又如:

Array.map()作用,他会遍历array中每一个元素,并将每个元素作为具体的值传给map中的作为参数的函数。

高阶函数的返回值是函数(更为重要)。

首先,我们定义一个函数作为返回值的一个函数,func_Returned返回的是一个字符串类型的。

我们输入func_Returned(“Spark”),生成了一个名为Spark的函数。


首先我们定义了一个返回值为函数的函数func_Returned,然后我们将其返回值也就是一个函数赋值了变量returned,这样就得到了一个名为returned的函数,然后我们调用returned函数得到了打印结果。

 

高阶函数有个非常有用的特性是类型推断。其可以自动推断出参数的类型,而且对于只有一个的参数的函数,可以省略掉小括号,并且在函数的参数作用的函数体内只是用一次函数的输入参数的值话,就可省略掉函数名,用下划线(_)代替。

最原始的方法 :

由于scala可以类型推断,而且func只有一个参数,由于在spark定义是一定义了变量类型,所以我们就可以把name后的类型String去掉,

由于只有一个参数故小括号也可以去掉,

有由于只有一个参数,所以其参数可以省略,用下划线代替

例如:

 

函数的闭包

函数的闭包就是当函数的参数超出其作用域时,我们还能对参数进行访问。例如:

在这里我们首先定义了返回值为函数的一个函数,然后我们调用了该函数,传入的参数为Spark,通常当函数scala运行结束后,我们是不能在访问该参数了,因为局部变量Spark的作用域也就是生命周期结束了,但是当我们调用funcResult函数后,发现它是能访问参数Spark的。这就是函数的闭包。scala内部是创建了一个函数的内部对象,将参数Spark作为一个成员保留在了这个对象中。

科里化:将一个函数的两个参数,我们可以把它转换成两个函数,第一个函数会接收原函数的第一个参数,第二个的函数会接收原函数的第二个参数作为输入变量的函数。

例如:


其利用了闭包。

 

scala高级操作

reduceLeft:他会从(1 to 100)中最左边的数(也就是1)开始,进行reduce操作,具体操作,先对第一元素与第二元素进行处理,并将结果作为第一个元素与第三个元素进行处理,然后在结果与第四个元素进行处理,一直到最后一个元素。

在这里“Thecontent is :” + _是一个函数。

例如:单词拆分


List.zip操作


------------------------------------------EOF--------------------------------------------------------------------------



说明: 笔记来源DT大数据IMF课程。


本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Scala 之 高阶函数 的相关文章

随机推荐

  • 【micropython】SPI触摸屏开发

    背景 最近买了几块ESP32模块 看了下mircopython支持还不错 所以买了个SPI触摸屏试试水 记录一下使用过程 硬件相关 SPI触摸屏 使用2 4寸屏幕 常见淘宝均可买到 驱动为ILI9341 具体参数如下图 引脚描述 ESP32
  • C++中【字符串】与【整型】和【浮点型】转换攻略

    异想之旅 本人原创博客完全手敲 绝对非搬运 全网不可能有重复 本人无团队 仅为技术爱好者进行分享 所有内容不牵扯广告 本人所有文章仅在CSDN 掘金和个人博客 一定是异想之旅域名 发布 除此之外全部是盗文 C 算法刷题等过程中经常会遇到字符
  • 化工安全生产管理平台:融合重大危险源监控预警、可燃有毒气体检测报警、企业安全风险分区于一体

    产品概述 化工企业安全生产信息化管理平台 以实现化工企业安全生产数字化 信息化 智能化管理为目标 建设融合重大危险源监控预警管理 可燃有毒气体检测报警管理 企业安全风险分区管理 生产人员在岗在位管理和企业生产全流程管理于一体的安全生产信息化
  • 测试从业1到3年经验,常见软件测试工程师面试题总结

    前言 软件测试工程师 和开发工程师相比起来 虽然前期可能不会太深 但是涉及的面还是比较广的 前期面试实习生或者一年左右的岗位 问的也主要是一些基础性的问题比较多 涉及的知识主要有MySQL数据库的使用 Linux操作系统的使用 软件测试框架
  • SpringMVC文件的上传下载&JRebel的使用

    目录 前言 一 JRebel的使用 1 IDea内安装插件 2 激活 3 离线使用 使用JRebel的优势 二 文件上传与下载 1 导入pom依赖 2 配置文件上传解析器 3 数据表 4 配置文件 5 前端jsp页面 6 controlle
  • 【多目标跟踪MOT学习笔记】字节跳动ByteTrack论文研究(一):BYTE策略

    文章目录 前言 一 是什么ByteTrack 二 BYTE 1 BYTE method 概览 2 First Association 关联1 3 Second Association 关联2 4 Post Processing 后处理 4
  • 涅槃重生,BitKeep如何闯出千万用户新起点

    在全球 BitKeep钱包现在已经有超过千万用户在使用 当我得知这个数据的时候 有些惊讶 也有点意料之中 关注BitKeep这几年 真心看得出这家公司的发展之迅速 还记得2018年他们推出第一个版本时 小而美 简洁顺手 他们大胆且略显理想主
  • [非线性控制理论]4_反馈线性化_反步法

    非线性控制理论 1 Lyapunov直接方法 非线性控制理论 2 不变性原理 非线性控制理论 3 基础反馈稳定控制器设计 非线性控制理论 4 反馈线性化 反步法 非线性控制理论 5 自适应控制器 Adaptive controller 非线
  • 【操作系统 · 线程】介绍、分类、多线程

    线程 介绍 分类 多线程 一 介绍 1 进程与线程 2 多线程 3 线程的功能 二 线程分类 1 用户级线程 2 内核级线程 3 其他方案 三 多核 多线程 一 介绍 进程中有两个重要概念 资源所有权 执行 因这一区别 许多操作系统中出现了
  • ueditor1.5 新版ueditor设置字体大小文件所在位置

    ueditor src plugins font js文件 将想添加的字体大小设置即可 fontsize 10 11 12 14 16 18 20 24 36 72
  • 【HBZ分享】java之二叉堆排序实战代码

    废话不多说 直接上代码 注释都在代码中 利用大顶堆排序 最终数组从小到大 复制即用无需导包 package 大顶堆 import java lang reflect Array import java util Arrays public
  • 30天自制操作系统学习-第1天

    第一天 1 批处理文件 直接由DOS命令行解释执行的文件 通常后缀名为 bat或 cmd 2 镜像文件 img后缀的文件 可用于制作操作系统文件 一个3 5英寸的软盘容量为1440k 3 nask 作者自己制作的汇编代码编译器 代码与nas
  • Adobe Creative Suite 5.5 简体中文版

    http www itopdog cn graphic image web design software adobe creative suite html Adobe Creative Suite 5 5 简介 Adobe Creati
  • xml和javaBean实现互转

    最近遇到了调用接口需要xml报文传递 用传统最简单的方式就是我们string手动拼接报文传递 这样调用问题解决了 返回的数据问题没有得到解决 因为返回的也是xml报文 需要对其做一些转换操作 既然转换 直接在传递时通过简单的方式将报文序列化
  • Python 日志管理模块logging

    参考 link https www cnblogs com nancyzhu p 8551506 html 日志 日志是跟踪软件运行时所发生的事件的一种方法 软件开发者在代码中调用日志函数 表明发生了特定的事件 事件由描述性消息描述 该描述
  • ORA-12505: TNS: 监听程序当前无法识别连接描述符中所给出的SID等错误解决方法

    程序连接orarle报ORA 12505错误 一 异常 ORA 12505 TNS listener does not currently know of SID given in connect descriptor The Connec
  • VTK_python入门

    tk基本介绍 VTK 库的框架结构 vtkObject gt vtkSource gt vtkFilter gt vtkMapper gt vtkActor gt vtkRenderer 对象 介绍 vtkObject vtk库的基类 vt
  • 人脸对齐:使用 PyTorch 检测人脸特征点(附Wget下载方法)

    开发环境 作者 嘟粥yyds 时间 2023年8月12日 集成开发工具 Google Colab 集成开发环境 Python 3 10 6 第三方库 torch torchvision cv2 xml os math matplotlib
  • CVPR 2023

    点击下方卡片 关注 自动驾驶之心 公众号 ADAS巨卷干货 即可获取 点击进入 自动驾驶之心 语义分割 技术交流群 后台回复 分割综述 获取语义分割 实例分割 全景分割 弱监督分割等超全学习资料 论文思路 多模态融合可以使语义分割更加鲁棒
  • Scala 之 高阶函数

    函数式编程 Scala函数式编程是scala的重中之重 老师多次强调它的重要性 spark当中的计算都是用scala函数式编程来做 高级函数也是其独特的一个特性 并且spark基于集合 这样可以使scala发挥其对于集合计算的强大功能 首先