栏目分类:
子分类:
返回
文库吧用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
文库吧 > IT > 面试经验 > 面试问答

数据框上的多条件过滤器

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

数据框上的多条件过滤器

TL; DR
要传递多个条件

filter
where
使用
Column
对象和逻辑运算符(
&
|
~
)。请参见Pyspark:when子句中的多个条件。

df.filter((col("act_date") >= "2016-10-01") & (col("act_date") <= "2017-04-01"))

您还可以使用 单个 SQL字符串:

df.filter("act_date >='2016-10-01' AND act_date <='2017-04-01'")

实际上,在以下两者之间使用更有意义:

df.filter(col("act_date").between("2016-10-01", "2017-04-01"))df.filter("act_date BETWEEN '2016-10-01' AND '2017-04-01'")

第一种方法甚至不是远程有效的。在Python中,

and
返回:

  • 如果所有表达式都是“真话”,则为最后一个元素。
  • 否则,第一个“ falsey”元素。

结果是

"act_date <='2017-04-01'" and "act_date >='2016-10-01'"

评估为(任何非空字符串为真):

"act_date >='2016-10-01'"


转载请注明:文章转载自 www.wk8.com.cn
本文地址:https://www.wk8.com.cn/it/640052.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 wk8.com.cn

ICP备案号:晋ICP备2021003244-6号