国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁技術文章
文章詳情頁

python多維數組分位數的求取方式

瀏覽:25日期:2022-08-04 14:11:54

在python中計算一個多維數組的任意百分比分位數,只需用np.percentile即可,十分方便

import numpy as npa = [154, 400, 1124, 82, 94, 108]print np.percentile(a,95) # gives the 95th percentile

補充拓展:如何解決hive同時計算多個分位數的問題

眾所周知,原生hive沒有計算中位數的函數(有的平臺會有),只有計算分位數的函數percentile

在數據量不大的時候,速度尚可。但是數據量一上來之后,完全計算不出來。

那么如何解決這個問題呢,我們可以使用 row_number() over()通過兩次排序來解決同時計算多個分位數,速度飛快。

比如我們需要計算mkt_mcc_storeidx表下以mkt_label,mccgroup,month分組,value_mccgroup的分位數

第一步:利用row_number() over()給value_mccgroup在分組里排序,記錄下排名

python多維數組分位數的求取方式

第二步:計算mkt_label,mccgroup,month分組下的數據總數

python多維數組分位數的求取方式

第三步:join前兩步的結果,取rank=你需要計算的分位數位置,想計算多少個分位數就計算多少個

python多維數組分位數的求取方式

第四步:再排一次序,這次數據量就已經少了很多了,畢竟每組里面只有幾個數據,記錄排名

python多維數組分位數的求取方式

第五步:得到具體的分位數

python多維數組分位數的求取方式

第六步:行轉成列,所有分位數計算完畢

python多維數組分位數的求取方式

后來查看了下SQL代碼的執行樹,發現percentile利用了map來存數據,怪不得這么耗內存,其實時間久并不是算的時間久,是因為內存不夠了,系統一直在回收內存

python多維數組分位數的求取方式

而rank over 僅僅就是個排序而已

python多維數組分位數的求取方式

以上這篇python多維數組分位數的求取方式就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持好吧啦網。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 国产欧美综合在线一区二区三区 | 亚洲第一中文 | 和日本免费不卡在线v | 506rr亚洲欧美 | 日本在线视频免费看 | 国产成人影院在线观看 | 91精品手机国产露脸 | 国产精品99精品久久免费 | a黄视频| 免费国产成人午夜在线观看 | 国产精品欧美视频另类专区 | 一区二区三区中文 | 国产欧美日韩在线 | 手机看片精品高清国产日韩 | 亚洲国产精品大秀在线播放 | 免费观看a黄一级视频 | 成年美女黄网站色大 | 中文 日本 免费 高清 | 羞羞一区二区三区四区片 | 国内精品不卡一区二区三区 | 黄色毛片视频校园交易 | 久久国产亚洲观看 | 亚洲免费视频在线观看 | 国产精品高清在线观看地址 | 91香蕉嫩草 | 香港av三级| 国产精品自拍在线观看 | 成人午夜天 | 成年人免费在线视频观看 | 中国hd高清╳xxx | 成年午夜性爽快免费视频不卡 | 免费三级毛片 | 欧美三级在线观看视频 | 92精品国产成人观看免费 | 91欧美在线视频 | 国产亚洲欧美在线播放网站 | 中文字幕一级片 | 91精品国产91久久久久久 | 久综合 | 91精品一区二区综合在线 | 97在线免费 |