国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁/技術文章
文章詳情頁

解決python 使用openpyxl讀寫大文件的坑

瀏覽:3日期:2022-06-25 09:29:35

由于需要處理xlsx類型的文件,我使用了openpyxl來處理,然而文件比較大,大約有60多MB。讀文件的時候雖然慢了一點,但還是能夠讀出來,但是當我想寫入時卻報錯了。

解決python 使用openpyxl讀寫大文件的坑

顯示設備沒有多余的空間,百度了一下,發現有不少關于openpyxl讀寫大文件的問題??偨Y來看,解決方案主要有以下兩種,當然,我兩種都用上了。

手動釋放內存

del wb, wsgc.collect()

這一招還算有用,在讀完文件后可以看到內存占用明顯下降了一點。

安裝lxml

使用命令·pip install lxml安裝依賴

這個依賴并非必須安裝的依賴,但是可以使openpyxl流式處理數據。

總之使用了以上兩種方案后,終于可以成功處理數據了。

補充:openpyxl讀取大文件的若干問題

需要編寫一個EXCEL文件對比工具

excel文件通常8MB,300張左右的表,每張表實際范圍為ZZ500.

使用openpyxl對表格進行遍歷,完成兩個表之間的對比,找出公式不相同的單元格編程中遇到若干問題

1、讀取時報錯,錯誤代碼忘記了,原因是通過數組的方式讀取了一個不存在的數值

如 SS[’AA’],這個數值沒有定義,因此報錯(PHP直接返回空值),使用SS.get(’AA’,null)進行修改

D:Python34Libsite-packagesopenpyxlreaderstyle.py

164: format_code = builtin_formats.get(numFmtId,’General’)2、讀取時內存占用過大

基本就是內存占用了2G以上以后,程序就不動了,原因是某些表格的表格范圍識別的非常大,最大可為ZZ65535

通過研究,代碼進行了如下修改

1:使用X64版本,X64版本在運行時,可以運行4G以內內存占用的程序,比2G大一倍,能夠完成大部分表格的讀取,如ZZ5000,但是遇到ZZ65535范圍的表格,內存占用達到了4G+,也會導致程序停止運行.

2:限制最大單元格遍歷范圍,最大限制為ZZ5000,能夠有效降低內存占用

3:定時重新讀取EXCEL文件(如每對比30張表),釋放內存,(Python內存釋放真的很痛苦,全部是指針引用,A=B,DEL A;是不會釋放空間的,要DEL B才行).

4:雖然openpyxl讀取文件時有個只讀模式(性能模式),但是速度實在是太慢了.

通過代碼修改,現在完成文件對比所用的內存通常在2G以內

以上為個人經驗,希望能給大家一個參考,也希望大家多多支持好吧啦網。如有錯誤或未考慮完全的地方,望不吝賜教。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 国产日韩一区二区三区在线播放 | 精品国产亚一区二区三区 | 97欧美精品一区二区三区 | 日韩啪| 久久精品视频大全 | 日本无遮 | 欧美一区二区三区男人的天堂 | 亚洲精品在线视频 | 欧美特一级 | 欧美成人免费全网站大片 | 国产激情久久久久久影院 | 午夜爱爱毛片xxxx视频免费看 | 欧美日韩在线观看视频 | 97成人精品视频在线播放 | 日本高清一本二本三本如色坊 | 女人张开腿让男人操 | 视频亚洲一区 | 99精选视频 | 三级色网站 | 国产乱码一区二区三区四川人 | 91久久免费视频 | 国产三a级日本三级日产三级 | 三上悠亚免费一区二区在线 | 美女叉开腿让男人捅 | 正在播真实出轨炮对白 | 日韩欧美国产一区二区三区 | 亚洲欧美一区二区三区不卡 | 久久久久久久99视频 | 国内精品久久久久久久星辰影视 | 国产不卡影院 | 亚洲精品亚洲人成在线 | 国产精品久久福利网站 | 另类欧美视频 | 男女性高爱潮免费网站 | 久久综合久久综合九色 | 欧美一级毛片欧美一级 | 午夜宅宅宅影院在线观看 | 男女性生活网站 | 国产精品路边足疗店按摩 | 亚洲一区二区三区首页 | 欧美人成在线观看 |