解決python3 整數(shù)數(shù)組轉(zhuǎn)bytes的效率問題

昨天在做一道CTF題的時(shí)候碰到了一個(gè)圖片異或的問題，操作大概如下：

將一個(gè)圖片讀入，然后每字節(jié)進(jìn)行異或操作，核心代碼可簡(jiǎn)化為以下：

#coding:utf-8
'''
 @DateTime: 2017-11-25 13:51:33
 @Version: 1.0
 @Author: Unname_Bao
'''
import six
key = b'\xdcd~\xb6^g\x11\xe1U7R\x18!+9d\xdcd~\xb6^g\x11\xe1U7R\x18!+9d'
with open('flag.encrypted','rb') as f:
 c = f.read()
flag = b''
for i in range(32):
 flag += six.int2byte(key[i%32]^c[i])
with open('flag.png','wb') as f:
 f.write(flag)

然后就碰到了一個(gè)效率問題，跑了十幾分鐘都沒有跑出結(jié)果，起初以為是類型轉(zhuǎn)換的問題，因?yàn)楸容^急，于是換了成了C++的代碼去解決，后來(lái)一直沒多想。

今天閑下來(lái)的時(shí)候才發(fā)現(xiàn)代碼之前的代碼中存在一個(gè)非常大的問題：

內(nèi)存申請(qǐng)問題

由于flag.encrypted文件大小為6.47MB之大，由于我的腳本思路是不斷在byte數(shù)組后添加，但忽略了其本質(zhì)。

就是在內(nèi)存申請(qǐng)過程中，由于數(shù)組長(zhǎng)度最終為600+W大小，期間存在多次數(shù)組內(nèi)存不夠，需要重新申請(qǐng)內(nèi)存的問題，而python中的內(nèi)存申請(qǐng)顯然沒有C++的vector的push_back有效率。

而且python中，無(wú)論是list、string還是byte，也沒有reserve這種函數(shù)，不能預(yù)留內(nèi)存空間（這時(shí)候真的要吐槽一下python設(shè)計(jì)者對(duì)速度優(yōu)化的考量了）。

于是只能用另一種方法進(jìn)行優(yōu)化，就是先用list申請(qǐng)一個(gè)需求大小的內(nèi)存空間，然后再轉(zhuǎn)為bytes使用，

代碼如下：

#coding:utf-8
'''
 @DateTime: 2017-11-26 14:09:29
 @Version: 2.0
 @Author: Unname_Bao
'''
key = b'\xdcd~\xb6^g\x11\xe1U7R\x18!+9d\xdcd~\xb6^g\x11\xe1U7R\x18!+9d'
with open('flag.encrypted','rb') as f:
 c = f.read()
flag = list('1'*len(c))
for i in range(len(c)):
 flag[i] = key[i%32]^c[i]
flag = bytes(flag)
with open('flag.png','wb') as f:
 f.write(flag)

這樣寫的話幾乎是瞬間完成任務(wù)了，但還是比C++慢很多，這是不可避免的。

補(bǔ)充：python2與python3的bytes問題

>>> s = '編程'
>>> print s
編程
>>> s
'\xe7\xbc\x96\xe7\xa8\x8b'
>>>

在python2中直接調(diào)用字符串的變量的話，會(huì)打印其bytes(可以理解成用16進(jìn)制表示字符串的內(nèi)存地址，本質(zhì)還是二進(jìn)制）。在python2中，bytes和str是一回事。

為什么要有個(gè)bytes呢？因?yàn)樗袛?shù)據(jù)本質(zhì)都是用二進(jìn)制進(jìn)行儲(chǔ)存的，當(dāng)傳輸數(shù)據(jù)的時(shí)候，要把這些數(shù)據(jù)先轉(zhuǎn)換成二進(jìn)制( bytes)在進(jìn)行傳輸。除此之外，python2里還有個(gè)單獨(dú)的數(shù)據(jù)類型，把字符串解碼后，就會(huì)變成unicode。

>>> s
'\xe8\xb7\xaf\xe9\xa3\x9e' #utf-8
>>> s.decode('utf-8')
u'\u8def\u98de' #unicode 在unicode編碼表里對(duì)應(yīng)的位置
>>> print(s.decode('utf-8'))
路飛 #unicode 格式的字符

原因是python2的默認(rèn)編碼是ASCII,后來(lái)為了支持多國(guó)語(yǔ)言，就想弄個(gè)unicode。但是直接把ASCII轉(zhuǎn)成unicode是很費(fèi)勁的，所以龜叔直接搞了一個(gè)新的字符類型，就叫unicode,說白了就是你得在內(nèi)存里先把字符串存成unicode類型

2008年python3出世，來(lái)了個(gè)大變革：

1、把字符串的編碼變成了unicode,文件默認(rèn)編碼變成了utf-8。

2、把str 和bytes 做了明確區(qū)分， str 就是unicode格式的字符， bytes就是單純二進(jìn)制還有一個(gè)很重要的是，在python3中，只有unicode給你展示字形，其他的編碼一律用bytes展示，也就是說要你強(qiáng)制使用unicode。

最后再提示一下，Python只要出現(xiàn)各種編碼問題，無(wú)非是哪里的編碼設(shè)置出錯(cuò)了

常見編碼錯(cuò)誤的原因有：

Python解釋器的默認(rèn)編碼

Python源文件文件編碼

Terminal使用的編碼

操作系統(tǒng)的語(yǔ)言設(shè)置

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教。