當(dāng)今互聯(lián)網(wǎng)，數(shù)據(jù)呈現(xiàn)爆炸式增長(zhǎng)，不光是社交網(wǎng)絡(luò)、移動(dòng)通信、網(wǎng)絡(luò)視頻、電子商務(wù)等各種應(yīng)用往往能產(chǎn)生億級(jí)甚至十億、百億級(jí)的海量小文件，就是在許多企業(yè)內(nèi)部同樣會(huì)產(chǎn)生海量小文件，doc文件和excel文件等數(shù)百萬(wàn)個(gè)文件的應(yīng)用已經(jīng)很容易就見(jiàn)到了。這些數(shù)據(jù)在復(fù)制和刪除過(guò)程中就會(huì)面臨訪問(wèn)性能、存儲(chǔ)效率等許多方面巨大的挑戰(zhàn)，海量小文件問(wèn)題成為了業(yè)界公認(rèn)的難題。

具體表現(xiàn)舉例子 ,比如復(fù)制一個(gè)文件夾的時(shí)候開(kāi)始的速度快,然后越來(lái)越慢,復(fù)制 500GB的數(shù)據(jù) 就要好幾個(gè)小時(shí)了,如果是10TB數(shù)據(jù) 則要2-3天,最要命的是中途一旦中斷了,不知道從哪里接續(xù),即使中途沒(méi)有中斷,復(fù)制后的數(shù)據(jù)出錯(cuò)的可能性依然存在。其他諸如刪除文件也是面臨同樣的問(wèn)題。耗費(fèi)時(shí)間巨大。

業(yè)界的一些知名互聯(lián)網(wǎng)公司，也對(duì)海量小文件提出了解決方案，例如：著名的社交網(wǎng)站Facebook，存儲(chǔ)了超過(guò)600億張圖片，專(zhuān)門(mén)推出了Haystack系統(tǒng)，針對(duì)海量小圖片進(jìn)行定制優(yōu)化的存儲(chǔ)。

Facebook的Haystack對(duì)小文件的解決辦法是合并小文件。將小文件數(shù)據(jù)依次追加到數(shù)據(jù)文件中，并且生成索引文件，通過(guò)索引來(lái)查找小文件在數(shù)據(jù)文件中的offset和size，對(duì)文件進(jìn)行讀取。

Haystack面臨的問(wèn)題：

Facebook的Haystack特點(diǎn)是將文件的完整key都加載到內(nèi)存中，進(jìn)行文件定位。機(jī)器內(nèi)存足夠大的情況下，F(xiàn)acebook完整的8字節(jié)key可以全部加載到內(nèi)存中。內(nèi)存小的時(shí)候問(wèn)題就來(lái)了。