重複除去のウソ?

  • 投稿日:
  • by

一部のラジオをひたすら24時間録音し続けています。

記憶プールに専用の仮想ドライブを作って保存したら、一向にあふれないので不思議でした。

確認したところ、以下のように20分の1のサイズしか占有していないかのように表示されます。

20160602105508

サイズ:432GB

ディスク上のサイズ:16.6GB

ファイル数:16,145、フォルダー数:1

ビットレートは64kbpsと低いのですが、24時間なので1局1日で690MBくらいになります。

6局を録音しており、安定稼働して3か月弱ですので、単純計算でで370GBを越えます。

ヘッダやらなにやらで400GB超ということのようで。

それが16.6GBに収まっているというのが信じられないのです。

実際、該当ドライブの記憶域サービスの重複除去率の表示は「1%」、重複除去による節約量は「39.4GB」と表示されています。

つまり「ディスク上のサイズ」がウソ表示のように見えます。

ググるとTechNetのフォーラムで似たような質問が見つかりました。その回答は

Deduplication accurate size on disk

・・・Use the Measure-DedupFileMetadata Windows PowerShell cmdlet to determine how much space could be freed if you deleted particular files or folders.

早速使ってみると、

PS W:\sharedv> Measure-DedupFileMetadata MP3
Measure-DedupFileMetadata : MSFT_DedupFileMetadata.Path - HRESULT 0x80565323, 指定されたボリュームは重複除去では有効で
ありません。
発生場所 行:1 文字:1
+ Measure-DedupFileMetadata MP3
+ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    + CategoryInfo          : NotSpecified: (MSFT_DedupFileMetadata:ROOT/Microsoft/...dupFileMetadata) [Measure-DedupF
   ileMetadata], CimException
    + FullyQualifiedErrorId : HRESULT 0x80565323,Measure-DedupFileMetadata

困ったものです。あきらめてドライブ指定してみます。

PS W:\sharedv> Measure-DedupFileMetadata W:

Path                    : {W:}
Volume                  : W:
VolumeId                : \\?\Volume{9673e670-2f46-43e5-abf9-4ccf45d8d75d}
FilesCount              : 19218
OptimizedFilesCount     : 18009
Size                    : 2.51 TB
SizeOnDisk              : 54.83 GB
DedupSize               : 2.41 TB
DedupChunkCount         : 34245867
DedupDistinctSize       : 2.41 TB
DedupDistinctChunkCount : 34245824

 

MSDNの文書では、「DedupChunkCount」が「それらのファイルを削除した場合に回復されるディスク領域」と表現されていたりします。

https://msdn.microsoft.com/ja-jp/library/hh831700(v=ws.11).aspx

Specifically, the DedupDistinctSize value will tell you how much space you would get back if you deleted those files.

出鱈目な日本語はスルーして、原文を見れば、これは

対象のファイルを削除したら取り戻せる容量

ということがわかります。それにしても「回復されるディスク領域」ってどこのどいつが書いているんですかね。

一方、「SizeOnDisk」が「ディスク上のサイズ」に相当するようですが、重複除去を使っている場合、この値はまったく当てにならないようです。

一向にあふれないので不思議でした。

↑これも思い違いということで、実際にはもうすぐあふれるということです。