2010/2/16 火曜日

Linuxで4KセクタHDDの使用方法

Linux Not Fully Prepared for 4096-Byte Sector Hard Drives – OS news
http://www.osnews.com/story/22872/Linux_Not_Fully_Prepared_for_4096-Byte_Sector_Hard_Drives

自分もLinuxは使ってますが、勉強不足で正直なところLinuxのファイルシステム関連はちゃんと理解していません。詳しい解説はできませんが、困っている方がいるかもしれませんので、紹介しておきます。

Western Digitalが最近発売したHDDで『Advanced Format Architecture』という名称で4KiBセクタを採用していますが、Windows XP以前においてセクタ開始位置がズレるためパフォーマンス低下が指摘されている。Western Digitalのよると「LinuxやMacOSX」ではこの低下は発生しないとのことでしたが、実際にはLinuxにおいて低下することが確認されているようです。

OS newsの記事では、Gentoo(2.6.31)上でWD Caviar Greenを用いてパフォーマンスを検証している。今のところ、完全な解決策はなく、Ubuntuの『parted』で利用できるオプション『–align optimal』でも不完全とか。

そのほか色々と書かれていますが、熟練したLinuxユーザーの方は自分よりも英語の経験値は高いと思いますので、詳しくは上記記事を参照してください。

2009/8/9 日曜日

【レビュー的な何か】NTFSの圧縮機能は有効なのか?【目次】

ntfscompress2

先日、こんな記事を書きました。

はいじん☆ちゃんねる >> 『圧縮を有効にする』使ってる人いますか?
http://haizin.serveblog.net/?p=3908

現在のMicrosoft Windowsに採用されているファイルシステム『NTFS』には、パーティションを圧縮することで使用可能容量が増える「圧縮」機能が搭載されている。 ちょっと前までのPCでは圧縮時のCPUへの負荷が大きすぎてあまり使える機能ではありませんでしたが、マルチコアCPUが一般的になった今はどうかと思い、検証してみました。

検証方法

Barracuda 7200.11 ST3320613ASのNTFS圧縮のON/OFFを切り替えてその際の違いを検証しました。はじめに定番のCrystalDiskMarkにより違いが出るかを検証。その後、ファイルコピーにより違いが出るかを検証した。 ファイルコピー比較の際には相手となるHDDがボトルネックになることを防ぐため、ST3500418AS ×2のRAID0アレイを相手に用いた。

【レビュー的な何か】NTFSの圧縮機能は有効なのか?【目次】

【レビュー的な何か】NTFSの圧縮機能は有効なのか?【CrystalDiskMark】
【レビュー的な何か】NTFSの圧縮機能は有効なのか?【JPEGコピー編】
【レビュー的な何か】NTFSの圧縮機能は有効なのか?【BMPコピー編】
【レビュー的な何か】NTFSの圧縮機能は有効なのか?【まとめ】

【レビュー的な何か】NTFSの圧縮機能は有効なのか?【CrystalDiskMark】

【レビュー的な何か】NTFSの圧縮機能は有効なのか?【目次】

【レビュー的な何か】NTFSの圧縮機能は有効なのか?【CrystalDiskMark】←今ココ
【レビュー的な何か】NTFSの圧縮機能は有効なのか?【JPEGコピー編】
【レビュー的な何か】NTFSの圧縮機能は有効なのか?【BMPコピー編】
【レビュー的な何か】NTFSの圧縮機能は有効なのか?【まとめ】

HDDを検証する定番の方法ですが、CrystalDiskMark2.2を用いてNTFS圧縮のON/OFFで違いが出るかを検証しました。

いきなり結果だが…

ntfs_compress9

ほとんど違いが見られませんねぇ。RAMDISKでNTFS圧縮を行うとスコアが落ちているのを見たことがありますが、HDD程度の速度だとCrystalDiskMarkでは違いが出ないのかもしれませんねぇ。

若干がっかりな結果でした。

【JPEGコピー編】へ

【レビュー的な何か】NTFSの圧縮機能は有効なのか?【JPEGコピー編】

【レビュー的な何か】NTFSの圧縮機能は有効なのか?【目次】

【レビュー的な何か】NTFSの圧縮機能は有効なのか?【CrystalDiskMark】
【レビュー的な何か】NTFSの圧縮機能は有効なのか?【JPEGコピー編】
←今ココ
【レビュー的な何か】NTFSの圧縮機能は有効なのか?【BMPコピー編】
【レビュー的な何か】NTFSの圧縮機能は有効なのか?【まとめ】

CrystalDiskMarkでは違いが見られなかったNTFS圧縮だが、実際の使用法に近いファイルコピーに要する時間を検証してみました。

また、その際のCPU使用率もCRN Monitorを用いて記録してみました。検証に用いた環境はCore2Quadを用いているため各コアの使用率のログをとり、全コアの平均値を算出しました。

ここではデジカメで撮影した3422枚、総容量24.1GBのJPEGファイルをコピーすることで検証した。

testjpeg

コピー時間(Copy time)は、コピーするファイルをコピー先で放した瞬間から[コピー中]のダイアログが消える瞬間までの時間を示しています。グラフにはコピー終了後30秒分くらいのデータも載せてあります。また、コピー時にウィルス対策ソフトによる影響を避けるため、ウィルス対策等は停止させました。

NTFS圧縮による転送速度変化

まずは、NTFS圧縮が無効の際のコピー。

ntfs_compress1

ntfs_compress2

こうやって見ると、コピーって意外にCPU使用してるんですねぇ。平均で15%くらいですね。

ST3320613ASから読み出しが約115MB/s、書き込みが約98MB/sとなりました。

お次はNTFS圧縮を有効にしたさいの結果。

ntfs_compress4

圧縮有効時の読み出し結果。

圧縮無効では208秒だったコピー時間が246秒かかりました。転送レートにすると約100MB/s。

平均CPU使用率は18%くらいと、若干高くなりました。読み出し時に圧縮されたデータを解凍することになるのだが、解凍にはそれほどCPUに負荷がかからないようですね。

つづいて、圧縮有効時の書き込みの結果。

ntfs_compress3

書き込みに要した時間は989秒。無効時の4倍近くになりました。平均CPU使用率を確認すると25%と一見低いように見えますが、各コアで確認すると常にどれか1つのコアが80%近い働きっぷりを示している。

どうやら、NTFS圧縮はマルチスレッドに対応していないようですね。

また、ファイル転送自体は989秒で終了しているのですが、グラフを良く見ると1020秒くらいまでCPU使用率が高いことが分かる。圧縮はファイルの転送が終了したあともバックグラウンドしばらく続くようですね。

NTFS圧縮の効果

書き込み速度は大幅に下がったNTFS圧縮有効時。時間がかかっても容量節約につながるならオールオッケー!さて、気になる容量はというと…

testjpeg_compressed

100MBしか減ってないorz

これじゃあまり魅力がないですねぇ…

【BMPコピー編】へ

【レビュー的な何か】NTFSの圧縮機能は有効なのか?【BMPコピー編】

【レビュー的な何か】NTFSの圧縮機能は有効なのか?【目次】

【レビュー的な何か】NTFSの圧縮機能は有効なのか?【CrystalDiskMark】
【レビュー的な何か】NTFSの圧縮機能は有効なのか?【JPEGコピー編】

【レビュー的な何か】NTFSの圧縮機能は有効なのか?【BMPコピー編】
←今ココ
【レビュー的な何か】NTFSの圧縮機能は有効なのか?【まとめ】

JPEGでは散々な結果だったNTFS圧縮。

もしかして、JPEGは元々かなりの圧縮がかけられているから効果がなかったのでは?!

となると試すべきは圧縮がかかっていないファイル!というわけで、次にビットマップファイル(BMP)を用いて検証してみました。

testbmp

用いたのは1,120枚のBMPファイルで構成される6.49GBのデータ。先ほどのJPEGよりも総容量が少ないですので絶対的時間変化は参考になりませんのでご了承を。べっ、別に時間がかかってめんどくさくなったわけじゃないんだからね

NTFS圧縮による転送速度変化

まずは、NTFS圧縮が無効の場合。

ntfs_compress6

ntfs_compress5

CPU使用率はJPEGの際とほとんど変わりませんね。

読み出しは約116MB/s、書き込みは約95MB/sとなった。

続いてNTFS圧縮有効時。

ntfs_compress8

読み出しでJPEGと違いが出ましたね。JPEGでは18%程度だったCPU使用率は25%に上昇。BMPの場合より高い圧縮が行われているためにCPUへの負荷も高めになったんでしょう。

各コアの使用率も安定していませんが、実は、各コアの使用率の合計を出すと常に100%前後となりました。どうやら、ここでもマルチスレッドに対応していないことにより、制限がかかってしまっているようですね。

コピーに要した時間は72秒。転送レートにすると約92MB/s。1.5倍といったところでしょうか。

最後にNTFS圧縮有効時の書き込みを見ると…

ntfs_compress7

CPU使用率的にはJPEGの際と似たような傾向ですね。いかにもシングルタスク。コピー終了後にしばらくCPU使用率が高めになるのもJPEGと同じですね。

コピーに要した時間は161秒ですので、NTFS圧縮無効時の2.3倍となった。JPEGよりも速いですね。

NTFS圧縮の効果

JPEGではほとんどファイルサイズに変化がありませんでしたが、BMPではどうかというと…

testbmp_compressed

おおっ!総容量6.49GBが3.21GBに!これは効果的だと言って良さそうですね。

【まとめ】へ

【レビュー的な何か】NTFSの圧縮機能は有効なのか?【まとめ】

【レビュー的な何か】NTFSの圧縮機能は有効なのか?【目次】

【レビュー的な何か】NTFSの圧縮機能は有効なのか?【CrystalDiskMark】
【レビュー的な何か】NTFSの圧縮機能は有効なのか?【JPEGコピー編】

【レビュー的な何か】NTFSの圧縮機能は有効なのか?【BMPコピー編】

【レビュー的な何か】NTFSの圧縮機能は有効なのか?【まとめ】
←今ココ

登場から10年近くたっているのに「使えない機能」と思われがちな『NTFS圧縮』。

定番のCrystalDiskMark2.2と実際の使用方法に近いファイルコピーにおいて『NTFS圧縮』の効果を検証してみました。しかし、CrystalDiskMark 2.2では有効・無効による効果の差はみられなかった。

求められるのはマルチスレッド対応?!

ファイルコピーはさすがに速くなることはなく、特に圧縮を行う書き込み時の速度低下はかなり大きいかった。現在はマルチコアCPUが主流となっていてCPUでの高速な圧縮によってファイル転送量が減り、読み書きが高速化されるかと思ってましたが、残念な結果に。その原因と言えるのが、NTFS圧縮がマルチスレッドに対応していないことだろう。せっかくのマルチコアも主に1コアしか利用されていない。

より使える機能とするためにはマルチスレッドに対応することが必須でしょうね。

圧縮効果のほどは?

JPEGとBMPにて検証を行いましたが、JPEGでは圧縮効果はほとんどありませんでした。JPEG自体が元々高度な圧縮がかけられているためでしょう。これに対し、BMPは容量が半分に!

JPEGやMPEGなど高度な圧縮がかけられているファイルに対してはそれほど効果はありませんが、圧縮がかけられていないようなファイルを多く保存する場合は容量節約に貢献しそうです。

どんな場面で使えるか?

転送速度はコピーすると確かに倍以上の時間がかかりますが、通常のファイルを開いたり、セーブしたりといった使い方では必要十分な速度があります。現に、1か月ほど前からBarracuda 7200.11 ST31500341ASをNTFS圧縮有効で使用していますが、遅いと感じることはファイルバックアップ時くらいですね。

データ保存領域では意外と使える機能なのかもしれませんね。

ただし、動画編集等の高速転送が要求される領域では使用しない方が良さそうです。

参考までに…

NTFSの圧縮が有効となっているファイルは以下のように青い字で表示されます。

ntfscompress

パーティション全体だけではなく、ファイル・フォルダ単位での圧縮が可能となっています。

最後に…

使えない機能だと思っていた『NTFS圧縮』でしたが、使い方次第では有効活用できそうですね。自分の使い方にあっているようであれば一度『NTFS圧縮』を試してみてはいかがでしょうか?

2009/6/23 火曜日

『圧縮を有効にする』使ってる人いますか?

compress

ファイルシステム「NTFS」で利用できる『圧縮を有効にする』。Windows NT 3.51から利用できるなり、登場してから10年以上たっている。

だが、この機能を使用している人って一体どれくらいいるのだろうか?

PCのHDD圧縮は果たして行うべきか否か – ITmedia
http://techtarget.itmedia.co.jp/tt/news/0906/23/news03.html

これに関連して面白い記事がITmediaにありました。詳しい内容は実際に読んでもらうとして、自分はこれを読んで、「あぁ~、言われてみれば」と思いました。

確かにHDDはPCを構成する要素としてはかなり遅い分類ですし、最近のCPUは恐ろしく早いですからねぇ。昔のCPUでの圧縮・展開が遅く、使えないイメージが未だに残ってましたが、もしかしたら今のCPUなら(^^;)

そのうち試してみましょう。

HTML convert time: 0.722 sec. Powered by WordPress