タグ別アーカイブ: RAID

Linuxカーネル4.0リリース、ライブカーネルパッチを導入 | SourceForge.JP Magazine

2月中旬に公開されたLinuxカーネル3.19に続くリリースとなる。Linuxカーネル3.19の公開後、Torvalds氏はGoogle+にて次期版の名称を「Linux 3.20」とするか、以前構想を明かした通りに「4.0」とするかについてオンライン投票の形で意見を募った。投票では少しの差(56%対44%)で「4.0」が上回っており、その後2月末に初のリリース候補版を「Linux 4.0」として公開した。今回のバージョン番号の変更については「数字が大きくなることを避けること」を目的としており、Torvalds氏も「4.0の前提は、新しい実験的な機能よりも安定版リリース」でありこれに沿うものと記している。

大きな変更点として、再起動をせずにカーネルにパッチを適用できる基礎的な仕組みが導入された。米Red Hatのライブパッチツール「kpatch」とSUSEのライブパッチツール「kGraft」をサポートする。一方でremap_file_pages()システムコールは削除された。この機能のエミュレーションは残るため、アプリケーションの動作に影響がでることはないという。

ファイルシステム側ではパラレルNFS(pNFS)ブロックサーバーのサポートが加わり、btrfsでのRAID 5/6も改善した。また、ubifsファイルシステムでマルチキューブロックレイヤーをサポートし、準仮想化のvirtioはバージョン1.0となった。ext4ではlazytimeファイるシステムオプションのマージも行われており、ファイルシステムに多数のI/Oを加えることなく正確なアクセス時間を効率的に追跡できるとしている。overlayFSでは複数のリードオンリーレイヤーのサポートが加わっている。

このほかにも、perfツールの改善など多数の細かな機能強化が施された。IBM s/390 z13プロセッサなど、新しいプロセッサ、ハードウェアのサポートも加わっている。

引用元: Linuxカーネル4.0リリース、ライブカーネルパッチを導入 | SourceForge.JP Magazine.

Google、「DQN」という人工知能を開発、ゼロからゲームをプレイして自力で攻略方法を見つける -INTERNET Watch

米Googleは、深層強化学習(Deep Reinforcement Learning)アルゴリズムを用いた人工知能「DQN」を開発したと発表した。DQNは「deep Q-network」の略で、深層強化学習を通して、人間レベルの制御を可能にする。自力でコンピューターゲームをプレイし、攻略方法を見つけ出すことができるという。

Googleでは、DQNに横スクロールシューティングゲーム「River Raid」やボクシングゲーム「Boxing」、3Dカーレースゲーム「Enduro」といったAtari 2600のゲーム49種類をプレイさせた。同じネットワークアーキテクチャーとチューニングだったにもかかわらず、すべてゼロからプレイすることができたという。

ゲームのプレイ回数に応じてプレイスタイルも洗練され、ブロック崩し「breakout」では、プレイ回数が100~200回の時点ではボールを取りこぼすこともあったが、400回を超えるとうまく跳ね返すことができるようになった。600回を超えると、別の壁を使ってボールをバウンスさせることでブロックを崩す攻略方法を発見した。

プレイの結果、49ゲーム中43ゲームで、これまでの機械学習手法を上回ったほか、29のゲームではプロのゲームテスターと同等か、それを超えるパフォーマンスを見せたという。

引用元: Google、「DQN」という人工知能を開発、ゼロからゲームをプレイして自力で攻略方法を見つける -INTERNET Watch.

SSDのせいで現代の犯罪捜査が極めて困難になっている状況が判明、その原因をSSDの仕組みから解説 – GIGAZINE

ゴミを消去しデータをいつでも書き込みできる状態にしておく処理はガーベジコレクションと呼ばれ、SSDの速度低下を防ぐために不可欠な技術であり、Trimコマンドなどを駆使することでいかに「ゴミを掃除しておくか」が、SSDの性能を決めると言っても過言ではありません。つまり、SSDの性能アップはいかに早くデータを完全に消去するかにかかっているということです。

この事実は、SSDが進化すればするほどデータを復元することが困難になるということを意味しており、必然的にデジタルフォレンジックが困難になっていることをも意味しています。ガーベジコレクションで消去されたブロックを復元することは不可能であるため、デジタルフォレンジックが成果を上げるかどうかは、Trimコマンドを実行するSSDコントローラのさじ加減に大きく左右されるというわけです。

なお、以下のいずれかの条件を満たす場合、Trimコマンドが機能しないため、デジタルフォレンジックを行う技術者にとっては福音となり得ます。

1.SSDが古いモデルでそもそもTrimコマンドをサポートしていないとき

2.Trimコマンドに対応していないWindows XPをサポート切れ後も使い続ける強者が相手だったとき

3.Trimコマンドに対応していないMac OS Xのバージョン10.6.8以前のOSを使っているとき

4.SSDがNTFS以外のファイルシステムでフォーマットされているとき

5.USB接続の外付けSSDだったとき

6.PCI-Express接続の超高速SSDのとき(注:PCI-ExpressではTrimコマンドはサポートされていないものの、サードパーティ製のガーベジコレクションソフトが使われている場合は除く)

7.RAIDが組まれているとき(ただし、RAIDの場合データ復元のハードル自体は高い)

8.Trimコマンドを無効にする暗号化が施されているとき(ただし、暗号の解読自体の難しさはあり)

引用元: SSDのせいで現代の犯罪捜査が極めて困難になっている状況が判明、その原因をSSDの仕組みから解説 – GIGAZINE.

NetApp ディスクボトルネックの対処方法について – NETWORK ENGINEER BLOG

NetApp は独自技術により、ランダム I/O をシーケンシャル I/O に変換します。具体的には、一端 NVRAM 上にデータを溜めておき、一定の間隔(デフォルト10秒)で、一気に RAID グループにストライプ書き込みを行います。そのため、ディスク上から読み込む無駄な I/O を削減する事ができ、一般的なストレージより高速な書き込みが可能となっています。

引用元: NetApp ディスクボトルネックの対処方法について – NETWORK ENGINEER BLOG.

米Red Hatが「RHEL 6.5」を発表ーーDocker対応、仮想化KVMも強化 | SourceForge.JP Magazine

Red Hat Enterprise Linux(RHEL) 6.5は現在の最新ブランチであるバージョン6系の最新版。2月に公開されたバージョン6.4に続くリリースで、ネットワークやセキュリティ、仮想化などで強化が行われている。

ネットワークでは、LAN上での高精度な時間同期のための「Precision Time Protocol(PTP)」をサポート、高速で低遅延のアプリケーションを支援するという。アーカイブしたデータのタイムスタンプの精度なども改善し、OpenStackのネットワーク名前空間のサポートも追加した。管理者はネットワーク活動の状況を把握しやすくなり、IGMP(Internet Group Management Protocol)を用いたスキャンによるマルチキャストルーターポートの表示も可能となった。

仮想化では、アクティブなゲストで仮想CPU(vCPU)を動的に有効化/無効化できるようになった。また、KVMゲスト仮想マシンでサポートするRAMの容量が最大4TBに拡張されている。KVMではこのほか、分散ストレージGlusterFSボリュームに直接アクセス可能となった。サードパーティのハイパーバイザー上でゲストとして動かす場合の性能も強化したという。

セキュリティでは、Network Security Services(NSS)、GnuTLS、OpenSSL、Javaなどのシステムで共通で利用される証明書ストアが導入された。また、NISTのセキュリティコンテンツ自動化プロトコル実装であるOpenSCAP 2.1をサポート、OpenSSLはバージョン1.0.1に更新した。これらの機能強化により、ミッションクリティカルなシステムやアプリケーションに対応できる安全性を備えるとしている。

Linux Containers (LXC)をベースとするコンテナエンジン「Docker」も新たに導入された。物理、仮想、クラウド環境でコンテナを作成し、アプリケーションイメージを実装できるという。

ストレージでは、ディスク上のファイルシステムへのアクセスを停止するfsfreezeに完全対応した。RAIDデバイスとの併用に設計されており、ボリュームスナップショットの作成を支援するという。NVM Express(NVMe)ベースのSSDサポート、単一のiSCSIターゲットで設定可能な論理ユニット番号(LUN)は255以上に拡張されている。

引用元: 米Red Hatが「RHEL 6.5」を発表ーーDocker対応、仮想化KVMも強化 | SourceForge.JP Magazine.

fusionio vs huawei | ツチノコブログ

Huawei Tecal ES3000はMLCのNANDフラッシュ製品で

2.4TBでPCIe (2.0 x8)のインターフェースを持っています。

読み込み時の最大帯域は3.2GB/s書き込み時の最大帯域は2.8GB/sとなっています。

latencyでみると読み込みは8us、書き込みで49usの能力を持つ。

非常にユニークだなと思ったのがFPGAを3つ搭載しFTL、GC、RAIDやECCなどの処理を担うことでホストサーバのCPUをオフロードしてるところ。また、IOスケジューラーをダブルキューとすることで種類の違う命令を別々のキューで処理できるようになっている。この機能により性能の劣化を低減させ、iodrive2よりも2~3倍高速になっている。

価格も半値で設定されているようです。

日本法人は中国本体の開発部門と直接のパスを持っているようで対応が早くなるようです。

ドライバはカーネルそれぞれで専用のものを利用する必要がありますが結構そろっていました。

rhelやCentOS5/6のほとんどのカーネルには対応していると思われる。それ以外のカーネルで利用する場合はhuawei社でドライバをコンパイルしてもらう必要がある。

iodriveなんかは自分でカーネルに合わせてコンパイルしなおしますが、es3000では違う。

このあたりがちょっと怪しいような気もしています。ドライバのソースが出せないということで、どこかのパテントを侵害していたり怪しいコードが埋め込まれていたりしてたりして。んなことはないと思いますが。

引用元: fusionio vs huawei | ツチノコブログ.

I/Oスケジューラを使う。

Linux カーネルの I/O スケジューラ

従来は Linux カーネルの I/O スケジューラは一種類だけで、コンパイル時に固定されていました。しかし Linux カーネル 2.6.10 からは複数の I/O スケジューラをデバイス毎に切り替えて、ハードウェアや用途に最適なスケジューラを選べるようになりました。カーネル 2.6.17 に組み込まれているスケジューラは下の四種類です。

noop

anticipatory

deadline

cfq

noop スケジューラ

noop スケジューラはその名の通り、何もしないスケジューラです。入出力インタフェースや周辺機器自身がハードウェアレベルで高度な処理を行う場合 (インテリジェントな RAID コントローラなど) や、非常に性能が良い場合 (半導体ディスクなど) は、カーネルはむしろ何もしないほうがシステム負荷が軽減できるという場合があります。 noop スケジューラはこのような場合に指定します。普通のパソコンでは noop スケジューラを指定すると性能が落ちるでしょう。

anticipatory スケジューラ

anticipatory スケジューラ (as) はデバイスが伝統的なハードディスクと同様の構造を持つと仮定して、将来の入出力要求を予測したスケジューリングを行います。また入出力要求を待っていくつか貯めてから処理を行う性質があるので、レイテンシは悪くなるかもしれません。このスケジューラは比較的低速のハードディスクを用いた環境で良い性能を示すでしょう。

deadline スケジューラ

データベース向きのスケジューラです。スループットよりもレイテンシに最適化したスケジューリングを行います。デスクトップなどの普通のファイルシステムで使用してもあまり良い性能は得られないでしょう。

cfq スケジューラ

Completely Fair Queuing (CFQ) スケジューラは Fedora Core のカーネルパッケージのデフォルトです。 CFQ はプロセス毎の I/O キューを持ち、極力公平なスケジューリングをしようとします。これにより従来の Linux カーネルで見られた「バックグラウンドで I/O 処理が行われているとレスポンスが悪くなる」という現象を抑えています。 CFQ はどのような環境でも比較的良好な性能を示すオールラウンドプレイヤー的な性質を持っているようです。

引用元: I/Oスケジューラを使う。.

最新Red Hat Enterprise Linux 6.0の全貌 – アイドル時の消費電力を20%削減:ITpro

最近のRAIDカードやネットワークカードの消費電力は意外と大きく、専用処理のチップとして組み込みのPowerPCやMIPS、ARMベースの1GHzデュアルコアチップが搭載されているものまで製品として出ている。小さなコンピュータ並みだ。

引用元: 最新Red Hat Enterprise Linux 6.0の全貌 – アイドル時の消費電力を20%削減:ITpro.

LinuxサーバーにSSDを使うための情報メモ – 気ままにインフラエンジニア

Trimコマンドの発行にはSSDをSATAのAHCIモードで接続することが必要。

RAIDカード経由でSSDを接続した場合、SSDを直接扱えないのでTrimは使えない。

2012/05現在、Trimに対応したRAIDカードはないようだ。

(ただし、ext4のdiscardコマンドは内部的にはSCSIデバイスに対してUNMAPコマンドが発行されるので、今後RAIDカード側がATAコマンドのTrimに再度変換してくれれば…?無理かな)

一般的な1UサーバーではほとんどがフロントベイからバックプレーンのminiSAS経由で内蔵のRAIDカードへ接続する形態が取られているため、M/BのSATAポートへSingle Connectできない。つまり、この状態ではどうあがいてもTrimを利用することは不可能。

RAIDカードを省略し、オンボードのチップでRAIDを実現しているタイプの安価なサーバー(1U/ハーフU等)では、ドライブとM/BのSATAポートが直接接続されている場合がある。この場合は内蔵のRAID機能をOFFにすることでAHCIが利用できる場合もあるし、BIOSに設定がなくジャンパピンを変更しなければいけないものもある。

引用元: LinuxサーバーにSSDを使うための情報メモ – 気ままにインフラエンジニア.