タグ別アーカイブ: クラスタ

ネット広告のクリック数のうち88~98%はボットによるものだと判明 – GIGAZINE

アドリアン・ニール氏とサンダー・コーウェンホーヴェン氏の調査した結果、Google・Yahoo!・LinkedIn・Facebookの広告をクリックしていたボットには複数の種類が存在することが判明しています。ボットは大まかに分けると6種類存在したそうで、それらは以下の通り。

◆Basic(基本型)

広告プラットフォーム上にて、広告キャンペーンなどをターゲットに走る「指定されたURL」にのみHTTP GETリクエストを送るボット。

◆Enhanced(改良型)

特定の広告のためのHTTP GETリクエストを広告サーバーから受け、AJAXを使用してウェブブラウザのロードイベントを記録します。これが標準のロードイベントとは異なる場合、HTTP GETリクエストを送っているのはEnhanced型のボットとのこと。

◆Highly Enhanced(高度改良型)

クライアント側のコード実行が既知のコードと一致しない場合は、高度なJavaScriptプロセッサーメトリクスを使用するボット。

◆Advanced(進化型)

人間の基本的な動作を真似るもの。

◆Highly Advanced(高度進化型)

人の動作を真似るボットは、ロードしたページを数秒間表示したままにしたり、マウスやキーボードを使用したり、ページを上下にスクロールしたりします。しかし、ボットが行うような擬似的な無作為性はクラスター分析で検知可能とのこと。

◆Humanoid(ヒト型ボット)

ベジェ曲線やB-スプライン曲線などを使用して高度に人間の行動を真似るボット。

そして7日間の調査結果は以下の通り。各広告ネットワーク上での広告クリックは88~98%がボットによるもので、特にGoogleの広告ネットワーク上では98%がボットによるクリックです。また、Yahoo!やLinkedInの広告ネットワーク上には基本型のボットが存在しない、というのも大きなポイント。

引用元: ネット広告のクリック数のうち88~98%はボットによるものだと判明 – GIGAZINE.

LevelDB入門 (基本編) – from scratch

アプリケーションから直接使うデータストアとして使う場合、LevelDB自身はシンプルなデータ操作しか提供していないので、リッチな機能を提供している他のデータストアとは若干レイヤーが違います。

LevelDBをバックエンドとして使う独自のデータストアを作る、という使われ方が多いです。

InfluxDBは内部的にLevelDBを利用していますが、こういった使われ方ですね。

ちなみにInfluxDBはkeyにtimestampが付くようになっているので、LevelDB内部ではkeyの順序でsortされ、時系列順に並びます。LevelDBは順番にReadするsequential readとwriteヘビーにも向くデータストアになっているため、InfluxDBのようなtimeseries DBのバックエンド向きであると言えるでしょう。

またRiakもバックエンドにLevelDBを利用しています。RiakはLevelDBに対してクラスタリングやデータ復旧といったの耐障害性、使いやすいREST APIなどなどを機能として付与し、LevelDBを分散環境でも利用できるように機能拡張された使い方だと言えます。

また、構造が非常にシンプルで軽量なので、サーバーサイドのバックエンドとしてだけではなく、クライアントサイドのバックエンドとしても使えます。ChromeのIndexedDBにも使われてますし、Objective-CやAndroid-Javaでもbindingsが存在しているところを見るとクライアントサイドの軽量永続化データストアとして使われることが多いようです。

引用元: LevelDB入門 (基本編) – from scratch.

参加レポート: LINE Developer Conference (Infra Day) | Developers.IO

2つ目はIDC空間の不足。これは後述のネットワークレイヤのセッションでもあったのですが、LINEさんでは基本的に物理サーバで構成していて、サーバ台数だけで5桁(万単位)の台数があり、そうするとIDCの物理的スペースを食いつぶしてしまいサーバを設置する場所が無いという事態が発生しているそうです。LINEサーバのクラスタの仕組みで最も多く使っているのはApache HBaseだそうですが、経験則として1000台以上のクラスタ構成にすると性能が出ず、またサーバ台数を増やしていくとその分故障の可能性が増えるため運用コストが増加してしまいます。そのためサーバ台数を減らす施策として、サーバのスケールアップによる集約と、そして段階的に仮想化を行っているところとのこと。スケールアップとしてはCPUやメモリなど様々な方策がありますが一番ボトルネックとなったのはDisk I/Oで、ここは検証した結果最もIOPSが高かったPCIE-SSDを導入することで高いパフォーマンスが発揮出来たとのこと。また仮想化についてはVMware vSphereを使われており、1物理サーバに対し10VMくらいを割り当て、現在は数千台くらいのGuestOSが動作しているそうです。

引用元: 参加レポート: LINE Developer Conference (Infra Day) | Developers.IO.

mixiのスモールワールド性の検証 | mixi Engineers’ Blog

mixi上のマイミクシィネットワークを使用して、スモールワールド性について調査しました。その結果ユーザ間の平均距離は5.4、平均クラスタ係数は0.2となり、スモールワールド性が成り立ちそうであることが分かりました。

引用元: mixiのスモールワールド性の検証 | mixi Engineers’ Blog.

vSphere 5.1 ドキュメント センター

データストア クラスタを作成するときは、次のガイドラインに従ってください。

データストア クラスタには、類似した、または交換可能なデータストアを格納する必要があります。

1 つのデータストア クラスタに、サイズおよび I/O キャパシティが異なるデータストアや、異なるアレイおよびベンダーからのデータストアを混在させることができます。しかし、1 つのデータストア クラスタ内に、次のタイプのデータストアを共存させることはできません。

NFS および VMFS のデータストアを同じデータストア クラスタ内に組み合わせることはできません。

複製されたデータストアは、同じストレージ DRS 対応のデータストア クラスタ内に、複製でないデータストアと組み合わせることはできません。

データストア クラスタ内のデータストアに接続されるすべてのホストは、ESXi 5.0 以降である必要があります。データストア クラスタ内のデータストアが ESX/ESXi 4.x 以前のホストと接続されている場合、ストレージ DRS は実行されません。

複数のデータ センター全体で共有されているデータストアは、データストア クラスタに含めることはできません。

ベスト プラクティスとして、ハードウェア アクセラレーション機能が有効化されたデータストアは、ハードウェア アクセラレーション機能が有効化されていないデータストアと同じデータストア クラスタ内に含めないでください。データストア クラスタ内のデータストアは、ハードウェア アクセラレーション機能対応の動作を保証するためには、同種のクラスタである必要があります。

vSphere 5.1 ドキュメント センター.

Windows Server 2008 R2 における、ソース : NTFS、ID: 55 エラーについて (KB 2885209) – Ask CORE – Site Home – TechNet Blogs

この技術情報の修正プログラムでは、NTFS ファイル システム ドライバー (ntfs.sys) の不具合により、ファイル システム構造に破損が発生し、同時にその破損を検知して、ソース : NTFS、ID: 55 エラーが記録される事象に対応を行っています。

この事象の発生条件として、ファイル システムのアロケーション ユニット サイズ (クラスター サイズ) が 4KB より大きい (4KB 丁度は含みません) という条件があります。

アロケーション ユニット サイズの既定値は多くの場合 4KB ですが、16 TB を超える大容量のボリュームでは 4KB より大きな値が既定値で設定されます。

各ボリューム サイズと既定のアロケーション ユニット サイズは以下の技術情報をご参照ください。

文書番号 : 140365

NTFS、FAT、および exFAT のデフォルトのクラスター サイズ

http://support.microsoft.com/kb/140365/ja

そのため、16 TB を超える大容量のボリュームをご利用の場合 (もしくはアロケーション ユニット サイズを変更して利用している場合) には、2885209 の事象が発生する可能性がありますので、修正プログラムの適用をご検討ください。

なお、本事象は Windows Server 2008 R2 RTM (サービスパックを適用していない環境) でも発生します。その際はまずサービスパック 1 (SP1) を適用の上、上記修正プログラムを適用してください。

なお、すでにファイル システムの破損が発生している場合には、上記修正プログラム適用によるファイル システムの修復効果はありませんので、一度修復モードの Chkdsk を実行する必要があります。

修復モードで実行するには /F オプション、または、/R オプションを指定します。

引用元: Windows Server 2008 R2 における、ソース : NTFS、ID: 55 エラーについて (KB 2885209) – Ask CORE – Site Home – TechNet Blogs.

VMware KB: 大規模環境でアレイベースのレプリケーションとともに SRM を使用する場合の制限

アレイベースのレプリケーションを使用した SRM を利用する場合、以下のガイドラインに従ってください: 保護対象の仮想マシンを含む ESXi クラスタを構成し、並行して同時に 50 以上の LUN への処理を行わせないようにします。例えば、250 の LUN がある場合、最大 50 の LUN を含む 5 つの ESXi クラスタを作成します。併せて Cluster wide storage rescan from vCenter Server causes ESXi/ESX hosts and virtual machines to become unresponsive 1039088 を参照してください。VMware はこの問題を解決するために対応を進めています。修正の提供予定や KB の更新について確認が必要な場合は VMware サポートにお問い合わせください。 VNS ストレージアレイと、SRM と互換性のある VNX ストレージレプリケーションアダプタSRAを使用したファイバチャネル SAN 構成の場合、SRM の保護グループ単位の LUN の密度を増やします。保護グループ毎の LUN の密度を増加させることで、リカバリに要する時間を改善できる可能性があります。例えば、50 の LUN がある場合、それぞれ 1 LUN を含む 50 の保護グループを作成するのではなく、5 LUN ずつ含む 10 の保護グループを作成します。SRM Performance is Slow with EMC VNX 5700 Storage 2058987 も参照してください。上記の内容は、vSphere Replication を使用した大規模な SRM 環境には該当しません。

引用元: VMware KB: 大規模環境でアレイベースのレプリケーションとともに SRM を使用する場合の制限.

クラスタファイルシステム「VMFS」のデータ復旧に「日本データテクノロジー」が成功 – GIGAZINE

実際に復旧作業を担当するのは2名です。人数が多ければよいというわけではなく、ある一定のスキルがなければ10人いても20人いても同じですから。

引用元: クラスタファイルシステム「VMFS」のデータ復旧に「日本データテクノロジー」が成功 – GIGAZINE.

本の虫: 真に正しいデジタルデータの保存方法

では、30年を超えてデジタルデータを保存するにはどうすればいいのか。方法は一つしかない。

多数の記録媒体の集合で構成され、また個々の記録媒体は任意に追加、交換されるクラスター上に、絶え間なく自動でデータを複数の記録媒体に重複してコピーし続けて冗長性を確保するシステム上に保存することだ。

このシステムならば、記録媒体は数年で劣化するものでもかまわない。絶えず記録媒体の追加交換を続けて、システムが稼働する限り、データは安全である。

引用元: 本の虫: 真に正しいデジタルデータの保存方法.

【後藤弘茂のWeekly海外ニュース】海外のオクタコア版GALAXY S4の「big.LITTLE」ソフトウェアアーキテクチャ

現在、ARMはbig.LITTLEに関して3つのユースモデルを示している。プロトタイプのみのbig.LITTLEクラスタマイグレーションと、OSにスイッチャソフトを加えて実現する「big.LITTLE CPUマイグレーションモデル(CPU Migration Use Model)」、big.LITTLE MPモデルの3ユースモデルだ。新たにCPUマイグレーションモデルが加わり、これがbig.LITTLE立ち上げ時のモデルとして推奨された。また、CPUマイグレーションモデルとMPモデルのどちらについてもソフトウェアの開発をLinaroが行なっていることも明らかにされた。

big.LITTLEの各ユースモデル(PDF版はこちら)

CPUマイグレーションモデルと、最初のクラスタマイグレーションモデルの大きな違いは、CPUクラスタ単位ではなく、CPUコア単位でスイッチする。bigコアとLITTLEコアを1対1でペアリングして、それぞれのペアの中で片方のコアだけがオンになる。LITTLEコアで走らせていたタスクの負荷が高い場合に、ペアになったbigコアに移行させる仕組みだ。ARMはCPUマイグレーションモデルが、今年(2013年)前半に利用可能なソフトウェアソリューションだと説明していた。

引用元: 【後藤弘茂のWeekly海外ニュース】海外のオクタコア版GALAXY S4の「big.LITTLE」ソフトウェアアーキテクチャ.