タグ別アーカイブ: Cloud

Google Cloud Platform Blog: Adventures in SRE-land: Welcome to Google Mission Control

But at Google, Mission Control is not a place. It’s a six month rotation program for engineers working on product development to experience what it’s like to be a Site Reliability Engineer (SRE). The goal is to increase the number of engineers who understand the challenges of building and operating a high reliability service at Google’s scale.

引用元: Google Cloud Platform Blog: Adventures in SRE-land: Welcome to Google Mission Control.

GoogleがロードバランサーSeesawをオープンソース化(Go言語で書かれている) | TechCrunch Japan

Googleが今日(米国時間1/29)、ロードバランサーSeesawをオープンソースにする、と発表した。このLinuxアプリケーションはGoogleのGo言語で書かれていて、これからはApacheライセンスによりGitHubで入手できる。

Googleのインフラの日常的メンテナンスを担当しているSite Reliability Engineer(SRE)の一人Joel Singが、今日の発表声明で述べているところによると、Googleは2012年までは二種類のロードバランシングシステムを使っていたが、しかしどちらも、“管理と安定性に問題があった”。そこで、彼と彼のチームは新しいソリューションを探したが、Googleのニーズを満たすものがなかったので、自作することになった。

関連記事

Google Open Sources Its Seesaw Load Balancer

Google Cloud Platform Adds Load Balancing To Provide More Scale Out Capability And Control To Developers

“要求はそれほど複雑ではなかった。必要なのは、ユニキャストとエニーキャストの仮想IPを扱えること、NATとDSR(またの名DR)でロードバランシングができること、そしてバックエンドに対する健康診断ができることだ”、とSingは書いている。“何よりも必要なのは、管理のしやすいプラットホームだった。構成を変えたときのデプロイの自動化、とかね”。

一部ではすでにネットワークレベルのロードバランシングにLinux Virtuall Server(LVS)を使っていたから、Singのチームもそうすることにした。ただしそれに加えて彼らは、 モジュール構造のマルチプロセスアーキテクチャと、フェイルオーバーやリカバリのサービスも実装した。

“開発は短期間で集中的に行い、完成しデプロイにも成功したSeesaw v2で二つの既存のプラットホームをリプレースした”、とSingは書いている。“これにより、全体的に、サービスの可利用性が向上し、管理のオーバヘッドが減った”。

なお、このプロジェクトの提供者はGoogleだが、オープンソースのバージョンはGoogleの公式のプロダクトではない。だから、サポートをGoogleに求めることはできない。

引用元: GoogleがロードバランサーSeesawをオープンソース化(Go言語で書かれている) | TechCrunch Japan.

“One Cloud”をコンセプトにすべてをクラウドへ、IIJが次世代クラウドと新型ネットワークサービスを発表 – クラウド Watch

「IIJ Omnibus」は、クラウド上の専用プライベート領域に独自開発のNPSを自動生成し、NPSを介して各機能モジュールを提供する新サービス。ユーザーは、専用のオンラインポータルから必要な機能モジュールの申し込み、設定、管理を自由に行うことができる。宅内(拠点)に設置する機器は、IIJから無償提供されるサービスアダプタ1台で完結するため、ユーザーはサービスアダプタを接続するだけで、センター側との自動接続、自動管理機能により容易にWANを構築できるという。

NPSは、ユーザーの仮想ネットワークの核となるシステムで、IIJ独自のSDNオーケストレーターによって、クラウド上に自動生成される。NPSはオンラインポータルから申し込むと、速やかに生成されるため、ネットワークの構築をすぐに始めることが可能。また、NPSはほぼ無限に仮想空間上で拡張することができるため、顧客ネットワークの規模拡大にも柔軟に対応する。NPSのクラウド基盤は、複数拠点に物理的に分散して配置されるため、ネットワークのディザスタリカバリ対策としても有効となっている。

「IIJ Omnibus」で提供するオンラインポータルでは、ユーザーがサービスの追加、削除を行うオーダー用サイト、サービスの設定、監視、管理を行うコントロールパネル、メンテナンス情報などを通知するサポートサイトを用意しており、すべてのサイトはシングルサインオンで利用可能。ユーザーは、NPS、各機能モジュール、サービスアダプタまで、「IIJ Omnibus」で提供されるすべての要素について、オンラインポータルから契約、設定、管理を行うことができる。

引用元: “One Cloud”をコンセプトにすべてをクラウドへ、IIJが次世代クラウドと新型ネットワークサービスを発表 – クラウド Watch.

年金機構は氷山の一角、少なくとも300カ所に侵入済み、報道機関にもクラウド事業者にも -INTERNET Watch

Blue Termiteは、「CloudyOmega(クラウディオメガ)」と呼ばれる攻撃者グループが展開している攻撃の1つ。その標的型攻撃メールとマルウェアが昨年秋、シマンテックやトレンドマイクロによって報告されていた。

例えば、送信元が「健康保険組合運営事務局」というメールでは、Wordの文書ファイルを装った「健康保険のお知らせ」というファイルが添付されているが、実際は自己解凍型の実行ファイル(.exe)であり、これを開いてしまうと、ダミーのWord文書が表示される裏でマルウェアの本体が実行されて感染。攻撃者の指令サーバー(C&Cサーバー)との通信を開始し、情報窃取などの活動を行う。

カスペルスキーの観測によれば、このC&Cサーバーへの通信は昨年9月18日から発生し、10~12月には1日あたり100件を超える時期もあったが、その後、沈静化。しかし今年4月以降、再び活発になり、多い時では140件を超える日も出てきたという。

また、通信元のIPアドレスを分類したところ、そのうち27%はマルウェア解析を行っているようなウイルス対策ベンダーや自動解析用の仮想環境だったが、73%が日本の組織で占められていることが分かった。カスペルスキーでは観測データの半分程度しか解析していないというが、それでも日本の組織300カ所以上が、このマルウェアに侵入されていることになるとしている。

なお、この数字はユニークIPアドレス数に基づいたものであり、同一組織で複数IPアドレスを使用している場合も考えられるとしている。また、そのすべてで情報窃取などの活動に発展しているとは限らない(分からない)というが、少なくとも、マルウェアが侵入に成功し、C&Cサーバーとの通信が発生している組織がかなりの数あるということになる。

引用元: 年金機構は氷山の一角、少なくとも300カ所に侵入済み、報道機関にもクラウド事業者にも -INTERNET Watch.

iPad 500万台を日本の高齢者に配布。アップルとIBMが日本郵政の実証実験に参加 – Engadget Japanese

日本郵政グループは、2016年からタブレット等の情報通信技術を利用した新しい高齢者向け生活サポートサービスを開始する予定です。

日本郵政グループの新しい高齢者向けサービスは、全国の65歳以上の高齢者約3300万人に向けて、iPadを配布し、高齢者がiPadを通じて家族、自治体・地域の事業者や郵便局などとつながることで、地域のバーチャルコミュニケーションの基盤と高齢者コミュニティを作ることを目指しています。

それに先駆けて今年の後半から行う実証実験では、IBMが開発した新しい高齢者向けの専用アプリとAppleのiPadを利用して、郵便局社員を中心にリアルな生活サポートサービスの支援を提供します。

アップルが iPad本体と iCloudなどのクラウドサービスを提供し、IBMが IBM MobileFirst for iOSプラットフォームなどのクラウドサービスや専用のアプリを提供する形で、お互いの強みを活かした共同プロジェクトになります。

実証実験では、以下の5つのサービスを提供する予定。

情報通信技術の利活用を併用した「みまもりサービス」

親世代向け・子世代向けの「コミュニケーションサービス」

自宅での申込みによる「買い物支援サービス」

自治体と連携した「地域情報サービス」

各種相談サービス

アップルの発表によると、配布されるiPadの台数は2020年まで段階的に増やし合計で400万台から500万台になる予定です。

そのため、今回の業務提携は、昨年からAppleとIBMが共同で進めてきたiPad in Businessとしても、まとまった台数を提供する大きな事例となります。

高齢者の増加は日本だけの問題ではありません。世界人口の割合で見ても、65歳以上の割合が2013年の11.7%から、2050年までに21%に増えると予測されています。今回のプロジェクトが成功すれば、高齢者向けの情報通信技術を利用した先行事例としても注目を集めることになりそうです。

引用元: iPad 500万台を日本の高齢者に配布。アップルとIBMが日本郵政の実証実験に参加 – Engadget Japanese.

AppStoreで人気の「無料音楽アプリ」5つを通信解析してわかった音楽無料提供の仕組みとは (iLoveMusic・MusicCloud・DropMusic・Music Stream・Music Bank)

今回、大人気の無料音楽再生アプリ5つの分析結果を紹介しました。実際は検索機能に限定した分析でしたが、どのアプリも中国の音楽ストリーミングサイト「虾米音乐网(xiami.com)」のAPI(api.xiami.com)を利用していることがわかり、音楽データがXiami.comから調達されていることがわかりました。

これを見ていると、アプリ開発者が「api.xiami.com」という金脈を掘り当てたかのようです。

引用元: AppStoreで人気の「無料音楽アプリ」5つを通信解析してわかった音楽無料提供の仕組みとは (iLoveMusic・MusicCloud・DropMusic・Music Stream・Music Bank).

米動画配信のNetflix、Chaos MonkeyのおかげでAmazon EC2のメンテナンスリブートを難なく乗り切る - Publickey

NetflixがChaos Monkeyで試していたシステムの中には、同社がバックエンドデータベースとして採用しているNoSQLのCassandraも含まれていました。実は同社の今回のブログはこの部分がいちばんの見所になっています。

Last year we decided to invest in automating the recovery of failed Cassandra nodes. We were able to detect and determine a failed node. With the cloud APIs afforded to us by AWS, we can identify the location of the failed node and programmatically initiate the replacement and bootstrap of a new Cassandra node.

昨年、私たちは落ちたCassandraノードの自動リカバリに取り組むことを決断した。落ちたノードを検出することは可能であり、AWSによるクラウドAPIでそれがどのロケーションなのかを判別できるため、それを置き換え、新しいノードを立ち上げるプログラムを実現した。

この自動化を実現した上で、Chaos MonkeyによるテストにはCassandraが加わり、サーバが落ちても動作し続けるように検証が続いたそうです。

この結果、今回のAmazon EC2のメンテナンスでは、運用中の2700を超えるCassandraノードのうち218がリブートされ、そのうち22ノードのリブートが失敗したにもかかわらず自動的に復旧が行われ、全体としてはダウンタイムゼロでAmazon EC2のメンテナンスリブートを乗り切ったと報告されています。

Netflixのブログは、「パーシステントレイヤー(データベースのような永続的データを担当するレイヤー)であっても、レジリエンス(障害などへの対応力や回復力)の計画を持つべきだ。もしCassandraをChaos Monkeyのテストに加えていなかったら、今回の話は別の結果に終わっていただろう」と結んでいます。クラウド上に展開したシステムをどのように設計し、テストすべきなのか、大きな示唆を与えてくれているのではないでしょうか。

引用元: 米動画配信のNetflix、Chaos MonkeyのおかげでAmazon EC2のメンテナンスリブートを難なく乗り切る - Publickey.

グーグルの海底ケーブル、サメに食べられていた : ギズモード・ジャパン

海底に光ファイバーケーブルを敷くのって、それだけで壮大な事業です。自社で海底ケーブルを持っているグーグルが今、そのうち数千マイル分を追加で補強せざるをえないことがわかりました。お腹を空かせたサメが、世界の大事なケーブルをランチ代わりにしているからです。

海底ケーブル補強プロジェクトについては先週、Google Cloud Roadshowというイヴェントで発表されました。グーグルは10万マイル(約16万km≒地球4周!)以上もの専用光ファイバールートを世界中にはりめぐらしているのですが、その一部の傷ついた部分が対象となります。グーグルのクラウドチームプロジェクトマネジャーのDan Belcher氏は、ケーブルを「ケブラーのような素材」でコーティングして補強する予定だと語りましたが、それ以上詳しいことは明かされませんでした。

でもどうしてサメがケーブルを食べようとするんでしょうか? Network Worldでは、oAfricaによる「ケーブルから出る電子インパルスが、サメのエサとなる生き物が出す電流に似ているせいではないか」という仮説を紹介しています。

短距離の地上ファイバーや昔ながらの銅線ケーブルでは、知覚できるような電磁場をケーブルが出すことはなかった。が、海底ケーブルは海底のリピータに高電圧を伝える必要があるため、ケーブル沿いや周辺に電場・磁場が生じてしまう。…[略]…サメの中には、その電場を苦しむ魚から出るものだと勘違いしてケーブルを食べようとするものがいるのだ。

ケブラーみたいなコーティングをしても電場が出なくなるわけではありません。でも従来よりはるかに堅牢になることで、グーグルにとってもサメにとっても、安全なケーブルになることが期待されています。

引用元: グーグルの海底ケーブル、サメに食べられていた : ギズモード・ジャパン.

hadoop – Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja – Qiita

なぜBigQueryはこんなインチキ臭いほどに高速なのか。BigQueryは、Cloudera Impara等のいまどきの大規模並列(Massively Parallel Processing/MPP)クエリエンジンや過去のデータウェアハウスマシンと同じくカラム型のデータ分析専用データベースである。しかし、他の多くのカラム型DBとBigQueryとの間には量子的飛躍が存在する。それは、並列度のオーダーだ。BigQueryでは、ひとつひとつのクエリを実行するたびに数百台〜数千台のマシンが同時並列に検索を実行している(←ケタ間違えていません)。文字通り、massivellyな並列処理だ。その上、インデックスは一切作らず、すべてディスクのフルスキャン(テーブルスキャン)で処理する。

1クエリに数千台、すべてフルスキャン。。この2点を初めて聞いた時はしばらく信じられなくて、BigQueryを開発したGoogleエンジニアに2〜3回は確認してしまった。

この恐ろしいまでの並列性には理由がある。Google社内において、「1TBのデータを1秒でフルスキャンするには、いったい何台のディスクドライブを並列に回せばよいのか?」という実験をし、その結果得られた答えが5,000台。それならば、Googleのデータセンターにすでに無数にあるディスクでクエリを並列実行できるカラム型DBを作ってみよう、というのがBigQueryの生まれた発想である。Google、おおざっぱすぎる。

数十程度の並列度のMPPクエリサービスとは、"massively"の意味がまるきり違う。私はつねづね、こういうのが本来の意味でのクラウド(=データや計算をデータセンター全体に薄く広く分散させるアーキテクチャ)なんだなと思う。

引用元: hadoop – Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja – Qiita.

エクイニクス、複数クラウドサービスを連携させる「Cloud Exchange」 – クラウド Watch

Cloud Exchangeは、複数のクラウドサービス、複数のネットワークサービス、複数のITサービスを相互に結びつけて提供するデータセンター機能のひとつ。データセンター内にクラウドサービスとITサービスを結びつけたスイッチの役割を持たせることにより、ITサービス側は、エクイニクスのサービスを通じて、複数のクラウドサービスを選択することができる。

エクイニクスが提供するAPIを活用して、ストレージやファイアウォールなどのサービスと接続。複数のクラウドサービスを通じてこれを利用できるとのことで、パフォーマンスの維持、低遅延化、高機能化などの点でメリットがあるとしている。

同社では、通信事業者を選択可能なキャリアニュートラルなデータセンターを構築してきた経緯があり、日本においても、国内外の約60社の通信事業者を選択可能なIBXデータセンターを展開。この相互接続環境によって、金融サービス事業者同士がエコシステムを構築し、低遅延での高速接続を実現しているという例もある。

今回の新機能は、これをクラウドサービスと連携させる形へと拡張したもの、と位置づけることができる。全世界で975を超えるネットワークと、450を超えるクラウドサービスへの接続選択肢を提供している強みを生かすことになる。

引用元: エクイニクス、複数クラウドサービスを連携させる「Cloud Exchange」 – クラウド Watch.