12 Apr 2015, 13:43

仕事に関わる知識を MOOC で! Coursera で Cloud Computing Concepts Part2 を受けた

file:./../img/IMG_3914.JPG

はじめに

Coursera で, クラウドコンピューティングの講座を受けました. これは, Part2 です.

Part1 の感想は以下です.

内容

講義

以下の内容を扱う.

  • Leader Election, Mutual Exclusion
  • Concurrency Control, Replication Control
  • Stream Processing, Graph Processing, Structure of Networks, Scheduling
  • Distributed File Systems, Distributed Shared Memory, Sensor Networks
  • Security, Datacenter Outage Studies, Wrap-up

コースの進みかたは Part1 と同じだ.

たくさんのコンセプトや考え方が次から次へと紹介されるので, すべてを消化できない..そして, 早口の英語の説明が困る.. \^-\^;

内容や課題は, Part1 を引用していることもあり, Part2 は Part1 が終わってから取り組んだ方がよい.

宿題

プログラミングの宿題は, Key-Value Store の実装. この課題に取り組むことで,

  • replica の扱いかた,
  • key-value store の考え方.
  • quorum consistency level の考え方.

などが学べる. 言語は C++. 自分には難しくて, 満点をどうしてもとれずに途中で諦めた.

こころにのこった考え方

こころにのこった考え方をコメントともに書く.

Leader Election

こういうロジックを考える仕事をしていたので, Leader Election ロジック は感銘を受けた. 以下, 記事にした.

Replication Control

もともとがストレージ屋なので, レプリケーションの技術とは馴染みがある.

昨今, 急激に台頭してきた分散ストレージのなかで使われている KVS や Replication の知識を補充することができたことは価値があった.

以下, 勉強メモ.

分散 KVS

分散 Key-Value ストア. スケールアウト技術の基幹技術.

同じデータを複数のコンピューターに複製して保存し, それぞれのコンピューター上のデータに変更が起きていないかどうかを 随時チェックすることによって整合性を確保. リアルタイム性はない.

Key で担当サーバを分ける.

たいていはいくつかのサーバ上に複製 (replica) を作成することによって 耐故障性を高めている.

Replication

レプリケーション. 複製.

データ複製.オブジェクトをコピーし, ノード間で複製を保持することで 冗長性を高める手法.

システム障害時の継続運用が目的となります. 災害時に接続しているシステ ムが壊れてしまったとき, 遠隔地にある複製データを利用し事業継続を実現 する DR (ディザスタリカバリ) に有効.

コンテンツ配信する方法は二つある.

  • Passive Replicatoin .. Master Replica だけを更新
  • Active Replicatoin .. id ごとにすべてを更新.

Distributed File Systems

現在の業務は, SMB プロトコルの高速化についての研究開発.

講義では, NFS を例に, 分散ファイルシステムの特徴や, NFS における高速 化技術を解説していた. 仕事にからんでいる領域なので, きいていておもしろい. 印象としては, NFS は高速化のための仕組みがた くさん試されている用に見えた. SMB は….

以下, 簡単な勉強メモ.

分散ファイルシステムの特徴

分散ファイルシステムの目的は, ユーザから ファイルかリモートにあるかローカルにあるか意識しなくていいよう にすること.

2 つのアクセスモデルがある.

  • 遠隔アクセスモデル … リモートサーバにあるファイルを読み書き
  • アップロードダウンロードモデル … 一旦ローカルにダウンロードして 編集してからアップロード.

ローカルファイルにアクセスするときは, file discripter を指定する. file discripter には, read/write に必要な pointer が保持されているので, ユーザは, offset を指定しない.

リモートファイルにアクセスするときは file id と offset を指定する.

これからどうするか?

フォールトトラレントの情報をあつめる

信頼性の高い製品の開発に関わっていく以上, これからもフォールトトラレントは必要な, より深めるべき知識だろう.

フォールトトラレントについては, この領域で研究が盛んで本や論文もた くさんでている. こういうものをどんどん読み込んでいきたい.

特許ノルマが仕事で課せられているので, 集めた情報の Output として, 特許に結びつけたい.

日経コンピュータをよむ

今まで, お昼休みにフロアにおいてある日経コンピュータを読んでいた. しかし, 職場で席を引っ越したので, 現在日経コンピュータを読む 機会がない.

日経コンピュータは, クラウドコンピューティングの最新動向をつかむた めのとてもいい情報源なので, これからも読みたい. これはここでブログ に宣言することによって, 自分にプレッシャーを.

28 Feb 2013, 11:21

百科事典のようなワクワク感!IT技術者のための「ストレージの原則と技術」を読みました

ストレージ技術を学ぶための決定版(だと思った)、「ストレージの原則と技術」について1/3くらい読んだので書評します。

網羅的な内容盛り沢山で座右の字引に

ストレージ技術についての広範囲な内容が、網羅的に記述されている。

ディスクのことから始まり、RAIDやキャッシュの機能、ネットーワークの仕組み、セキュリテイ、コピー技術などなど・・・

全ては書けないので、詳しくは以下のリンクから目次を参照されたし。
http://www.impressjapan.jp/books/3351

まるで、こどもの時の百科事典を開くようなワクワク感を感じながら読んでいる。知っている知識でも、しばらく思い出さないと記憶が薄れてきてしまうので、良い復習でもある。

この本は、EMCの教育部が書いたものらしい。
ところどころに、EMC製品の宣伝が出てくるのはご愛嬌。

ストレージとホストの関係、ネットワークでのつながりについて理解できる

仕事では、ストレージ側のソフトウェアを解説している。しかし、未だにサーバやネットワークとの関係性を知らなかった。いつか網羅的に記述されている書籍で、まじめに勉強しようと思っていたが、本書がまさにその題材にうってつけだった。

SANやNASの仕組みやホストインタフェースなど、詳しく書いてある。
不足していたネットーワークやサーバ分野の知識を学べることは嬉しい。

最新技術についていくための勉強ができる

最新技術用語も詳しく解説されている。以下、書籍より引用。

  • デデュプリケーション
  • ユニファイドストレージ
  • 仮想プロビジョニング
  • FCoE
  • フラッシュドライブ
  • ストレージ階層化
  • ビッグデータ

最新技術は、ITmediaだったり、ITproのRSSを購読することで付いて行こうとしてたつもりだったが、知識が断片的だったり、やる気がなかったりでちっともついていけてないのが現状だ。

最新技術に関するトピックが詳しく書かれているので、足りない用語や技術を補填できる。
メールを読んでも、会議にでても理解できないことがままあったりして、そういうときにすぐ調べたりすればいいんだけれども、そこをいつも怠けてしまう。

この機会に、集中して知識を入れ込むことで、置いてけぼりにならないようにしたい。