クラウドコンピューティングアプリケーション、パート 2: クラウド内のビッグデータとアプリケーション

説明

クラウドコンピューティングアプリケーションコースへようこそ。このコースは、クラウドコンピューティングとビッグデータの世界を包括的に理解できるように設計された XNUMX コースシリーズの第 XNUMX 部です。

この XNUMX 番目のコースでは、クラウドコンピューティングアプリケーションを継続し、静的または高速でストリーミングされ、膨大な種類の情報を表す大量のデータのデータ分析をクラウドがどのように可能にするかを探ります。クラウドアプリケーションとデータ分析は、社会が情報から情報を得て使用する方法に破壊的な変化をもたらします。最初の週は、Spark を含むいくつかの主要なデータ分析システムと、Hortonworks、Cloudera、MapR などの分析アプリケーションの主要なフレームワークとディストリビューションを紹介することから始まります。第 XNUMX 週の半ばまでに、Hadoop などの多くのアプリケーションで使用される HDFS 分散型の堅牢なファイルシステムを紹介し、強力な MapReduce プログラミングモデルと、YARN や Mesos などの分散オペレーティングシステムが柔軟でスケーラブルな環境をどのようにサポートするかを調査して第 XNUMX 週を終えます。ビッグデータ分析。第 XNUMX 週では、私たちのコースでは大規模なデータストレージと、大量のプロセッサ、メモリ、ディスクを使用する巨大なストアにおけるコンセンサスの難しさと問題について紹介します。最終整合性、ACID、BASE、および Paxos や Zookeeper などのデータセンターで使用されるコンセンサスアルゴリズムについて説明します。私たちのコースでは、分散キーバリューストアと、パフォーマンスのためにデータセンターで使用される Redis などのメモリ内データベースについて説明します。次に、NOSQL データベースを紹介します。 HBase は、Hadoop を使用するアプリケーションでのデータベース操作をサポートする、スケーラブルで低遅延のデータベースです。次に、Spark SQL が巨大なデータに対して SQL クエリをプログラムする方法をもう一度示します。第 XNUMX 週の最後は、Kafka を使用した分散パブリッシュ/サブスクライブシステムに関するプレゼンテーションで終了します。Kafka は、ビッグデータとストリーミングアプリケーションを接続して複雑なシステムを形成する際に広く使用されている分散ログメッセージングシステムです。第 XNUMX 週では、高速データのリアルタイムストリーミングに移行し、Yahoo などの業界で広く使用されている Storm テクノロジーを紹介します。 Spark ストリーミング、Lambda、Kappa アーキテクチャ、およびストリーミングエコシステムのプレゼンテーションを続けます。第 XNUMX 週では、グラフ処理、機械学習、深層学習に焦点を当てます。グラフ処理のアイデアを紹介し、Pregel、Giraph、Spark GraphX を紹介します。次に、Mahout と Spark の例を使用した機械学習に移ります。例として、Kmeans、Naive Bayes、および fpm が示されています。 Spark ML と Mllib は、プログラマビリティとアプリケーション構築のテーマを継続します。第 XNUMX 週の最後のトピックでは、Theano、Tensor Flow、CNTK、MXnet、Caffe on Spark などの深層学習テクノロジを紹介します。