ビッグデータ分析：Hive、Spark SQL、DataFrames、GraphFrames

説明

大量のデータを扱うのは難しいことは間違いありませんが、山を動かすには、たくさんの小さな石を扱わなければなりません。しかし、なぜ自分に負担をかけますか？ MapreduceとSparkを使用すると、問題に部分的に取り組み、高レベルのツールのためのスペースを残します。ビッグデータワークフローの生産性と効率性を高めるために苦労するのをやめ、私たちが提供するツールを活用してください。

このコースでは、次の方法について学習します。
– Hive、Spark SQL、Spark DataFframesを使用して、データを効率的にウェアハウス化します。
–ソーシャルグラフやネットワークなどの大きなグラフを操作します。
–最大のパフォーマンスを得るためにSparkアプリケーションを最適化します。

正確には、次の分野で知識を習得します。
– Hive＆SparkSQLクエリの作成と実行。
–クエリが実際の実行プリミティブにどのように変換されるかを推論する（MapReduceジョブまたはSpark変換）。
–ディスクスペースの使用量と実行時間を最適化するためにHiveでデータを整理します。
– Spark DataFrameを構築し、それらを使用してアドホック分析ジョブを簡単に作成します。
– SparkGraphFramesを使用した大きなグラフの処理。
– Sparkアプリケーションのパフォーマンスのデバッグ、プロファイリング、および最適化。

まだ疑問がありますか？これをチェックしてください。このコースを受講して、データ忍者になりましょう！

おかげで：
–プロジェクトの最初のレビュー担当者であり、BigDataチームの半分のスーパーバイザーおよびメンターであったMIPTのAPT部門のMikhailRoytberg教授。彼は、このショーを路上で実現するのを手伝った人でした。
– Oleg Sukhoroslov（PhD、IITP RASの主任研究員）。2008年からMapReduce、Hadoop、および友人を教えています。現在、彼はインフラストラクチャチームを率いています。
– Oleg Ivchenko（PhD学生APT学部、MIPT）、Pavel Akhtyamov（APT学部、MIPT修士課程学生）、Vladimir Kuznetsov（PG Demidov Yaroslavl State Universityのアシスタント）、このコースでの実践的な課題。
– Asya Roitberg、Eugene Baulin、MarinaSudarikova。これらの人々は、あなたの学習体験を生産的でスムーズでエキサイティングなものにするために、このコースを昼夜を問わずベビーシッターで眠ることはありません。