今回のテーマは、 Fair Schedulerを使った複数ジョブの同時実行です。1つのHadoopクラスタを使って複数のジョブを実行する際、 どのようにクラスタのリソースを割り振るかが重要になります。複数のMapReduceジョブを同時に実行した際に、 デフォルトの設定とFair ...
※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます 講演資料・動画まとめページ Developers Boost 2025 講演資料まとめ Developers X Summit 2025 講演資料まとめ Developers Summit 2025 FUKUOKA 講演関連資料まとめ Developers ...
今回のテーマは投機的実行です。投機的実行は、 MapやReduce Taskの処理の失敗を見越して、 空いているリソースを使って同じTaskを実行するものです。HadoopのMapReduce Jobの特徴的な機能としてよく取り上げられますが、 サンプルのJobを動かしてみる程度では ...