Публикации с меткой «Hadoop»

Вырастили один кластер в Белорусии на 5 машин общим объемом 12 ТБ полет нормальный.

Cluster Summary

101934 files and directories, 122057 blocks = 223991 total. Heap Size is 69.38 MB / 963 MB (7%)

Configured Capacity     :       11.29 TB

DFS Used        :       5.49 TB

Non DFS Used    :       951.92 GB

DFS Remaining   :       4.87 TB

DFS Used%       :       48.62 %

DFS Remaining%  :       43.14 %

Live Nodes      :       5

Dead Nodes      :       0

Продолжаем вскармливать Киевский ;-)

Cluster Summary

231847 files and directories, 237951 blocks = 469798 total. Heap Size is 174.31 MB / 963 MB (18%)

Configured Capacity     :       7.93 TB

DFS Used        :       5.8 TB

Non DFS Used    :       1.52 TB

DFS Remaining   :       617.96 GB

DFS Used%       :       73.19 %

DFS Remaining%  :       7.61 %

Live Nodes      :       3

Сегодня посчастливилось ознакомиться со статьей Майкла Нолла (Michael Noll) о том, как написать распределённое Hadoop приложение на питоне (Python).

Я всегда был большим поклонником распределённой обработки (MapReduce), но, так как в своей работе использую PHP, я подумал, что неплохо бы было портировать этот пример и показать, как можно создавать распределенные приложения на PHP.

Hadoop - распределенная вычислительная платформа, написанная на Java, которая включает в себя компоненты аналогичные Google File System и MapReduse которые позволяют хранить и обрабатывать петабайты данных.