Facebook – Другие используемые средства: Hadoop&Hive, Thrift, Varnish

Hadoop и Hive
Hadoop ‑ это программная платформа, позволяющая выполнять распределенную обработку огромных массивов данных. Facebook использует ее для анализа данных (а как мы уже все знаем, у Facebook огромные массивы данных). Hive произведен внутри Facebook, и делает возможным использование запросов SQL с Hadoop, делая ее проще в использовании для непрограммистов.
И Hadoop, и Hive – это программы с открытым кодом (Apache project) и используются большим количеством сервисов, например Yahoo и Twitter.
Thrift
Facebook для разных своих сервисов использует разные языки. PHP используется на переднем плане, Erlang используется для чата, Java и C++ также используются в разных местах (не исключено, что и остальные языки тоже). Thrift — это внутренне разработанный межъязыковый фреймворк, который связывает все эти языки, что позволяет им «общаться» между собой. Это позволяет Facebook облегчить межъязыковую разработку.
Facebook сделал Thrift с открытым кодом и добавляется поддержка все большего числа языков.
Varnish
Varnish ‑ это HTTP ускоритель, который может выступать как балансировщик нагрузки и также кешировать контент, который будет обрабатываться молниеносно.
Facebook использует Varnish для обслуживания фотографий и аватаров, обрабатывая миллиарды запросов ежедневно. Как и все, используемое Facebook, Varnish – проект с открытым кодом.
.
.
Ранее: Facebook, крупнейший в мире сайт; Facebook – Memcached & PHP; Facebook: Haystack, BigPipe, Cassandra, Scribe
Продолжение далее…
Popularity: 2%
Этот материал находится на сайте http://compiling.ru
Оставьте свой отзыв