compiling.ru

Facebook – Другие используемые средства: Hadoop&Hive, Thrift, Varnish

Hadoop и Hive

Hadoop ‑ это программная платформа, позволяющая выполнять распределенную обработку огромных массивов данных. Facebook использует ее для анализа данных (а как мы уже все знаем, у Facebook огромные массивы данных). Hive произведен внутри Facebook, и делает возможным использование запросов SQL с Hadoop, делая ее проще в использовании для непрограммистов.

И Hadoop, и Hive – это программы с открытым кодом (Apache project) и используются большим количеством сервисов, например Yahoo и Twitter.

Thrift

Facebook для разных своих сервисов использует разные языки. PHP используется на переднем плане, Erlang используется для чата, Java и C++ также используются в разных местах (не исключено, что и остальные языки тоже). Thrift — это внутренне разработанный межъязыковый фреймворк, который связывает все эти языки, что позволяет им «общаться» между собой. Это позволяет Facebook облегчить межъязыковую разработку.

Facebook сделал Thrift с открытым кодом и добавляется поддержка все большего числа языков.

Varnish

Varnish ‑ это HTTP ускоритель, который может выступать как балансировщик нагрузки и также кешировать контент, который будет обрабатываться молниеносно.

Facebook использует Varnish для обслуживания фотографий и аватаров, обрабатывая миллиарды запросов ежедневно. Как и все, используемое Facebook, Varnish – проект с открытым кодом.

.

.

Ранее:  Facebook, крупнейший в мире сайт; Facebook – Memcached & PHP; Facebook: Haystack, BigPipe, Cassandra, Scribe

Продолжение далее…

Popularity: 2%

Похожие посты: