compiling.ru

Facebook – Другие используемые средства: Haystack, BigPipe, Cassandra, Scribe

Haystack

Haystack – это высокопроизводительная система хранения фотографий/поисковая система Facebook (строго говоря, Haystack – это хранилище объектов, так что хранение фото не главная ее функция). У нее есть куча работы; на Facebook загружено более 20 миллиардов фотографий, и каждая из них сохранена в четырех разных разрешениях, что в результате дает более 80 миллиардов фото.

И дело не только в обработке миллиардов фотографий, производительность критическая. Как мы уже отмечали раньше, Facebook обрабатывает около 1,2 миллионов фотографий в секунду, и в это число не включаются фотографии, обрабатываемые Facebook CDN. Это огромное число.

BigPipe

BigPipe – это система обслуживания динамических веб-страниц, разработанная Facebook. Facebook использует ее для обработки каждой веб-страницы в секции (называемой «pagelets») для оптимальной производительности.

Например, окно чата выдается отдельно, лента новостей загружается отдельно и так далее. Эти pagelets могут показываться отдельно, что дает прирост производительности, а также дает постоянно работающий сайт, даже если какая-то его часть отключена и поломана.

Cassandra

Cassandra – это система распределенного хранения, не имеющая критических мест. Это известное детище движения NoSQL и создано она с открытым кодом (даже стала частью проекта Apache). Facebook использует ее для поиска во «Входящих».

Кроме Facebook, множество сервисов использует ее, например Digg.

Scribe

Scribe – это гибкая система протоколирования, которую Facebook использует для множества внутренних целей. Она была сделана таким образом, чтобы иметь возможность обрабатывать данные входа в масштабах Facebook и автоматически обрабатывать регистрацию новых категорий, как только они появляются (у Facebook они исчисляются сотнями).

.

.

Ранее:   Facebook, крупнейший в мире сайт; Facebook – Memcached & PHP

Далее:  Facebook – Другие используемые средства: Hadoop&Hive, Thrift, Varnish

Popularity: 3%

Похожие посты: