The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Shop.com, Facebook и Nokia открыли свои разработки по кешированию контента

26.12.2008 11:46

Известный американский сервис сравнения цен на товары shop.com, опубликовал под лицензией Apache код системы кеширования контента sccache. Система написана на языке Java и обладает следующими функциями:

  • Поддерживает хранение сверхбольших объектов и ключей;
  • Объекты могут кешироваться как во внутреннем кеше процесса, так и во внешнем, общем распределенном кеше;
  • Возможность горизонтального масштабирования;
  • Объекты могут кешироваться не только в ОЗУ, но и сохраняться на диск;
  • Возможность группировки ключей в кеше, объединение ключей в группы и выполнение операций целиком с группой;
  • Не транзакционный механизм работы;
  • Автоматическая чистка устаревших записей на основе заданного времени жизни (TTL);
  • Отсутствие привязки к определенной платформе;
  • Средняя производительность одного кеширующего сервера около 20 тыс. операций в минуту.

Социальная сеть Facebook тоже открыла свои разработки, связанные с кешированием контента. Доработав стандартный memcached компании удалось увеличить его производительность в 4-6 раз, если ранее memcached демонстрировал возможность обработки 50 тыс. запросов в секунду (UDP), то после применения патчей от Facebook его производительность возросла до 200-300 тыс. запросов в секунду. Также значительно уменьшено потребление памяти, за счет ухода от выделения буфера на каждый коннект к буферизации группы коннектов, обслуживаемых каждой нитью memcached. Дополнительно переработана логика обработки UDP соединений, произведена работа по уменьшению конкуренции при выставлении блокировок и балансировке ввода/вывода по управляющим процессам для уменьшения влияния большого объема прерываний на один CPU. Патч можно найти в git-репозитории Facebook.

Дополнительно можно отметить еще одну разработку - экспериментальное распределенное хранилище данных Ringo. Хранилище Ringo создано в Nokia Research Center, поддерживает языки Си, Erlang, Python и совместимо с map-reduce фреймворком Disco. Система оперирует парами ключ-значение и представляет собой распределенную хеш-таблицу. Основное назначение разработки создание системы для быстрого, приближенного к real-time, извлечения данных небольшого (менее 4Кб) и среднего (менее 100Мб) размера. Главное ограничение - невозможность изменения данных после их помещения в хеш.

  1. Главная ссылка к новости (http://highscalability.com/ann...)
  2. MogileFS - Распределенная файловая система
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/19563-cache
Ключевые слова: cache, memcache, speed, optimization
Поддержать дальнейшую публикацию новостей на OpenNET.


Обсуждение (15) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Анонимус (?), 13:57, 26/12/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Отлично, отлично. Эта новость не может не радовать, например.
     
     
  • 2.14, Миталист (?), 07:43, 28/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Паук?))
     

  • 1.3, andr.mobi (??), 15:18, 26/12/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > Система написана на языке Java

    ужос

     
     
  • 2.6, slava (??), 16:35, 26/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    с чего вдруг "ужос"? Мсье составляет свое мнение о java по тормознутым swing интерфейсам?
     
     
  • 3.7, Ноним (?), 16:43, 26/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    > с чего вдруг "ужос"?

    С того вдруг ужас что это опеннет, тут пришли люди которые слышали звон и зачем-то повторяют его в комментариях. Мне вот интересно зачем они это делают - не знаешь?

     
     
  • 4.8, slava (??), 16:50, 26/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >С того вдруг ужас что это опеннет, тут пришли люди которые слышали
    >звон и зачем-то повторяют его в комментариях. Мне вот интересно зачем
    >они это делают - не знаешь?

    Я бы с удовольствием сказал, если бы понял смысл предыдущей фразы... Какой звон, кто и что именно повторяет... Как-то запутано вы выразились.
    Я всего-навсего хотел развеять миф, если таковой живет в голове andr.mobi о тормознутости жабы. Но для этого, естественно, надо услышать его аргументы.

     
     
  • 5.9, Ноним (?), 17:00, 26/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >  Какой звон, кто и что именно повторяет...

    А именно тот звон что джава тормознутая. А вам товарищ стоит больше вдумываться и читать между струк, менне прямолинейным быть.

     
     
  • 6.10, slava (??), 17:18, 26/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >А именно тот звон что джава тормознутая. А вам товарищ стоит больше
    >вдумываться и читать между струк, менне прямолинейным быть.

    Тормознутая не java, а Swing и остальные технологии для desktop-интерфейсов. А вот серверные приложения на java (при грамотном испольpовании) - это космолеты. Дабы не быть голословным просто приведу примеры: yahoo, поиск facebook. Думаю этого достаточно. Можете  почитать про Hadoop и его производительность. Думаю вы измените свое мнение.

     
     
  • 7.12, Ноним (?), 17:21, 26/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    > Тормознутая не java, а Swing

    Товарищ у вас явная проблема с определением кому чего обьяснять, я про джаву и звон вам выше писал а вы мне лезите говорить какая она крутая - я это и без вас знаю!

     
  • 3.15, Аноним (15), 19:06, 30/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Нет. Просто память нужна под кэш, а не под JVM с ее потребностями. Или как на лоре предложете купить пату лишних гигов чисто для жавы? Для нее самой в пору распределенный кэш делать...
     

  • 1.4, User294 (??), 15:19, 26/12/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Да... когда у социальной сети есть свой ... git-репозиторий (!!!) - это прикольно =).Мне в таком мире нравится жить намного больше чем раньше, когда кроме закрытых бинарей по сути ничего не было.
     
  • 1.5, Никита (??), 15:56, 26/12/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    http://my-debian.blogspot.com/2008/12/blog-post_26.html - вот тут небольшая филосовская заметка для любителей opensource
     
     
  • 2.11, Painbringer (?), 17:19, 26/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    философия так и прет. имхо дурь. абсолютно не жизнено для любой более-менее продвинутой софтины ибо быстро найдут.
     
  • 2.16, Аноним (15), 19:07, 30/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Это небольшой выхлоп маразма :))
     

  • 1.13, Василий (??), 17:51, 26/12/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Хочу себе патчи от Facebook для стандартного memcached!

    ps:
    А зачем опеннет после выдачи фразы "Для сообщений данного типа требуется авторизация по картинке (см. ниже)" имя в поле "Имя*" меняет на "Аноним"? Устраните глюк!

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:
    При перепечатке указание ссылки на opennet.ru обязательно



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2021 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру