The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

13.04.2017 10:37  Google объявил Octane устаревшим и не отражающим реальную производительность браузеров

Компания Google решила отказаться от использования, поддержки и развития пакета Octane, созданного в 2012 году в качестве инструмента для тестирования производительности JavaScript-движков, оперирующего кодом ресурсоёмких web-проектов (Pdf.js, Box2D и т.п.) вместо синтетического стресс-тестирования, свойственного таким тестам как V8 Bеnchmark и SunSpider.

В последние годы технологии разработки сильно изменились, появился стандарт ECMAScript 2015, получили распространение новые web-фреймворки и библиотеки. По мнению Google, пакет Octane исчерпал себя, больше не отражает реальную производительность и не может служить меркой для оценки браузерных движков и выбора направлений оптимизации. Показатели браузеров в Octane достигли примерно одного уровня.

Аргументом против синтетических тестов также выступает то, что производители браузеров не брезгуют внесением специальных оптимизаций, не влияющих на работу в реальных условиях, но позволяющих добиться улучшения показателей при прохождении тестов производительности. Например, производители браузеров пользуются ошибкой в тесте Box2DWeb, которая позволяет улучшить результат проверки в Octane на 15%.

Более того, некоторые специфичные для Octane оптимизации стали приводить к замедлению работы реальных приложений (например, медленнее работают Node.js и Ember). Также можно напомнить, что ранее в Internet Explorer было выявлено игнорирование обработки определенных языковых конструкций только при выполнении тестов (незначительное изменение кода теста приводило к замедлению в несколько десятков раз).

Отмечается, что в прошлом году разработчики движка V8 внедрили новый метод оценки производительности движка, основанный на выполнении слепков реальных web-страниц, взятых с популярных сайтов, таких как Reddit, Twitter, Facebook и Wikipedia. В результате применения этого метода удалось в среднем на 10-20% ускорить загрузку web-страниц при сравнении Chrome 56 с Chrome 49. Так как Octane оценивает пиковую производительность, показатели прохождения данного теста остались на прежнем уровне, несмотря на явное ускорение работы в реальных условиях.

Измерение пиковой производительности JavaScript оценивает лишь небольшой слой крупных web-приложений, оставляя неучтённым такие важные факторы как время загрузки страницы, время начала выполнения скриптов, эффективность кэширования, скорость обработки и отрисовки HTML и CSS. Кроме того, результат прохождения тестов, измеряющих пиковую производительность, очень сильно зависит от используемой платформы. По оценке Google наиболее близкие к реальным условиям показатели в настоящее время демонстрирует тест Speedometer, разработанный командой WebKit и учитывающий скорость работы с React, Angular, Ember и другими фреймворками.

  1. Главная ссылка к новости (https://blog.chromium.org/2017...)
  2. OpenNews: JavaScript-движок SpiderMonkey обогнал V8 в тесте Octane
  3. OpenNews: Google выпустил Octane 2.0, пакет для тестирования JavaScript-движков
  4. OpenNews: Компания Google представила Octane, пакет для оценки производительности JavaScript
  5. OpenNews: Разработчики Mozilla представили Kraken, новый пакет для тестирования JavaScript
  6. OpenNews: Новый оптимизатор Internet Explorer 9 привел к завышению результатов теста SunSpider
Лицензия: CC-BY
Тип: К сведению
Ключевые слова: octane, javascript, google, benchmark
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.1, Аноним (-), 11:34, 13/04/2017 [ответить] [показать ветку] [···]    [к модератору]
  • +9 +/
    «А в попугаях-то я гораздо длиннее!»

    Но неплохо, что уж там.

     
  • 1.2, Аноним (-), 11:35, 13/04/2017 [ответить] [показать ветку] [···]    [к модератору]
  • –1 +/
    В тесте html5test.com у кого сколько набирает?
     
     
  • 2.3, A.Stahl (ok), 11:51, 13/04/2017 [^] [ответить]    [к модератору]
  • +3 +/
    7
     
  • 2.6, A (?), 12:17, 13/04/2017 [^] [ответить]    [к модератору]
  • +/
    OUR BROWSER SCORES 519 OUT OF 555 POINTS
     
     
  • 3.18, Tishka17 (?), 14:32, 13/04/2017 [^] [ответить]    [к модератору]
  • +/
    520, chrome 57 на android 7.1.2
     
  • 2.12, Аноним (-), 13:27, 13/04/2017 [^] [ответить]     [к модератору]  
  • –3 +/
    Firefox 52 0 на винде7 Скрипты 27 30 Всего 474 555 снимок http html5test c... весь текст скрыт [показать]
     
     
  • 3.16, Lain_13 (ok), 14:02, 13/04/2017 [^] [ответить]    [к модератору]  
  • +7 +/
    > Vivaldi
    > Хромоного нету  чтоб потестить  отказался от него

    Вообще-то ты именно им и пользуешься.

     
     
  • 4.21, Аноним (-), 15:45, 13/04/2017 [^] [ответить]    [к модератору]  
  • –5 +/
    Вообще-то, нет. Погуглите про Chrome/Chromium, а потом про Blink. И может быть поймете, что это вообще понятия из разных категорий.
     
     
  • 5.26, Anonim (??), 17:44, 13/04/2017 [^] [ответить]     [к модератору]  
  • +/
    https ru wikipedia org wiki Blink_ D0 B4 D0 B2 D0 B8 D0 B6 D0 BE D0 BA Испол... весь текст скрыт [показать]
     
     
  • 6.28, Аноним (-), 18:14, 13/04/2017 [^] [ответить]     [к модератору]  
  • –3 +/
    И Блинк - это название джижка, а хром - это название браузера Вивальди использ... весь текст скрыт [показать]
     
     
  • 7.32, Аноним (-), 18:48, 13/04/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    > и прочих браузерах на основе Chromium
    > на основе Chromium
    > Chromium

    ...

     
     
  • 8.34, Аноним (-), 21:01, 13/04/2017 [^] [ответить]     [к модератору]  
  • –2 +/
    Во вы спор тут устроили Под Хромоногим я имел в виду именно Браузеры Гугл хр... весь текст скрыт [показать]
     
     
  • 9.42, Аноним (-), 11:07, 14/04/2017 [^] [ответить]    [к модератору]  
  • +/
    У меня лис, грузит быстро, не вижу отличий от вивальди.
     
  • 7.37, mimocrocodile (?), 21:58, 13/04/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    На этом сайте принятно считать что движок это и есть браузер, а всё остальное это шкурки (скины).
     
  • 6.29, Аноним (-), 18:17, 13/04/2017 [^] [ответить]     [к модератору]  
  • +/
    седан следует читать, как человек Автозамена ... весь текст скрыт [показать]
     
  • 5.33, Lain_13 (ok), 19:01, 13/04/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    В контексте сказанного ты именно им и пользуешься Или ты думаешь, что в Vivaldi... весь текст скрыт [показать]
     
  • 3.35, anonimbl (?), 21:07, 13/04/2017 [^] [ответить]    [к модератору]  
  • +/
    То есть ты запускаешь реакт приложение поверх хромиума, чтобы запускать в нем реакт приложения поверх реакт приложения поверх хромиума.
     
  • 2.17, freehck (ok), 14:23, 13/04/2017 [^] [ответить]    [к модератору]  
  • +/
    > В тесте html5test.com у кого сколько набирает?

    FF45, Devuan GNU/Linux Jessie: 444/555
    Вообще странно. Я не замечаю каких-либо ощутимых тормозов. Может, не по тем сайтам ползаю.

     
     
  • 3.27, rshadow (ok), 17:54, 13/04/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    Попробуйте почитать что именно тестит этот сайт. Можно начать с названия домена.

    Подсказка: тестирует не производительность.

     
     
  • 4.30, freehck (ok), 18:29, 13/04/2017 [^] [ответить]    [к модератору]  
  • +/
    > Подсказка: тестирует не производительность.

    Ааааа! :)
    Да, теперь сообразил. Работа - страшная вещь, совсем мозги расплавились уже.

     
  • 2.19, Аноним (-), 14:49, 13/04/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    517 OUT OF 555 POINTS http://html5test.com/s/e42641358097a7e0.html
     
  • 2.31, жабабыдлокодер (ok), 18:38, 13/04/2017 [^] [ответить]    [к модератору]  
  • +/
    Хромиум на последней Федоре - 518.
     
  • 2.36, крокодил мимо.. (?), 21:21, 13/04/2017 [^] [ответить]    [к модератору]  
  • +/
    > В тесте html5test.com у кого сколько набирает?

    спс, ещё одна няшка, чтобы поотключать всякое ненужное..

     
  • 2.38, ann (??), 22:47, 13/04/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    504/555 из-за того что в браузер не вкомпилина поддержка DeRьMа и RTC
     
     
  • 3.43, Аноним (-), 11:10, 14/04/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    Померяемся Your browser scores 467 out of 555 points You are using Firefox 52 0... весь текст скрыт [показать]
     
  • 2.40, Аноним (-), 01:41, 14/04/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    471

    You are using Firefox 52.0 on Windows 8.1

     
  • 2.48, enik (ok), 21:40, 14/04/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    460

    You are using Edge 14 on Windows 10

     
  • 1.10, J.L. (?), 12:33, 13/04/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +2 +/
    а почему тест учитывает "скорость работы с React, Angular, Ember и другими фреймворками" как будто это браузер должен подстраиваться под баги фреймворка ?
     
     
  • 2.44, Аноним (-), 13:14, 14/04/2017 [^] [ответить]     [к модератору]  
  • +/
    Если послушать веб-девелоперов существует один идеальный браузер, под который п... весь текст скрыт [показать]
     
  • 2.47, Lain_13 (ok), 14:40, 14/04/2017 [^] [ответить]     [к модератору]  
  • +/
    А как ты ещё определишь наиболее приоритетные для оптимизации части браузера да... весь текст скрыт [показать]
     
     
  • 3.49, JL2001 (ok), 15:51, 20/04/2017 [^] [ответить]    [к модератору]  
  • +/
    > А как ты ещё определишь наиболее приоритетные для оптимизации части браузера (да
    > и любого ЯП), кроме как гонять реально используемый код и оптимизировать
    > узкие места? Иначе можно заоптимизировать никому ненужную чушь. Если у тебя,
    > например, сложность алгоритма сортировки массива строк выражается через O(n^n), то, наверное,
    > дело не в коде, который решил воспользоваться встроенным алгоритмом сортировки вместо
    > реализации своего собственного, а в том, что встроенную сортировку писал террорист-смертник.

    а если код либы перед вызовом сортировки из браузера делает O(n^n) и тормозит - какое место оптимизировать в браузере?

    и если сортировка в браузере тормозит то почему багрепортов нету ? и чинить надо багрепорты

     
     
  • 4.50, Lain_13 (ok), 17:34, 20/04/2017 [^] [ответить]    [к модератору]  
  • +/
    > а если код либы перед вызовом сортировки из браузера делает O(n^n) и тормозит - какое место оптимизировать в браузере?

    Никакое, выставляется багрепорт на либу. А вы как думали?

    > и если сортировка в браузере тормозит то почему багрепортов нету ? и чинить надо багрепорты

    А кто тебе сказал, что нет? Нашли проблему, выставили сами себе багрепорт, починили. Ты возбухаеш.

     
  • 1.13, Аноним (-), 13:45, 13/04/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Ни фига не понял. Из первого абзаца следует, что октан создан как альтернатива синтетическим тестам, а в 3-4 абзацах о нём пишут как о синтетическом тесте.
     
     
  • 2.22, Аноним (-), 16:22, 13/04/2017 [^] [ответить]     [к модератору]  
  • +/
    первый абзац врет в оригинале сказано, что мы теперь будем мерить производител... весь текст скрыт [показать]
     
     
  • 3.24, Аноним (-), 16:52, 13/04/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    Octan не синтетический тест, он ровно для замены синтетическим тестам и задумыв... весь текст скрыт [показать]
     
  • 2.23, Аноним (-), 16:50, 13/04/2017 [^] [ответить]     [к модератору]  
  • +/
    Octane тестировал реальные ресурсоёмкие web-проекты, типа графических движков, б... весь текст скрыт [показать]
     
  • 1.14, Аноним84701 (ok), 13:49, 13/04/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +2 +/
    > выступает то, что производители браузеров не брезгуют внесением специальных оптимизаций,
    > не влияющих на работу в реальных условиях, но позволяющих добиться улучшения показателей
    > при прохождении тестов производительности.

    Кто бы мог подумать, ага.
    Вспоминается та же ненавидия с "особой поддержкой" бенчей в дровах:
    http://www.geek.com/games/futuremark-confirms-nvidia-is-cheating-in-benchmark
    > extremetech found good evidence that nvidia's driver was indeed detecting the presence of 3dmark2003 and altering its behavior, artificially increasing its score.

     
  • 1.15, Аноним (-), 13:52, 13/04/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • –2 +/
    В отличие от вашего чердака, Firefox очистить очень просто!

    Это я к чему. Чердак у Google бомбанул, вот они и закрывают!

     
     
  • 2.45, Аноним (-), 13:50, 14/04/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    > Firefox очистить очень просто!

    Ананас, ты забыл тег "сарказм".
    Pocket, Hello, DRM, WebExtentions: всё это и многое другое смотрите в новом FF.

     
  • 1.20, random_vagabond (?), 15:20, 13/04/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +9 +/
    Тормозит - не браузер, тормозит - сайт.
    Если сайт выдаёт тяжёлый код, я не буду менять браузер, я поменяю сайт на более вменяемый.
     
     
  • 2.25, YetAnotherOnanym (ok), 17:26, 13/04/2017 [^] [ответить]    [к модератору]  
  • +7 +/
    Ваш пост огорчает веб-макак.
     
  • 2.39, Аноним (-), 23:47, 13/04/2017 [^] [ответить]    [к модератору]  
  • +/
    Увы, не всё можно поменять. Я вот периодически на амазоне отовариваюсь, и альтернатив ему не вижу, а более невменяемые скрипты, чем там, найти непросто.
     
  • 1.41, DmA (??), 08:26, 14/04/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    разработчики абсолютного большинства html  страничек никогда не слышали слово "оптимизация".
    Поэтому если вы не любитель открывать только одну страничку, то ваши вкладки будут тормозить, какой бы вы браузер не использовали!
     
     
  • 2.46, Аноним (-), 13:52, 14/04/2017 [^] [ответить]    [к модератору]  
  • –2 +/
    > html  страничек

    Ты же знаешь, что html - обычный гипертекст? Может быть ты хотел сказать "любители новомодных дерьмо-фреймворков"?

     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor