The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Google объявил Octane устаревшим и не отражающим реальную производительность браузеров

13.04.2017 10:37

Компания Google решила отказаться от использования, поддержки и развития пакета Octane, созданного в 2012 году в качестве инструмента для тестирования производительности JavaScript-движков, оперирующего кодом ресурсоёмких web-проектов (Pdf.js, Box2D и т.п.) вместо синтетического стресс-тестирования, свойственного таким тестам как V8 Bеnchmark и SunSpider.

В последние годы технологии разработки сильно изменились, появился стандарт ECMAScript 2015, получили распространение новые web-фреймворки и библиотеки. По мнению Google, пакет Octane исчерпал себя, больше не отражает реальную производительность и не может служить меркой для оценки браузерных движков и выбора направлений оптимизации. Показатели браузеров в Octane достигли примерно одного уровня.

Аргументом против синтетических тестов также выступает то, что производители браузеров не брезгуют внесением специальных оптимизаций, не влияющих на работу в реальных условиях, но позволяющих добиться улучшения показателей при прохождении тестов производительности. Например, производители браузеров пользуются ошибкой в тесте Box2DWeb, которая позволяет улучшить результат проверки в Octane на 15%.

Более того, некоторые специфичные для Octane оптимизации стали приводить к замедлению работы реальных приложений (например, медленнее работают Node.js и Ember). Также можно напомнить, что ранее в Internet Explorer было выявлено игнорирование обработки определенных языковых конструкций только при выполнении тестов (незначительное изменение кода теста приводило к замедлению в несколько десятков раз).

Отмечается, что в прошлом году разработчики движка V8 внедрили новый метод оценки производительности движка, основанный на выполнении слепков реальных web-страниц, взятых с популярных сайтов, таких как Reddit, Twitter, Facebook и Wikipedia. В результате применения этого метода удалось в среднем на 10-20% ускорить загрузку web-страниц при сравнении Chrome 56 с Chrome 49. Так как Octane оценивает пиковую производительность, показатели прохождения данного теста остались на прежнем уровне, несмотря на явное ускорение работы в реальных условиях.

Измерение пиковой производительности JavaScript оценивает лишь небольшой слой крупных web-приложений, оставляя неучтённым такие важные факторы как время загрузки страницы, время начала выполнения скриптов, эффективность кэширования, скорость обработки и отрисовки HTML и CSS. Кроме того, результат прохождения тестов, измеряющих пиковую производительность, очень сильно зависит от используемой платформы. По оценке Google наиболее близкие к реальным условиям показатели в настоящее время демонстрирует тест Speedometer, разработанный командой WebKit и учитывающий скорость работы с React, Angular, Ember и другими фреймворками.

  1. Главная ссылка к новости (https://blog.chromium.org/2017...)
  2. OpenNews: JavaScript-движок SpiderMonkey обогнал V8 в тесте Octane
  3. OpenNews: Google выпустил Octane 2.0, пакет для тестирования JavaScript-движков
  4. OpenNews: Компания Google представила Octane, пакет для оценки производительности JavaScript
  5. OpenNews: Разработчики Mozilla представили Kraken, новый пакет для тестирования JavaScript
  6. OpenNews: Новый оптимизатор Internet Explorer 9 привел к завышению результатов теста SunSpider
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/46372-octane
Ключевые слова: octane, javascript, google, benchmark
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (44) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 11:34, 13/04/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +9 +/
    «А в попугаях-то я гораздо длиннее!»

    Но неплохо, что уж там.

     
  • 1.2, Аноним (-), 11:35, 13/04/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    В тесте html5test.com у кого сколько набирает?
     
     
  • 2.3, A.Stahl (ok), 11:51, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • +3 +/
    7
     
  • 2.6, A (?), 12:17, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    OUR BROWSER SCORES 519 OUT OF 555 POINTS
     
     
  • 3.18, Tishka17 (?), 14:32, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    520, chrome 57 на android 7.1.2
     
  • 2.12, Аноним (-), 13:27, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Firefox 52.0 на винде7 Скрипты 27/30   Всего 474/555
    "снимок"
    http://html5test.com/s/fc27cd3580b71fbc.html

    Vivaldi На винде7 Скрипты 27/30   Всего 519/555
    "снимок"
    http://html5test.com/s/0f70973580baa663.html

    Вивальди тащит :D
    Хромоного нету  чтоб потестить  отказался от него Думаю и от фф тоже отказаться и сесть на  PaleMoon или еще какой форк лисы

     
     
  • 3.16, Lain_13 (ok), 14:02, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • +7 +/
    > Vivaldi
    > Хромоного нету  чтоб потестить  отказался от него

    Вообще-то ты именно им и пользуешься.

     
     
  • 4.21, Аноним (-), 15:45, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • –5 +/
    Вообще-то, нет. Погуглите про Chrome/Chromium, а потом про Blink. И может быть поймете, что это вообще понятия из разных категорий.
     
     
  • 5.26, Anonim (??), 17:44, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    https://ru.wikipedia.org/wiki/Blink_(%D0%B4%D0%B2%D0&

    Используется в Chrome 28+, Opera 15+, Vivaldi, Яндекс.Браузере и прочих браузерах на основе Chromium, выпущенных после весны 2013 года.

    И ?

     
     
  • 6.28, Аноним (-), 18:14, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • –3 +/
    > https://ru.wikipedia.org/wiki/Blink_(%D0%B4%D0%B2%D0&
    > Используется в Chrome 28+, Opera 15+, Vivaldi, Яндекс.Браузере и прочих браузерах на
    > основе Chromium, выпущенных после весны 2013 года.
    > И ?

    И? Блинк - это название джижка, а хром - это название браузера. Вивальди использует Блинк, а не хром, поэтому говорить,  что если седан пользуется Вивальди,  то он автоматически пользуется хромомом, неправильно.  Движок рендеринга != браузер. Довольно долго вебкит был основой и Хрома,  и Сафари, так что это значит,  что это одно и то же?

     
     
  • 7.32, Аноним (-), 18:48, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > и прочих браузерах на основе Chromium
    > на основе Chromium
    > Chromium

    ...

     
     
  • 8.34, Аноним (-), 21:01, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Во вы спор тут устроили Под Хромоногим я имел в виду именно Браузеры Гугл хр... большой текст свёрнут, показать
     
     
  • 9.42, Аноним (-), 11:07, 14/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    У меня лис, грузит быстро, не вижу отличий от вивальди ... текст свёрнут, показать
     
  • 7.37, mimocrocodile (?), 21:58, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    На этом сайте принятно считать что движок это и есть браузер, а всё остальное это шкурки (скины).
     
  • 6.29, Аноним (-), 18:17, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > https://ru.wikipedia.org/wiki/Blink_(%D0%B4%D0%B2%D0&
    > Используется в Chrome 28+, Opera 15+, Vivaldi, Яндекс.Браузере и прочих браузерах на
    > основе Chromium, выпущенных после весны 2013 года.
    > И ?

    "седан" следует читать,  как "человек". Автозамена :)

     
  • 5.33, Lain_13 (ok), 19:01, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    В контексте сказанного ты именно им и пользуешься. Или ты думаешь, что в Vivaldi в движок добавляли поддержку новых фич HTML/CSS/JS, и в Chrome результат будет иным? Разве что в Хромиуме может не хватать пары опциональных аудио/видео декодеров. Естественно в плане настройки под себя Vivaldi это совершенной иной и куда более удобный браузер.
     
  • 3.35, anonimbl (?), 21:07, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    То есть ты запускаешь реакт приложение поверх хромиума, чтобы запускать в нем реакт приложения поверх реакт приложения поверх хромиума.
     
  • 2.17, freehck (ok), 14:23, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > В тесте html5test.com у кого сколько набирает?

    FF45, Devuan GNU/Linux Jessie: 444/555
    Вообще странно. Я не замечаю каких-либо ощутимых тормозов. Может, не по тем сайтам ползаю.

     
     
  • 3.27, rshadow (ok), 17:54, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Попробуйте почитать что именно тестит этот сайт. Можно начать с названия домена.

    Подсказка: тестирует не производительность.

     
     
  • 4.30, freehck (ok), 18:29, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Подсказка: тестирует не производительность.

    Ааааа! :)
    Да, теперь сообразил. Работа - страшная вещь, совсем мозги расплавились уже.

     
  • 2.19, Аноним (-), 14:49, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    517 OUT OF 555 POINTS http://html5test.com/s/e42641358097a7e0.html
     
  • 2.31, жабабыдлокодер (ok), 18:38, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Хромиум на последней Федоре - 518.
     
  • 2.36, крокодил мимо.. (?), 21:21, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > В тесте html5test.com у кого сколько набирает?

    спс, ещё одна няшка, чтобы поотключать всякое ненужное..

     
  • 2.38, ann (??), 22:47, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    504/555 из-за того что в браузер не вкомпилина поддержка DeRьMа и RTC
     
     
  • 3.43, Аноним (-), 11:10, 14/04/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > 504/555 из-за того что в браузер не вкомпилина поддержка DeRьMа и RTC

    Померяемся?

    Your browser scores 467 out of 555 points

    You are using Firefox 52.0.2 on Windows 10 (нет, на самом деле на Linux и не 52 а 53, в общем мерилка - фигня)

     
  • 2.40, Аноним (-), 01:41, 14/04/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    471

    You are using Firefox 52.0 on Windows 8.1

     
  • 2.48, enik (ok), 21:40, 14/04/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    460

    You are using Edge 14 on Windows 10

     

  • 1.10, J.L. (?), 12:33, 13/04/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    а почему тест учитывает "скорость работы с React, Angular, Ember и другими фреймворками" как будто это браузер должен подстраиваться под баги фреймворка ?
     
     
  • 2.44, Аноним (-), 13:14, 14/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > а почему тест учитывает "скорость работы с React, Angular, Ember и другими
    > фреймворками" как будто это браузер должен подстраиваться под баги фреймворка ?

    Если послушать веб-девелоперов: существует один идеальный браузер, под который писался фреймворк, а остальные браузеры не должны существовать вовсе.

     
  • 2.47, Lain_13 (ok), 14:40, 14/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    А как ты ещё определишь наиболее приоритетные для оптимизации части браузера (да и любого ЯП), кроме как гонять реально используемый код и оптимизировать узкие места? Иначе можно заоптимизировать никому ненужную чушь. Если у тебя, например, сложность алгоритма сортировки массива строк выражается через O(n^n), то, наверное, дело не в коде, который решил воспользоваться встроенным алгоритмом сортировки вместо реализации своего собственного, а в том, что встроенную сортировку писал террорист-смертник.
     
     
  • 3.49, JL2001 (ok), 15:51, 20/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > А как ты ещё определишь наиболее приоритетные для оптимизации части браузера (да
    > и любого ЯП), кроме как гонять реально используемый код и оптимизировать
    > узкие места? Иначе можно заоптимизировать никому ненужную чушь. Если у тебя,
    > например, сложность алгоритма сортировки массива строк выражается через O(n^n), то, наверное,
    > дело не в коде, который решил воспользоваться встроенным алгоритмом сортировки вместо
    > реализации своего собственного, а в том, что встроенную сортировку писал террорист-смертник.

    а если код либы перед вызовом сортировки из браузера делает O(n^n) и тормозит - какое место оптимизировать в браузере?

    и если сортировка в браузере тормозит то почему багрепортов нету ? и чинить надо багрепорты

     
     
  • 4.50, Lain_13 (ok), 17:34, 20/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > а если код либы перед вызовом сортировки из браузера делает O(n^n) и тормозит - какое место оптимизировать в браузере?

    Никакое, выставляется багрепорт на либу. А вы как думали?

    > и если сортировка в браузере тормозит то почему багрепортов нету ? и чинить надо багрепорты

    А кто тебе сказал, что нет? Нашли проблему, выставили сами себе багрепорт, починили. Ты возбухаеш.

     

  • 1.13, Аноним (-), 13:45, 13/04/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ни фига не понял. Из первого абзаца следует, что октан создан как альтернатива синтетическим тестам, а в 3-4 абзацах о нём пишут как о синтетическом тесте.
     
     
  • 2.22, Аноним (-), 16:22, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    первый абзац врет.
    в оригинале сказано, что "мы теперь будем мерить производительность на снапшотах реальных страниц, а тесты октана плохо отражают действительность".

    октан - синтетический тест, и по этому устарел.

     
     
  • 3.24, Аноним (-), 16:52, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > октан - синтетический тест, и по этому устарел.

    Octan не синтетический тест, он  ровно для замены синтетическим тестам и задумывался, но в нём использован код крупных web-систем типа эмуляторов, компиляторов на JavaScript или PDF.js, которые мало отражают работу обычных сайтов.

     
  • 2.23, Аноним (-), 16:50, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Ни фига не понял. Из первого абзаца следует, что октан создан как
    > альтернатива синтетическим тестам, а в 3-4 абзацах о нём пишут как
    > о синтетическом тесте.

    Octane тестировал реальные ресурсоёмкие web-проекты, типа графических движков, библиотек сжатия, и прочих крупных вещей, скомпилированных в Asm.js. А новые тесты тестируют обычные страницы, типа Facebook.

     

  • 1.14, Аноним84701 (ok), 13:49, 13/04/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    > выступает то, что производители браузеров не брезгуют внесением специальных оптимизаций,
    > не влияющих на работу в реальных условиях, но позволяющих добиться улучшения показателей
    > при прохождении тестов производительности.

    Кто бы мог подумать, ага.
    Вспоминается та же ненавидия с "особой поддержкой" бенчей в дровах:
    http://www.geek.com/games/futuremark-confirms-nvidia-is-cheating-in-benchmark
    > extremetech found good evidence that nvidia's driver was indeed detecting the presence of 3dmark2003 and altering its behavior, artificially increasing its score.

     
  • 1.15, Аноним (-), 13:52, 13/04/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    В отличие от вашего чердака, Firefox очистить очень просто!

    Это я к чему. Чердак у Google бомбанул, вот они и закрывают!

     
     
  • 2.45, Аноним (-), 13:50, 14/04/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Firefox очистить очень просто!

    Ананас, ты забыл тег "сарказм".
    Pocket, Hello, DRM, WebExtentions: всё это и многое другое смотрите в новом FF.

     

  • 1.20, random_vagabond (?), 15:20, 13/04/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +9 +/
    Тормозит - не браузер, тормозит - сайт.
    Если сайт выдаёт тяжёлый код, я не буду менять браузер, я поменяю сайт на более вменяемый.
     
     
  • 2.25, YetAnotherOnanym (ok), 17:26, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • +7 +/
    Ваш пост огорчает веб-макак.
     
  • 2.39, Аноним (-), 23:47, 13/04/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Увы, не всё можно поменять. Я вот периодически на амазоне отовариваюсь, и альтернатив ему не вижу, а более невменяемые скрипты, чем там, найти непросто.
     

  • 1.41, DmA (??), 08:26, 14/04/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    разработчики абсолютного большинства html  страничек никогда не слышали слово "оптимизация".
    Поэтому если вы не любитель открывать только одну страничку, то ваши вкладки будут тормозить, какой бы вы браузер не использовали!
     
     
  • 2.46, Аноним (-), 13:52, 14/04/2017 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > html  страничек

    Ты же знаешь, что html - обычный гипертекст? Может быть ты хотел сказать "любители новомодных дерьмо-фреймворков"?

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру