https://www.opennet.ru/openforum/vsluhforumID3/119301.html Состоялся релиз Python-библиотеки для научных вычислений NumPy 1.18, ориентированной на работу с многомерными массивами и матрицами, а также предоставляющей большую коллекцию функций с реализацией различных алгоритмов, связанных с использованием матриц. NumPy является одной из наиболее востребованных библиотек, применяемых для научных расчётов. Код проекта написан на языке Python с применением оптимизаций на языке Си и распространяется под лицензией BSD...<br><br>Подробнее: https://www.opennet.ru/opennews/art.shtml?num=52082<br> https://www.opennet.ru/openforum/vsluhforumID3/119301.html#45 Fri, 24 Jan 2020 11:10:15 GMT Julia рухнула в TIOBE на -11 позиций. Ящик коньяка стал чуть ближе: <br><br>https://tiobe.com/tiobe-index/<br> https://www.opennet.ru/openforum/vsluhforumID3/119301.html#44 Fri, 27 Dec 2019 09:34:52 GMT &gt; А понятно, те в любом случае там интрефейс к сишным либам. Да <br>&gt; я собственно почему спрашивал - на лиспе пишу, стараюсь все писать <br>&gt; на нем, не обращаясь к С или Фотран. Надо сказать скорострельность <br>&gt; очень даже и ничего получается.<br><br>Фортран велик тем, что за десятилетия его существования решения многих мыслимых математических задач уже написаны на нем и отшлифованы. Переписывать, например, LAPACK на Python -- можно, но это куча времени и усилий, сначала на реализацию, а потом гораздо больше на полировку. Собственно, авторы PyPy таки начинали реализовывать NumPy на чистом Python -- когда уткнулись в то, что обертка к C "infamously slow", но в итоге таки, похоже, забили.<br> https://www.opennet.ru/openforum/vsluhforumID3/119301.html#43 Fri, 27 Dec 2019 03:30:44 GMT А понятно, те в любом случае там интрефейс к сишным либам. Да я собственно почему спрашивал - на лиспе пишу, стараюсь все писать на нем, не обращаясь к С или Фотран. Надо сказать скорострельность очень даже и ничего получается.<br> https://www.opennet.ru/openforum/vsluhforumID3/119301.html#42 Wed, 25 Dec 2019 14:14:44 GMT Склейка по нечеткому 0,97 с помощью https://pypi.org/project/fuzzywuzzy/ - 4 минуты на 1 млн строк склеено, всего 4 млн.<br><br>Насчет польз. функций, полагаю это про df.col.apply(lambda x: ... - оказались вполне шустрыми. Если нет - выносите в Cython, всего-то делов. <br> https://www.opennet.ru/openforum/vsluhforumID3/119301.html#41 Wed, 25 Dec 2019 13:33:46 GMT &gt; Но на всякий напомню - Numpy написан на С и потому быстр. Pandas - обертка над numpy и скорости его не замедляет. Julia не быстрее С и сам С не быстрее С. Скорость всего - итак мгновенная. Ускорять - нечего.<br><br>Numpy будет быстр только на тех операциях, которые внутри него реализовны. И на них нет разницы, питон это или другой вариант обёртки. Возвращаясь к нечёткому поиску, сделайте склейку, например, по критерию Jaro-Winkler &gt; 0.98, чтобы убрать опечатки. На указанных объемах, на питоне, можете его на год оставить работать... Так и о чём спорить? Код написанный на Julia - это гомогенный код, который полностью написан на Julia. А вот в numpy - любая пользовательская функция сравнения поставит его на колени.<br><br>&gt; А как вы график нарисуете по миллиону строк в Excel? А работа со временными рядами? PowerPivot - да, можно: еще один ЯП "M", еще один vendorlock, еще и -15 тыс. руб. за Excel. <br><br>Ok. См. BI-продукты, коих море, включая opensource. Это к вопросу, как обойтись вообще без программирования.<br> https://www.opennet.ru/openforum/vsluhforumID3/119301.html#40 Wed, 25 Dec 2019 13:27:40 GMT Сравнивать "поддержку" Python и Julia как-то рано. Ящик коньяка - в силе. <br><br>Я присматриваюсь к Julia, но пока кроме питонхейта - ничего от её комьюнити не вижу. Негоже с этого начинать "расчистку территории". И вам не советую в подобном участвовать - навредите любимому ЯП. <br><br>Питон - да, не идеален, но хорош. В DS он "по залету", но лишь потому, что не-программисты (тысячи их - предметники, экономисты всякие, маркетологи, лаб. крысы) - устали ждать "правильных программистов", пока те напишут по ТЗ в кошерном ЯП. Они стали кодить сами. И Питон дал им самый простой старт и курву. 3/4 кода для всего - готово и лежит на pypi. 1/4 - это SO. Да, это клей, и он уже намазан на обе поверхности. Остается прижать.<br> <br>Чистых питонистов, слава богу, нет. Алгоритмику преподают на Python же, и про "современное железо" - толсто. <br> https://www.opennet.ru/openforum/vsluhforumID3/119301.html#39 Wed, 25 Dec 2019 13:11:17 GMT Ставите диагноз по фото? Я за конструктив. <br><br>Кейс: две Pandas-таблицы, df1 4М*50, df2 1,6М*20. В одной - есть ИНН контрагентов, в другой есть ИНН и юрадреса, которые нам и нужны. Нужен LEFT OUTER JOIN по терминологии SQL (или =ВПР() без #Н/Д по Excel-ному). Вот как это в Pandas<br><br>df_merged = pd.merge(df1, df2, how='left', on='инн') # wall 1.2 s<br><br>Excel мало того что заткнется на 50k+ строк с ВПР (да-да, даже если это самый устойчивый формат XLSB и чтение было из TXT через простейший и быстрейший ISAM с schema.ini). Так еще и сделать вы в нем больше не сможете ничего. <br><br>Можно, конечно, прочесть силами VBA через ADO и RecordSet. Но позвольте - 1 секунда и 1 строчка кода, который можно скопипастить из тысячи мест - против кодинга на 30-50 строк и 2 часа работы? <br><br>А как вы график нарисуете по миллиону строк в Excel? А работа со временными рядами? PowerPivot - да, можно: еще один ЯП "M", еще один vendorlock, еще и -15 тыс. руб. за Excel. <br><br>Про нечеткий поиск и "большой" Excel у меня много кейсов (в нем https://www.opennet.ru/openforum/vsluhforumID3/119301.html#38 Wed, 25 Dec 2019 13:05:27 GMT &gt; Так вот скорее питонисты "выгонят" тунеядцев или лизингжопингующих откатмэнов.<br><br>Чистые питонисты никого не выгонят. Они ни алгоритмику не знают, ни современное железо. И как программисты в целом - довольно убоги. Проблема в том, что сейчас растёт молодёжь, которая реально верует в питон. И опять же, не путайте конкретные прикладные задачки с научной деятельностью. Чем хороша Julia - она синтаксически простая, но гибкая. Но при этом на ней можно писать программы, а не только связывать готовые куски, как на питоне. Сейчас реально непонятно, зачем использовать питон, хотя в обработке данных прекрасно ложится Julia, причём с теми же инструементами, на которых питонисты пальцы гнут. Включая кучу библиотек визуализации, как своих, так и переиспользованных с питона.<br><br>Также не забывайте, что у питона как у движка, уже нет поддержки. И сообщество разработчиков CPython разваливается. Numba работает, но частично. Nim - несовместим. Вы ни к кому не пойдёте, если что-то не работает. В случае Julia - можете дать денег https://www.opennet.ru/openforum/vsluhforumID3/119301.html#37 Wed, 25 Dec 2019 12:46:38 GMT Starts at $10,000 /year... Не вижу никаких преимуществ перед PowerBI или, скажем, Dash (Flask+Plotly+Numpy) <br><br>Знаете сколько я перевидал тех, кто говорил что программа заменит человека? Есть хорошая аналогия из истории: с приходом компьютеров в 1990-2000 прогнозировали снижение потребление бумаги во всем мире. На деле оно выросло в 5 раз. <br><br>Так вот скорее питонисты "выгонят" тунеядцев или лизингжопингующих откатмэнов.<br><br>