The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Индекс форумов
Составление сообщения

Исходное сообщение
"Выпуск Python-библиотеки для научных вычислений NumPy 1.18"
Отправлено economist, 25-Дек-19 16:11 
Ставите диагноз по фото? Я за конструктив.

Кейс: две Pandas-таблицы, df1 4М*50, df2 1,6М*20. В одной - есть ИНН контрагентов, в другой есть ИНН и юрадреса, которые нам и нужны. Нужен LEFT OUTER JOIN по терминологии SQL (или =ВПР() без #Н/Д по Excel-ному). Вот как это в Pandas

df_merged = pd.merge(df1, df2, how='left', on='инн') # wall 1.2 s

Excel мало того что заткнется на 50k+ строк с ВПР (да-да, даже если это самый устойчивый формат XLSB и чтение было из TXT через простейший и быстрейший ISAM с schema.ini). Так еще и сделать вы в нем больше не сможете ничего.

Можно, конечно, прочесть силами VBA через ADO и RecordSet. Но позвольте - 1 секунда и 1 строчка кода, который можно скопипастить из тысячи мест - против кодинга на 30-50 строк и 2 часа работы?

А как вы график нарисуете по миллиону строк в Excel? А работа со временными рядами? PowerPivot - да, можно: еще один ЯП "M", еще один vendorlock, еще и -15 тыс. руб. за Excel.  

Про нечеткий поиск и "большой" Excel у меня много кейсов (в нем я с 1995 г.), так что если интересно - продолжим.

Но на всякий напомню - Numpy написан на С и потому быстр. Pandas - обертка над numpy и скорости его не замедляет. Julia не быстрее С и сам С не быстрее С. Скорость всего - итак мгновенная. Ускорять - нечего.

 

Ваше сообщение
Имя*:
EMail:
Для отправки ответов на email укажите знак ! перед адресом, например, !user@host.ru (!! - не показывать email).
Более тонкая настройка отправки ответов производится в профиле зарегистрированного участника форума.
Заголовок*:
Сообщение*:
 
При общении не допускается: неуважительное отношение к собеседнику, хамство, унизительное обращение, ненормативная лексика, переход на личности, агрессивное поведение, обесценивание собеседника, провоцирование флейма голословными и заведомо ложными заявлениями. Не отвечайте на сообщения, явно нарушающие правила - удаляются не только сами нарушения, но и все ответы на них. Лог модерирования.



Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру