> Dataframe 100M * 50 занимает в RAM 20 GB. В такой объем
> влезет веcь бухучет крупного холдинга за 20 летВы серьезно? Всего одно обособленное подразделение РАО ЕС (КамчастскЭнерго), в целях бухгалтерского учета по расчетам с клиентами в 256ГБ не влезло. А ГИВЦ Питера, занимающающееся той же самой коммуналкой, но не для 200 тыс, а для двух миллионов абонентов, на сервер 2ТБ поставило. А ведь это далеко не холдинг, а только его подразделения!
А если, как в Тульской области, на одном пилотном Новомосковском районе, подключить АСКУЭ и собирать показания всех ПУ каждые 15 минут, то сколько это будет? И не надо говорить, что это не бухгалтерия, так как за превышение согласованной мощности счета выставляются именно по этим 15 минутным интервалам.
> Что мешает писать запросы в ClickHouse? Нужны pandas-удобства?
Мне писать запросы ничто не мешает, и pandas удобства не нужны, и даже сам Python не могу использовать. Писал уже выше, что проблема не столько в Python, сколько в буковке "u" в том же pl/pythonu.
> Швейцарский нож - так себе инструмент. Но от него никто не
> отказывается. Ибо зубами - труднее и зачастую невозможно.
Я разве предлагал отказывать от Pyhton? Я, вообще-то, выше именно подобное и писал:
"Калькулятором или универсальным клеем можно и нужно пользоваться. Есть очень широкий класс задач, где воспользоваться готовыми библиотеками нужно не профессиональному программисту, а обычному специалисту в другой области. И очень хорошо и удобно, что Python это позволяет. Но заменить полноценные языки программирования калькулятором или клеем - не возможно."