https://www.opennet.ru/openforum/vsluhforumID9/10161.html Сейчас реализована через файл.<br>Добавляю элементы, дописывая в конец файла, каждый элемент с новой строки.<br>Беру N элементов очереди через awk и после обработки каждого &#1108;лемента удаляю через awk.<br><br>Хочется упростить свой велосипед, уменьшить IOPS.<br><br>Использовать Redis ? memcache ?<br> <br> https://www.opennet.ru/openforum/vsluhforumID9/10161.html#12 Tue, 03 Oct 2017 13:42:42 GMT //Схватился за голову<br><br>Использовать /dev/head<br><br>Если вы любите файлы, то должны понимать, что ФС это на самом деле БД, и строчкой в ней является сам файл, а не строка в файле. <br><br>Вместо файла делаете директорию. В ней уже файлы с задачами. Обрабатываете эти файлы по отдельности и удаляете после. Выгода в том, что процессы ставящие задачи не ждут, пока другие туда запишут. Процессы исполнители можно запускать как угодно.<br><br>while true <br>do<br> find tasks -type f &#124; <br> xargs -l -I{} sh worker.sh {} 2&gt;&1 &gt;&gt;workers.log && rm -f {}<br> sleep 1;<br>done <br><br>Как тут заметили, директорию можно смонтировать как тмпфс. Тогда вся жизнь будет происходить в памяти. Но при ребуте сервера вы будете терять данные. Если задания не критичные, то вперед. Я бы так делать не стал.<br><br>PS<br>Могу для вас похожие проблемы решать за небольшие биткоины.<br>Решение для удаления файлов кроме трех последних тоже мое. <br> https://www.opennet.ru/openforum/vsluhforumID9/10161.html#11 Sat, 01 Jul 2017 11:53:52 GMT &gt;&gt;&gt; Это очень, очень плохой подход.<br>&gt;&gt; Чем же?<br>&gt; Тем, что притормаживает.<br><br>фейспалм.тхт<br><br>Ну, значит никсовые пайпы, на которых строятся конвейеры процессов, и которые существуют на свете дольше, чем вы - это "очень, очень плохой подход"? <br><br>Пионеры юные, головы чугунные (с) <br> https://www.opennet.ru/openforum/vsluhforumID9/10161.html#10 Wed, 28 Jun 2017 04:04:18 GMT &gt;&gt; Это очень, очень плохой подход.<br>&gt; Чем же?<br><br>Тем, что притормаживает. Можно молча выбрасывать строки, которые не успели обработать.<br><br>Micro$oft way - Word именно так печатает документы, в которых обсчитался с нумерацией страниц.<br> https://www.opennet.ru/openforum/vsluhforumID9/10161.html#9 Sun, 04 Jun 2017 16:13:45 GMT &gt; Это очень, очень плохой подход.<br><br>Чем же? <br><br><br> https://www.opennet.ru/openforum/vsluhforumID9/10161.html#8 Fri, 26 May 2017 06:55:36 GMT &gt; быстрее другого, то он будет притормаживать на I/O.<br><br>Это очень, очень плохой подход.<br><br> https://www.opennet.ru/openforum/vsluhforumID9/10161.html#7 Thu, 25 May 2017 19:56:48 GMT &gt; Использовать Redis ? memcache ?<br><br>Ты бы ещё суперкомпьютер купил.<br><br>mkfifo queue<br>process1 &gt; queue &<br>process2 &lt; queue<br><br>4Mбайт буфер для твоих строк. Бонусом получаешь синхронизацию - если один процесс быстрее другого, то он будет притормаживать на I/O.<br> https://www.opennet.ru/openforum/vsluhforumID9/10161.html#6 Thu, 25 May 2017 11:38:21 GMT &gt; И gearmand интересно.<br><br>Есть еще beanstalkd, знакомые веб-разработчики почему-то на него ушли с gearmand.<br>Не знаю, насколько он интересен в сравнении с gearmand.<br> https://www.opennet.ru/openforum/vsluhforumID9/10161.html#5 Thu, 25 May 2017 09:32:33 GMT И gearmand интересно.<br><br><br> https://www.opennet.ru/openforum/vsluhforumID9/10161.html#4 Wed, 24 May 2017 07:44:15 GMT <br>&gt; Применимость его в вашем случае- под еще большим вопросом.<br><br>Спасибо.<br>Смотрю в сторону<br>A script for running processes in parallel in Bash - https://pebblesinthesand.wordpress.com/2008/05/22/a-srcipt-for-running-processes-in-parallel-in-bash/<br><br>и<br><br>Simple job queue in Bash using a FIFO - https://blog.garage-coding.com/2016/02/05/bash-fifo-jobqueue.html<br>