Ключевые слова:port, freebsd, update, (найти похожие документы)
From: ProFTP <q7u5@ukr.net.>
Newsgroups: email
Date: Mon, 15 Jul 2009 14:31:37 +0000 (UTC)
Subject: Быстрое обновление и восстановление портов
Внимание, прежде чем последовать советам из данной статьи, обязательно прочитайте
комментарии к ней, так как в тексте много неточностей.
Содержание:
Введение.
1. Скачивание и установка дерева портов.
2. Обновление и исправление базы данных портов.
3. Редактирование /etc/make.conf (оптимизация, etc).
4. Простое обновление.
5. Полезные опции portupgrade.
6. Проверенные скрипты тщательного обновления (автоматическое обновление).
7. Исправление некоторых проблем.
Введение
если нужно обновить (и(или)восстановить) порты, может быть запутанная ситуация (например, если не обновлять год), portupgrade очень часто с первого раза не исправляет ошибки
OS: FreeBSD 7.0, FreeBSD 7.1, FreeBSD 8.0
1. Скачивание и установка дерева портов.
для начало перейти в:
cd /usr
скачаем архив дерева портов, это будет быстрее чем обновлять через cvsup, ищем ближайщый ftp провайдера/города/страны
качаем:
wget 'ftp://ftp2.ua.freebsd.org/pub/FreeBSD/ports/ports/ports.tar.gz'
перед скачиваем нужно обратить внимание чтобы архив был создан не позже чем 1-2 дня назад (желательно), некоторые ftp редко синхронизируются!
rm -rf /usr/ports
можно не большой скрипт который быстрее разархивирует, каждый файл при этом форкает (fork) системой:
(кто знает вариант лучше - пускай напишет)
#!/usr/bin/perl
open (OPEN, "tar -tf ports.tar.gz |");
while (my $p = <OPEN>) {
system("tar -xvzf ports.tar.gz $p > /dev/null &");
}
close OPEN;
если perl не стоит, то скорее всего он будет из мира, по-моему путь /usr/local/bin/perl
2. Обновление и исправление базы данных портов.
бэкап базы пакетов:
cp /var/log/dpkgdb.db /home/dpkgdb.db
можно заархивировать каталоги /etc/ /usr/local/etc программа может затереть конфиг (осторожно с символическими ссылками чтобы не удалить случайно важную информацию)
pkgdb -aF
опции:
-a all;
-F исправлять не спрашивая, считается безопасный метод;
-fu если база сбита.
вроде бы все
3. Редактирование /etc/make.conf (оптимизация, etc).
ee /etc/make.conf
WITCH=BATCH=yes # не выдавать окно в котором спрашивать с чем компилировать
BATCH=yes
# параллельная сборка портов, появилась с FreeBSD 7.2 лучше не включать
#
# MAKE_JOBS_SAFE=yes
# MAKE_JOBS_NUMBER=8
# FORCE_MAKE_JOBS=yes
# DISABLE_MAKE_JOBS=yes
# MAKE_JOBS_UNSAFE=yes
# FORCE_MAKE_JOBS=
#MAKE_JOBS_NUMBER!= let $$(sysctl -n kern.smp.cpus) \* 4
#
#.for port in \
# emacs-devel cross-binutils libgpg-error perl5.8 libthai \
# libiconv m17n-lib nasm tightvnc db47 subversion* \
# ghostscript8 pth cdrtools* w3m* xmp libslang2 ezm3 dcget libxml2 \
# vim gperf ffcall ORBit2 py-gtk2 xkeyboard-config ruby18 clisp \
# jdk16 p7zip zsh libsndfile openjdk6 gettext stumpwm
#
#. if ${.CURDIR:M*/${port}}
# MAKE_JOBS_UNSAFE=
#. endif
#.endfor
#
# оптимизация (кто какую считает лучше - отпишитесь в коментах)
CPUTYPE=pentium4 # архитектура
CFLAGS+=-g # отладка по-моиму
CFLAGS=-O2 -pipe -ffast-math -funit-at-a-time -fpeel-loops -ftracer -funswitch-loops -mmmx -msse -msse2 -march=pentium4 -mtune=pentium4
COPTFLAGS=-O2 -pipe -ffast-math -funit-at-a-time -fpeel-loops -ftracer -funswitch-loops -mmmx -msse -msse2 -march=pentium4 -mtune=pentium4
CXXFLAGS+=-fconserve-space
NO_PROFILE=true
LOCALIZED_LANG=ru
MASTER_SITE_OVERRIDE?= \
ftp://ftp5.ua.FreeBSD.org/pub/FreeBSD/distfiles/${DIST_SUBDIR}/ \
ftp://ftp7.ua.FreeBSD.org/pub/FreeBSD/distfiles/${DIST_SUBDIR}/ \
ftp://ftp.ua.FreeBSD.org/pub/FreeBSD/distfiles/${DIST_SUBDIR}/ \
ftp://ftp.gentoo.org.ua/distfiles/${DIST_SUBDIR}/ \
ftp://ftp2.ua.FreeBSD.org/pub/FreeBSD/distfiles/${DIST_SUBDIR}/ \
ftp://ftp6.ua.FreeBSD.org/pub/FreeBSD/distfiles/${DIST_SUBDIR}/ \
ftp://ftp8.ua.FreeBSD.org/pub/FreeBSD/distfiles/${DIST_SUBDIR}/ \
ftp://ftp.linux.kiev.ua/pub/Linux/Gentoo/distfiles/${DIST_SUBDIR}/ \
ftp://ftp.lucky.net/pub/FreeBSD/ports/distfiles/${DIST_SUBDIR} \
ftp://ftp3.ua.freebsd.org/pub/FreeBSD/ports/distfiles/${DIST_SUBDIR}/ \
ftp://ftp4.ua.freebsd.org/pub/FreeBSD/ports/distfiles/${DIST_SUBDIR}/ \
ftp://ftp.ntu-kpi.kiev.ua/pub/FreeBSD/distfiles/${DIST_SUBDIR}/ \
ftp://ftp.univ.kiev.ua/pub/FreeBSD/distfiles/${DIST_SUBDIR}/ \
ftp://ftp.univ.kiev.ua/pub/OS/FreeBSD/distfile/${DIST_SUBDIR} \
зеркала лучше указать свои, эти могут быть медленные....
4. Простое обновление.
если portupgrade не стоит, то поставить:
(потянет ruby)
cd /usr/ports/sysutils/portupgrade && make && make install && make clean
в headbook'е написано:
portupgrade -a
но это можно не сработать, если стоит очень много программ старых или запутанных, рекомендуют:
portupgrade -arR
чтобы пройтись вдоль всех зависимостей
5. Полезные опции portupgrade.
полезные опции в portupgrade:
-W не чистить порт перед обновлением ;
-w не чистить порт после обновления;
-F для того что скачать все исходники сразу, если проблемы с интернетом: portupgrade -aFrR
опции -f устанавливает дальше все зависимости, если даже где-то ошибка, то пытается продолжить дальше...;
-l /var/log/pport.log - записывает последнюю ошибку;
-L %s::%s создает файл в текущем каталоге, в котором записывает весь вывод установленных портов.
2 полезные команды make:
1) cd /usr/ports/deve/icu && make run-depends-list покажет зависимости данного порта,
2) make all-depends-list - все зависимости и зависимости тех портов которые зависят от порта
есть один важный недостаток, бывает версия порта называется не совсем корректно, например cairo-1.8.6_1,1 и portupgrade может всегда писать что порт устаревший
6. Проверенные скрипты тщательного обновления.portupgrade -arR часто тоже может выдаст ошибку!!
есть вариант написать скрипт, который обновит те порты который устаревшие в месте с зависимостями:
#!/usr/bin/perl
$nn = 0;
while (1) {
$nn++;
open( OPERN, "portversion |" );
@all = <OPERN>;
if ( $nn > 6 ) {
print "while 6 exit";
exit;
}
foreach (@all) {
my ( $pp, $st ) = split( / /, $_, 2 );
if ( $st =~ '<' ) {
print "UPDATE: $pp\n";
system("portupgrade -f $pp");
} else {
print "ok UPDATE";
exit;
}
}
}
при этом может быть очень часто что что-то пропустит из-за подзависимоти каких-то скорее всего, цикл идет в 2 этапов if ( !$nn > 2 )
если порты запутанные, можно написать чтобы обновляло и новую версия как не корректную if ( $st =~ '<' || $st =~ '>') {Важное примечание: при обновлении Desktop лучше сначала попробовать portupgrade -aRr, так как опция -R (portupgrade -Rf $all[0] для скрипта ниже)
будет устанавливать все зависимости по новому, если нужно обновить, к примеру, 4 программы evince/firefox3/xfce4, то они потянут около 20-60 зависимостей
каждая (не считал), и одно и тоже portupgrade будет собирать (но имейте ввиду что эта опция -R надежная), более "мягче" есть вариант в данном случае
поставить portupgrade -rf ports_old, при этом будут собираться только "ближайшие" зависимости, самый жесткий вариант portupgrade -Rrf ports_old скорее всего
лучше использовать в редких случаях, например, если не хочет компилироваться /devel/icu, так же можно просто -f или -R.
перед кажой установленной программой желательно пересмотреть еще раз список устаревших портов, чтобы не компилировать одно и тоже лишный раз,
так как с опциями -R или -r многое уже может быть обновленно, portversion быстро смотрит какие версии установлены...
вот маленький скрипт для этого + еще реализовал запись в лог файл, чтобы было видно какой порт обновляется и сколько время прошло:
#!/usr/bin/perl
$nn = 0;
while (1) {
$nn++;
open( OPERN, "portversion |" );
my @all2 = <OPERN>;
close OPERN;
my @all;
for ( $i = 0 ; $i < @all2 ; $i++ ) {
my ( $pp, $st ) = split( / /, $all2[$i], 2 );
if ( $st =~ '<' ) {
push @all, $pp; # $all[$i] = $pp;
}
}
exit if ( !$all[0] || $nn > 2 );
while (1) {
last if !$all[0];
print "$all[0]\n";
logsave( get_time(), $all[0] );
system("portupgrade -rf $all[0]");
logsave( get_time(), $all[0] );
shift @all;
my @all = old(@all);
}
}
sub old {
my @all = @_;
open( OPEN2, "portversion |" );
my @all_all = <OPEN2>;
close OPEN2;
my @old;
my @no_old;
foreach my $p (@all_all) {
my ( $pname, $status ) = split( / /, $p, 2 );
if ( $status =~ '<' ) {
push @old, $pname;
}
else {
push @no_old, $pname;
}
}
my %seen;
@seen{@all} = ();
delete @seen{@no_old};
return keys %seen;
}
sub get_time {
my ( $sec, $min, $hour, $mday, $mon, $year, $wday, $yday, $isdst ) =
localtime(time);
$mon++;
$year += 1900;
if ( $mday < 10 ) { $mday = "0$mday"; }
if ( $mon < 10 ) { $mon = "0$mon"; }
if ( $min < 10 ) { $min = "0$min"; }
my $date = "$mday $mon $year";
my $time = "$hour:$min:$sec";
my $cur_all_day = $mday + $mon * 30 + $year * 365;
my $radate = "$year-$mon-$mday $hour:$min:$sec";
return $radate;
}
sub logsave {
my ( $time, $ports ) = @_;
my $logfile;
$logfile = "\n time: $time \n ports: $ports \n\n";
system("touch /var/log/portupgrade.log");
open( DB2, "/var/log/portupgrade.log" ) || die "Cannot open file: $!";
my @base = <DB2>;
close(DB2);
open( DB, ">/var/log/portupgrade.log" ) || die "Cannot open file : $!";
print DB @base;
print DB $logfile;
close(DB);
}
я использовал эти два.
дальше я написал простейший скрипт для автоматического обновления, который обновит дерево портов и порты через cron,
отправит на email какие порты он обновил, и какие были устаревшие, можно поставить раз в неделю в cron
нужно заменить email адрес на тот который будет отсылаться Вам, и проверить работоспособность ftp с которого архив порта скачать
#!/usr/bin/perl
system("rm -rf /usr/ports.tar.gz");
system(
"cd /usr && wget ftp://ftp2.ua.freebsd.org/pub/FreeBSD/ports/ports/ports.tar.gz");
system("rm -rf /usr/ports");
open( OPEN, "tar -tf /usr/ports.tar.gz |" );
while ( my $p = <OPEN> ) {
system("tar -xvzf /usr/ports.tar.gz /usr/$p > /dev/null &");
}
close OPEN;
my $db = '/home/pkgdb.db' . time;
system("cp /var/db/pkg/pkgdb.db $db");
system("pkgdb -aF");
my $etc = '/home/etc' . time;
my $etc_local = '/home/etc_local' . time;
system("tar -cf $etc /etc");
system("tar -cf $etc_local /usr/local/etc");
open( OLD, "portversion -F|" );
my @all_old = <OLD>;
close OLD;
foreach (@all_old) {
my ( $pname, $status ) = split( / /, $_, 2 );
push @old, $pname if ( $status =~ '<' );
}
$nn = 0;
while (1) {
$nn++;
open( OPERN, "portversion |" );
my @all2 = <OPERN>;
my @all;
for ( $i = 0 ; $i < @all2 ; $i++ ) {
my ( $pp, $st ) = split( / /, $all2[$i], 2 );
if ( $st =~ '<' ) {
push @all, $pp; # $all[$i] = $pp;
}
}
exit if ( !$all[0] || $nn > 2 );
while (1) {
last if !$all[0];
print "$all[0]\n";
system("portupgrade -Rf $all[0]");
shift @all;
my @all = old(@all);
}
}
sub old {
my @all = @_;
open( OPEN2, "portversion |" );
my @all_all = <OPEN2>;
my @old;
my @no_old;
foreach my $p (@all_all) {
my ( $pname, $status ) = split( / /, $p, 2 );
if ( $status =~ '<' ) {
push @old, $pname;
}
else {
push @no_old, $pname;
}
}
my %seen;
@seen{@all} = ();
delete @seen{@no_old};
return keys %seen;
}
open( NEW, "portversion -F|" );
my @all_new = <NEW>;
close NEW;
foreach (@all_new) {
my ( $pname, $status ) = split( / /, $_, 2 );
push @new, $pname if ( $status =~ '<' );
}
open( SENDMAIL, "|/usr/local/sbin/sendmail -t" )
or die "sendmail not ready";
print SENDMAIL "From: FreeBSD <di\@th.org.ua\n";
print SENDMAIL "To: Admin <rtyug\@ukr.net>\n";
print SENDMAIL "Reply-To: FreeBSD <th\@ukr.net>\n";
print SENDMAIL "Subject: UPDATE from portupgrade\n\n";
print SENDMAIL "list old\n\n"; #
print SENDMAIL "@old\n\n";
print SENDMAIL "list new\n\n";
print SENDMAIL "@new\n\n";
print SENDMAIL "#################\n";
print SENDMAIL "list ALL old\n\n"; #
print SENDMAIL "@all_old\n\n";
print SENDMAIL "list ALL new\n\n";
print SENDMAIL "@all_new\n\n";
close(SENDMAIL) or warn "sendmail didn`t close nicely";
пример как можно написать что-то подобное portupgrade:
#!/usr/bin/perl
open( OPEN2, "portversion -o |" );
@all_all = <OPEN2>;
my @all;
foreach (@all_all) {
my ( $pname, $status ) = split( / /, $_, 2 );
$pname = '/usr/ports/' . $pname;
$pname =~ s/^\s+//;
$pname =~ s/\s+$//;
push @all, $pname;
}
my $port;
my @old;
my @no_old;
foreach my $p (@all_all) {
my ( $pname, $status ) = split( / /, $p, 2 );
if ( $status =~ '>' || $status =~ '<' ) {
$pname = '/usr/ports/' . $pname;
$pname =~ s/^\s+//;
$pname =~ s/\s+$//;
push @old, $pname;
}
else {
$pname = '/usr/ports/' . $pname;
$pname =~ s/^\s+//;
$pname =~ s/\s+$//;
push @no_old, $pname;
}
}
@to_port = `cd $old[0] && make all-depends-list`;
foreach (@to_port) {
$_ =~ s/^\s+//;
$_ =~ s/\s+$//;
}
my %seen;
@seen{@to_port} = ();
delete @seen{@no_old};
@dep2 = keys %seen;
print "@dep2\n";
и т.д. и т.п.
7. Исправление некоторых проблем.
если обновилось php, то нужно обновить его библиотеки:
pkg_info | grep '^php5*' | awk '{print $1}' | xargs portupgrade -f || pkgdb -fFu && portsclean -CLPP
для perl часто тоже может понадобиться:
pkg_info | grep '^p5-*' | awk '{print $1}' | xargs portupgrade -f || pkgdb -fFu && portsclean -CLPP
Java (jdk*) прийдеться руками ставить
очистить порты и каталог distfile:
portsclean -CDD
Автор: ProFTP http://unixforum.org.ua/index.php?topic=25706
в CFLAGS у вас присутствует скрытый дефект: -ffast-math, который оборачиваектся для нас -funsafe-math-optimizations -fno-math-errno
В итоге linimon@ мне тут объясняет "не зная броду не суйся в воду":
http://www.freebsd.org/cgi/query-pr.cgi?pr=137869 И чего мне тут ему отвечать, что мопед не мой, взял отсюдова? поправьте статью что-ли, а то я не первый и, думаю, не последний.
"но тянуть 41 метр из сети" - многое зависит от исходной задачи (например - было ли распаковано дерево портов при установке), толщины канала и наверное собственной лени. Сам пользую оба варианта.
>за portupgrade и чтение /usr/ports/UPDATE полностью согласен, но тянуть 41 метр из
>сети, чтоб обновить дерево портов, по-моему слишком
Насчет 41 метра - это вы про portsnap или про опус автора? portsnap тянет много только первый раз, потом всегда только дельты. Индекс он тоже генерит сам, поэтому всегда работает быстрее и ест меньше траффика, чем csup.
> для perl часто тоже может понадобиться
> pkg_info | grep '^p5-*' | awk '{print $1}' | xargs portupgrade -f || pkgdb -fFu && portsclean -CLPP
1) Для perl не часто может понадобиться, только если вы на другую ветку его обновили.
2) p5-* это далеко не все, что зависит от перла. Вы возможно имели в виду portupgrade -rf perl.
3) Но и это не нужно, есть скрипт perl-after-upgrade, который ставится с перлом, работает гораздо быстрее (ибо чисто перловые модули можно просто скопировать на новое место, а не пересобирать).
4) Насчет pkgdb и portsclean (особенно -DD) - убейтесь.
Для питона есть make upgrade-site-packages. Для php не знаю.
> Класс. Теперь понятно, почему лучше не включать. Уверен, что памяти хватит? Чтобы загрузить все ядра, достаточно n+1.
> Порты не зависят от версии системы, она появилась везде. Зачем там все переменные? MAKE_JOBS_SAFE, MAKE_JOBS_UNSAFE не для make.conf.
вам религия наверное запрещает посомтреть список рассылки там где говориться про паралельную сборку портов...
Журнал "Linux Format" (Линукс Формат)- Единственный в России и странах СНГ журнал на русском языке,
посвящённый Linux и свободному ПО. Журнал для IT-директоров, IT-менеджеров, программистов, системных
администраторов, учителей школ и преподавателей ВУЗов и всех пользователей ПК. В каждом выпуске: Новости
индустрии OpenSource, обзоры новинок свободного ПО, обучающие и методические статьи.
Каждый, кто оформит подписку, получает бонус- объёмные наклейки на системный блок и подарки: с одним из
первых выпусков журнала в 2012 году- диск с архивом номеров за 2005-2011 г.г. и ежемесячно электронную
версию журнала в pdf-формате.
Подробнее о проведении акции вы можете прочитать на
странице сайта.
