Tomsk Sysadmins Forum

Unix => Администрирование => Topic started by: stranger on May 30, 2005, 18:37:48

Title: проблемы с backup
Post by: stranger on May 30, 2005, 18:37:48
Вот пытаюсь скинуть бэкап на внешний винт по самбе используя tar,
а он оказывается не могет создавать файлы больше 2 Гиг...

Я сейчас исследую инфу на этот предмет в гугле, но связь мертвая...

Могет кто сталкивался с такой проблемой и знает как ее побороть...
Title: проблемы с backup
Post by: sam on May 30, 2005, 18:56:09
так есть же rar и zip, задача бекапа с ними, имхо, решаема
Title: проблемы с backup
Post by: stranger on May 30, 2005, 19:04:48
Quote
так есть же rar и zip, задача бекапа с ними, имхо, решаема
[snapback]2296[/snapback]
Ну насколько я помню у zip-a тоже есть ограничение на 2G...
Насчет рара не знаю...

Вопрос, а могут они uid, guid сохранять при сжатии...
Title: проблемы с backup
Post by: stranger on May 30, 2005, 19:06:38
Хм... вроде одну возможность нашел... star... надо будет проверить...

З.Ы. А еще не могет это случайно ограничением самбы быть...
А то я по ней кидаю на NTFS...  Последняя проблем с большими файлами вроде не должна иметь...
Title: проблемы с backup
Post by: demiurg on May 31, 2005, 10:03:04
Quote
Хм... вроде одну возможность нашел... star... надо будет проверить...

З.Ы. А еще не могет это случайно ограничением самбы быть...
А то я по ней кидаю на NTFS...  Последняя проблем с большими файлами вроде не должна иметь...
[snapback]2298[/snapback]
У меня на ASPL 7.3 на ext3 tar (1.15.1 и тот что шел в комплекте с дистром, т.е древний) прекрасно создает архивы размером около 3 гиг уже в tar.gz виде. Правда tar сам файловую систему не мучает он работает с gzip
примерно так
tar -cpf - dir_for_backup |gzip -f9 - > arcfile.tar.gz

По самбе с linux'а на Win эти файлы и образы DVD прекрасно сливаются и заливаются обратно.
Title: проблемы с backup
Post by: stranger on May 31, 2005, 11:18:20
Quote
У меня на ASPL 7.3 на ext3 tar (1.15.1 и тот что шел в комплекте с дистром, т.е древний) прекрасно создает архивы размером около 3 гиг уже в tar.gz виде. Правда tar сам файловую систему не мучает он работает с gzip
примерно так
tar -cpf - dir_for_backup |gzip -f9 - > arcfile.tar.gz

По самбе с linux'а на Win эти файлы и образы DVD прекрасно сливаются и заливаются обратно.
[snapback]2307[/snapback]
Хм... надо так попробовать...
Я делал проще... tar -czvf /path_to_backup/file.tgz /home/users/
или tar -cvf /path_to_backup/file.tar /home/users/

В первом случае выдало broucken pipe
во втором то, что я уже писал...
Правда версия тара у меня вроде старее
tar (GNU tar) 1.13.25...
Надобы поновее помореть... для начала...
Title: проблемы с backup
Post by: demiurg on May 31, 2005, 11:50:43
Quote
Хм... надо так попробовать...
Я делал проще... tar -czvf /path_to_backup/file.tgz /home/users/
или tar -cvf /path_to_backup/file.tar /home/users/

В первом случае выдало broucken pipe
во втором то, что я уже писал...
Правда версия тара у меня вроде старее
tar (GNU tar) 1.13.25...
Надобы поновее помореть... для начала...
[snapback]2312[/snapback]
Версия tar из дистра ASPL7.3 tar-1.13.25-4.i386.rpm работала тоже правильно. Дистр кстати довольно древний (середины 2002-го года кажется).

От конструкции tar -czvf /path_to_backup/file.tgz /home/users/ отказался по причине желания иметь гибкость в скрипте
строка там такая на самом деле
$TAR $NEWER -cpf - $DIRECTORIES |$ZIP $ZIPOPT - > $BACKUPDIR/$DOWDIR/$ARC_NAME-$DOW.tar$ZIPSUFFIX

Если будет время tar -czvf /path_to_backup/file.tgz ...... проверю на чем нибудь большом, но думаю, что тоже без проблем.

Кстати в исходном сообщении не сказано что был за дистр
Title: проблемы с backup
Post by: stranger on May 31, 2005, 12:27:28
Quote
Версия tar из дистра ASPL7.3 tar-1.13.25-4.i386.rpm работала тоже правильно. Дистр кстати довольно древний (середины 2002-го года кажется).

От конструкции tar -czvf /path_to_backup/file.tgz /home/users/ отказался по причине желания иметь гибкость в скрипте
строка там такая на самом деле
$TAR $NEWER -cpf - $DIRECTORIES |$ZIP $ZIPOPT - > $BACKUPDIR/$DOWDIR/$ARC_NAME-$DOW.tar$ZIPSUFFIX

Это понятно... Хотя я в принципе собирался делать в скрипте, что-то типа
tar -czvf /path_to_backup/file$DATE.tgz /home/users/


Quote
Если будет время tar -czvf /path_to_backup/file.tgz ...... проверю на чем нибудь большом, но думаю, что тоже без проблем.
Посмотри пожалуйста... А то вчера по поиску в гугляндии я понял, что не только у меня была проблема... Решения я так пока не нашел, так как половина сайтов у меня просто не открывалось... Что-то с внешкой последнее время твориться...

Quote
Кстати в исходном сообщении не сказано что был за дистр
Дистр - это сложный вопрос... Изначально это был RH9, но я большинство основных пакетов, включая ядро, перекомпилил и поставил из RHEL 3... Так, что у меня что-то среднее...
Title: проблемы с backup
Post by: _bob on May 31, 2005, 15:22:33
А кто мешает star пользовать? Его Георг Шиллинг написал (и cdrecord тоже). У star нет ограничений на размер файла плюс дополнительные функции как раз для резервного архивирования.
Title: проблемы с backup
Post by: stranger on May 31, 2005, 15:52:17
Quote
А кто мешает star пользовать? Его Георг Шиллинг написал (и cdrecord тоже). У star нет ограничений на размер файла плюс дополнительные функции как раз для резервного архивирования.
[snapback]2319[/snapback]
Я в эту сторону уже начинаю думать... Думаю сегодня-завтра протестирую...
Я в одном из форумов про него прочитал... Правда там ответ был, что с ним то же не получилось от чела с такой же проблемой как у меня...
Title: проблемы с backup
Post by: stranger on May 31, 2005, 21:34:17
Quote
А кто мешает star пользовать? Его Георг Шиллинг написал (и cdrecord тоже). У star нет ограничений на размер файла плюс дополнительные функции как раз для резервного архивирования.
[snapback]2319[/snapback]
Попробовал star через gzip проблема осталась... Заткнулся на тех же двух гигах...
Завтра попробую без gzip, а то медленно все бэкаит... Тормозная машина+плюс передача по сети+ плюс передача по USB1.1

Буду теперь выяснсть в чем проблема дальше... Попробую обновить tar,gzip...


А никто не знает случаем во 2-ой самбе не было ограничений на 2 гига?
Title: проблемы с backup
Post by: demiurg on May 31, 2005, 23:55:51
Quote
Буду теперь выяснсть в чем проблема дальше... Попробую обновить tar,gzip...
А никто не знает случаем во 2-ой самбе не было ограничений на 2 гига?
[snapback]2355[/snapback]
У меня самба 2.2.12 проблемы не замечал
Title: проблемы с backup
Post by: aer on June 01, 2005, 10:22:43
Зачем вообще создавать каждый раз такие огромные файлы-архивы и гонять их по сети. Если данные активно изменяются, используйте инкрементальные средства архивирования.
Например: http://www.opennet.ru/dev/fsbackup/ (http://www.opennet.ru/dev/fsbackup/)
Title: проблемы с backup
Post by: stranger on June 01, 2005, 11:31:30
Quote
Зачем вообще создавать каждый раз такие огромные файлы-архивы и гонять их по сети. Если данные активно изменяются, используйте инкрементальные средства архивирования.
Например: http://www.opennet.ru/dev/fsbackup/ (http://www.opennet.ru/dev/fsbackup/)
[snapback]2360[/snapback]
Спасибо за совет... На новом серваке я скорее всего ею воспользуюсь (хотя планировал пользовать Acronis True Image под линух), а на том который сейчас стоит сделаю по старому... Так как медленный он очень... Два целерона 366...
Title: проблемы с backup
Post by: stranger on June 01, 2005, 11:34:32
Вроде выяснил в чем проблема... Оказалась все-таки в sambe...
У меня стоит 2.2.7a-8.9.0. Это выяснилось после обновления tar на 1.14-ую версию
Решил создать на локальном диске у меня в /var/ места свободного много еще оставалось...

Буду перелазить на 2.2.12-ую...
Title: проблемы с backup
Post by: stranger on June 01, 2005, 13:55:45
Что-то ничего я в этой жизни не понимаю... Взял самбу версии 2.2.12 с апдейтов
RH9.0-lagacy скомпилил поставил перестартовал самбу ....
примантировал раздел с помощью smbmount

Пытаюсь копировать файл размером 6 гиг - та же фигня обрывается на 2...
полазив по списку изменений я понял, что проблему с файлами больше 2 гиг решили еще в версии 2.2.7...

Самое интересное, что когда я подключил сетевой диск виндой с линукса и кинул туда файл рамером в 7 гиг он залился на линукс...

Вот такие непонятки... Т.е. получается с линукса на винду сбросить не могу, а с винды на линукс пожалуйста... :blink:
Title: проблемы с backup
Post by: aer on June 01, 2005, 18:04:11
Ну если уж идет вопрос о замене самбы то может быть имеет смысл брать 3-й версии данный продукт.
На FreeBSD 4.9 Samba version 3.0.7 прекрасно справляется с файлами любых размеров в любом направлении. Только что специально протестил :) : файл 3Гб, average 7 678 kb/s, закачал себе на винду.
Title: проблемы с backup
Post by: stranger on June 01, 2005, 18:28:43
Quote
Ну если уж идет вопрос о замене самбы то может быть имеет смысл брать 3-й версии данный продукт.
На FreeBSD 4.9 Samba version 3.0.7 прекрасно справляется с файлами любых размеров в любом направлении. Только что специально протестил :) : файл 3Гб, average 7 678 kb/s, закачал себе на винду.
[snapback]2435[/snapback]
Система постоянно используется в дневное время... И переход на тройку будет проблематичен, так как придется менять конфиги (конфиг у 2-ки и 3-ки разный)- по новой вводить в домен... А при переходе с одной двойки на другую достаточно установить и рестартовать сервис... И все...

Это меня и останавливает... На тройку я буду переходить когда летов новый сервер буду вводить, а старый выводить, так как в это время занятий не будет и пользователей практически не будет и я смогу спокойно перенести все файлы на новый сервер и перенести все настройки, а потом старый загасить... Еще мне предстоит перевод виндового сервера на освободившуюся мошину от линуха...
Title: проблемы с backup
Post by: aer on June 01, 2005, 18:51:34
Мда.
Quote
примантировал раздел с помощью smbmount
Может вот тут кроется проблема?

Попробуй скопировать на винду не посредством данной утилитки, а стандартными средствами самбы, smbclient-ом.
Title: проблемы с backup
Post by: stranger on June 01, 2005, 19:02:25
Quote
Мда.

Может вот тут кроется проблема?

Попробуй скопировать на винду не посредством данной утилитки, а стандартными средствами самбы, smbclient-ом.
[snapback]2437[/snapback]
Ну файл готовый я в принципе могу залить с помощью клиента, а вот можноли перенаправлением из тара туда сразу влить...

Я вот думаю могет все-таки перегрузить сервак вечером... Может помогет...
Самба могет и перестартовала нормально, но ведь инфомация о том, что smbfs имеет ограничение еще осталась... Ладно завтра еще поэкспеиментирую...

А пока решил написать скрипт, чтобы он мне всех пользователей в номе поодному в разные файлы закатал...
Title: проблемы с backup
Post by: Terminator on June 02, 2005, 09:55:48
Quote
Вот пытаюсь скинуть бэкап на внешний винт по самбе используя tar,
а он оказывается не могет создавать файлы больше 2 Гиг...

Я сейчас исследую инфу на этот предмет в гугле, но связь мертвая...

Могет кто сталкивался с такой проблемой и знает как ее побороть...
[snapback]2294[/snapback]

Обновить самбу до последней 3.0.XX и использовать вместо smbfs cifs.

P. S. fsbackup можно настроить чтобы всегда делал полный backup и создавал tar-ы по 2Гб