Вдохновился вашей лекцией. Поставил себе на пк убунту 19.10 на zfs. Из коробки работает хорошо. Но я хочу использовать все достоинства данной фс и это уже сложнее. Не могу найти единой толковой и рабочей справки для zol (например конкретно для моей 19.10 убунту). Пока изучаю методом тыка. Например создал zvol, а удалить его не могу, пишет, что нот экзист, хотя вижу его в программе диски и через консоль, как dev/zd0 4.3Gb... Например на самом деле хочу выжать из моей системы максимум скорости. Критические данные храню отдельно, поэтому отказоустойчивость не нужна, при условии заметного выигрыша в скорости. Имеется на самом деле два HDD по 500 GB и 1ssd 60 GB 16 GB RAM. Могу ли я сделать програмный рейд 0 (чередование) из двух HDD и их кешем L1 и L2 на SSD + ZIL? Так чтобы было ускорение всей системы и установленых програм? Возможно ли это? На самом деле насколько это быстрее, чем если у меня рут на 1м HDD? Если рейд 0 для системы (ос убунту 19.10 и установленных программ) реальность, ТО КАК ЕГО НАСТРОИТЬ!!!!! Желательно на живом примере из реальной, машины, а не виртуальной. Чтобы понятно было на самом деле как правильно записать команду под мои девайсы.
Здесь 1:10:30 речь пошла об онлайн репликации. Работает по схеме один из серверов master другой slave или на обоих может происходить изменение данных, что если в таком случае на какое-то время потеряется связь между ними, как они договорятся о синхронизации? Или это чисто бэкап (второй сервер)?
Речь шла о Sun AVS. Честно говоря, не в курсе его современного состояния (оракл вроде прекратил разработку, но возможно другие подхватили эту инициативу). Раньше был мастер-слейв только.
Sorry, i don't have option for that. Seems youtube didn't generated auto-caption for the video. Anyway, i'm not sure auto translation will work good for this, i'd recommend you to look for other videos on the topic.
Вы планируете какие-либо еще лекции? Может про bhyve? Это было бы логичным продолжением ZFS + bhyveна BSD. Вообще мною как-то лучше воспринимается ваш подход к изложению материала. )
Есть какая-нибудь статистика отказов zfs при использовании не ECC памяти? Насколько это критично, в течении какого периода накапливаются "silent corruptions" которые приводят к разрушению пула?
Затрудняюсь ответить на этот вопрос. Статистику надо большую очень собирать, да и сложно отличить повреждения пула из-за отсутствия ECC от других причин (глюки аппаратуры, ошибки в коде и так далее). Как показывает мой опыт - ZFS и BTRFS довольно сложно убить целиком, даже при отсутствии ECC памяти, но изредка data scrub иногда находит поврежденные по каким-то причинам файлы.
Вот еще один вопрос, в плане RAIDZ, а что если диск не выключится полностью, а лишь какая-то часть данных станет недоступна на этом диске, то пересчет контрольных сумм будет только для этих недоступных данных, правильно? Т.е. в отличии от обычного RAID5 и надежность повыше и скорость сильно не упадет, так как диск с большей частью данных будет еще в работе.
Да, то что недоступно, то и будет пересчитываться. Хотя, с современными дисками, у которых очень странные и навороченные алгоритмы чтения плохих секторов - возможно будет очень медленно (из-за того что диск будет ожидать многократных попыток прочитать плохое место).
@@Vasim122 просто я к тому, что обычный контроллер ,скорее всего, в этой ситуации отключит такой диск целиком, после чего уже начнутся ощутимые проблемы и с производительностью и с последующим восстановлением массива заменой поврежденного диска новым, в том числе увеличит риск отказа еще одного диска и потери данных полностью, если это был raid5.
@@Vasim122 это здорово, особенно для файлового хранилища. Относительно недавно стал открывать для себя zfs. Недели две назад установил FreeBSD под небольшой web сервер, два HDD в зеркало и один SSD под кэш чтения. Команда top во FreeBSD может отображать память выделяемою под ARC. Думаю организовать еще файловое хранилище, только оно должно работать в домене и уметь управлять доступом по пользователям, пока ищу правильный подход к этому вопросу. Спасибо за лекцию.
изучил материал, опытный лектор у меня на разделе 3 ТиБ, оперативной памяти много в запасе, для DDT с головой (есть график где видно сколько уходит в таблицу, и сколько свободно. Вобщем вся кухня) если линк не умрет, вот - prntscr.com/jv0b18
Все же не могу понять, дедупликация должна работать при работе с zvol через iscsi или нет. Потому что, копирую один и тот же файл (на клиенте iscsi) по разным папкам, никакой дедупликации не вижу, т.е. место расходуется. Клиент Windows 10
Должна работать. Тут, скорее всего, проблема в том, что клиентская файловая система ничего не знает про дедупликацию - на самом-то zvol виртуальное место тратится, но на физическом ZFS-пуле - оно дедуплицировано и место остается свободным для других датасетов (или для ручного расширения этого). Собственно, поэтому лучше использовать сетевые файловые системы (NFS, SAMBA, etc), а zvol-ы применять только в крайнем случае.
@@Vasim122 Все, разобрался, здорово.) Главное чтобы размер блока (volblocksize) для zvol при создании его на пуле был равен 4kb т.е. стандартному как и в nfts ну либо ntfs форматировать с блоком 16k (наверно более предпочтительно, так как сам пул создается с блоком 16k и zvol на нем с 4k не очень правильно). И все классно получается. По команде zpool list видно, как растет значение DEDUP при копировании одного и того же файла по разным папкам. Ну и zpool status -D тоже хорошо показывает сколько занято на диске allocated и сколько могло бы быть занято referenced. Еще в настройках iSCSI для Extent поставил тоже 4kb, не могу сказать это влияет или нет, но маловероятно. Единственное Windows конечно не видит этого свободного пространства на iSCSI диске, т.е. место сокращается, жаль. Спасибо за то, что отвечаете мне.
Столько рассказов и все разбилось о необходимость использования ECC-памяти, иначе всё потеряешь. Может быть с этого и нужно начинать и повторять каждые 10 минут?
когда компрессию ставлю у меня скорость в 4 раза падает, и это на файловом уровне идет... а выше него не прыгнуть, если по сети где то до 30 мегабайт в сек если идет обмен то это незаметишь, а если на физичиском то упираюсь в 60 как избежать не надо говориить, знаю, просто к сравнению стоит использовать компрессию в неособо скоростных проектах. для веба пойдет, под массу загнаиать и будет норм... 250 мб можно сделать в принципи... хватит в принципи... на несколько логик разделить... все ок.... в бомж пакете на ноуте делал сестре последний раз, на внешний хард часть оси вынес по юсбке под компрессию загнал) 5-20 мегабайт на скачиваемые доки норм) за то отключила хард подоткнула и вся ее операционка образно говрря все ее наработке с собой
Когда ноут дают «от заведения», где кроме браузера ничего нет, pptx ты откроешь разве что архиватором. А в фулскрине панель вкладок будет постоянно маячить, если курсор к верху приближать, лучше уже статичная панель задач
![BLACK BAG - Official Trailer [HD] - Only in Theaters March 14](http://i.ytimg.com/vi/Du0Xp8WX_7I/mqdefault.jpg)
![Как создаются Микрочипы? Этапы производства процессоров [Branch Education на русском]](/img/1.gif)
Мало видео контента по теме ZFS, искренне благодарен Вам за Ваш труд!)
Дякую за цінну інфу, чювак.
Вдохновился вашей лекцией.
Поставил себе на пк убунту 19.10 на zfs.
Из коробки работает хорошо.
Но я хочу использовать все достоинства данной фс и это уже сложнее.
Не могу найти единой толковой и рабочей справки для zol (например конкретно для моей 19.10 убунту).
Пока изучаю методом тыка.
Например создал zvol, а удалить его не могу, пишет, что нот экзист, хотя вижу его в программе диски и через консоль, как dev/zd0 4.3Gb...
Например на самом деле хочу выжать из моей системы максимум скорости. Критические данные храню отдельно, поэтому отказоустойчивость не нужна, при условии заметного выигрыша в скорости.
Имеется на самом деле два HDD по 500 GB и 1ssd 60 GB 16 GB RAM.
Могу ли я сделать програмный рейд 0 (чередование) из двух HDD и их кешем L1 и L2 на SSD + ZIL?
Так чтобы было ускорение всей системы и установленых програм?
Возможно ли это?
На самом деле насколько это быстрее, чем если у меня рут на 1м HDD?
Если рейд 0 для системы (ос убунту 19.10 и установленных программ) реальность,
ТО КАК ЕГО НАСТРОИТЬ!!!!!
Желательно на живом примере из реальной, машины, а не виртуальной.
Чтобы понятно было на самом деле как правильно записать команду под мои девайсы.
Здесь 1:10:30 речь пошла об онлайн репликации. Работает по схеме один из серверов master другой slave или на обоих может происходить изменение данных, что если в таком случае на какое-то время потеряется связь между ними, как они договорятся о синхронизации? Или это чисто бэкап (второй сервер)?
Речь шла о Sun AVS. Честно говоря, не в курсе его современного состояния (оракл вроде прекратил разработку, но возможно другие подхватили эту инициативу). Раньше был мастер-слейв только.
Еще раз здравствуйте, вы обещали скинуть пример для cron-а для снапшотов, было бы очень интересно посмотреть
Искал объяснение про то, как конкретно работает COW на BTRFS, нашел этот ролик... Смотрю что-то имя фамилия знакомые... Привет от 2:5011/27.1 ;)
Can you please enable English CC for this video ?
Sorry, i don't have option for that. Seems youtube didn't generated auto-caption for the video. Anyway, i'm not sure auto translation will work good for this, i'd recommend you to look for other videos on the topic.
Вы планируете какие-либо еще лекции? Может про bhyve? Это было бы логичным продолжением ZFS + bhyveна BSD. Вообще мною как-то лучше воспринимается ваш подход к изложению материала. )
Есть какая-нибудь статистика отказов zfs при использовании не ECC памяти? Насколько это критично, в течении какого периода накапливаются "silent corruptions" которые приводят к разрушению пула?
Затрудняюсь ответить на этот вопрос. Статистику надо большую очень собирать, да и сложно отличить повреждения пула из-за отсутствия ECC от других причин (глюки аппаратуры, ошибки в коде и так далее). Как показывает мой опыт - ZFS и BTRFS довольно сложно убить целиком, даже при отсутствии ECC памяти, но изредка data scrub иногда находит поврежденные по каким-то причинам файлы.
Вот еще один вопрос, в плане RAIDZ, а что если диск не выключится полностью, а лишь какая-то часть данных станет недоступна на этом диске, то пересчет контрольных сумм будет только для этих недоступных данных, правильно? Т.е. в отличии от обычного RAID5 и надежность повыше и скорость сильно не упадет, так как диск с большей частью данных будет еще в работе.
Да, то что недоступно, то и будет пересчитываться. Хотя, с современными дисками, у которых очень странные и навороченные алгоритмы чтения плохих секторов - возможно будет очень медленно (из-за того что диск будет ожидать многократных попыток прочитать плохое место).
@@Vasim122 просто я к тому, что обычный контроллер ,скорее всего, в этой ситуации отключит такой диск целиком, после чего уже начнутся ощутимые проблемы и с производительностью и с последующим восстановлением массива заменой поврежденного диска новым, в том числе увеличит риск отказа еще одного диска и потери данных полностью, если это был raid5.
Так и не понял, с включенной дедубликацией если я меняю один из файлов, то происходит его копирование на диске и далее записываются новые изменений?
Нет, дедупликация работает на уровне блоков данных, так что копируется и изменяется только измененый блок файла.
@@Vasim122 это здорово, особенно для файлового хранилища. Относительно недавно стал открывать для себя zfs. Недели две назад установил FreeBSD под небольшой web сервер, два HDD в зеркало и один SSD под кэш чтения. Команда top во FreeBSD может отображать память выделяемою под ARC. Думаю организовать еще файловое хранилище, только оно должно работать в домене и уметь управлять доступом по пользователям, пока ищу правильный подход к этому вопросу. Спасибо за лекцию.
в виндовс btrfs когда будет или его аналог ?
изучил материал, опытный лектор
у меня на разделе 3 ТиБ, оперативной памяти много в запасе, для DDT с головой (есть график где видно сколько уходит в таблицу, и сколько свободно. Вобщем вся кухня)
если линк не умрет, вот - prntscr.com/jv0b18
вирус
Все же не могу понять, дедупликация должна работать при работе с zvol через iscsi или нет. Потому что, копирую один и тот же файл (на клиенте iscsi) по разным папкам, никакой дедупликации не вижу, т.е. место расходуется. Клиент Windows 10
Должна работать. Тут, скорее всего, проблема в том, что клиентская файловая система ничего не знает про дедупликацию - на самом-то zvol виртуальное место тратится, но на физическом ZFS-пуле - оно дедуплицировано и место остается свободным для других датасетов (или для ручного расширения этого). Собственно, поэтому лучше использовать сетевые файловые системы (NFS, SAMBA, etc), а zvol-ы применять только в крайнем случае.
@@Vasim122 Все, разобрался, здорово.) Главное чтобы размер блока (volblocksize) для zvol при создании его на пуле был равен 4kb т.е. стандартному как и в nfts ну либо ntfs форматировать с блоком 16k (наверно более предпочтительно, так как сам пул создается с блоком 16k и zvol на нем с 4k не очень правильно). И все классно получается. По команде zpool list видно, как растет значение DEDUP при копировании одного и того же файла по разным папкам. Ну и zpool status -D тоже хорошо показывает сколько занято на диске allocated и сколько могло бы быть занято referenced. Еще в настройках iSCSI для Extent поставил тоже 4kb, не могу сказать это влияет или нет, но маловероятно. Единственное Windows конечно не видит этого свободного пространства на iSCSI диске, т.е. место сокращается, жаль. Спасибо за то, что отвечаете мне.
Столько рассказов и все разбилось о необходимость использования ECC-памяти, иначе всё потеряешь. Может быть с этого и нужно начинать и повторять каждые 10 минут?
когда компрессию ставлю у меня скорость в 4 раза падает, и это на файловом уровне идет... а выше него не прыгнуть, если по сети где то до 30 мегабайт в сек если идет обмен то это незаметишь, а если на физичиском то упираюсь в 60 как избежать не надо говориить, знаю, просто к сравнению стоит использовать компрессию в неособо скоростных проектах. для веба пойдет, под массу загнаиать и будет норм... 250 мб можно сделать в принципи... хватит в принципи... на несколько логик разделить... все ок.... в бомж пакете на ноуте делал сестре последний раз, на внешний хард часть оси вынес по юсбке под компрессию загнал) 5-20 мегабайт на скачиваемые доки норм) за то отключила хард подоткнула и вся ее операционка образно говрря все ее наработке с собой
А алгоритм компрессии какой? LZ4 вроде как самый шустрый из всех.
@@Vasim122 спасибо за инфу
@@Vasim122 спасибо ты мне глаза открыл
У меня тоже скорость чтения падает с компрессией lz4 (arch, gentoo), без компрессии существенно быстрее
Вопросы местами, конечно, как будто сварщикам читают лекцию о файловых системах. Последствия обучения "с крыши".
Всегда забавно, когда "тыжайтишник" не умеет делать презентации, а выкладывает картинки в html и даже не нажимает f11)
Когда ноут дают «от заведения», где кроме браузера ничего нет, pptx ты откроешь разве что архиватором. А в фулскрине панель вкладок будет постоянно маячить, если курсор к верху приближать, лучше уже статичная панель задач
Плоховато обьясняете паря.
каталОг
Сначала ужасно. А потом разошелся :)))
Лектор ужасен, лектор не готов к докладу.