Друзья, это видео в основном про основы и принципы, и конечно не претендует на полноту. Во многих лабораториях сложились свои подходы и схемы верификации. Поделитесь ими в комментариях (какие испльзуйте верификационные критерии, какой объем эксперимента) - это будет максимально полезно тем кто только начинает и хорошо дополнит видео с основами.
0:37 - Что такое верификация методики? 2:07 - Зачем делать верификацию? 2:43 - Литература по верификации, шаблон протокола верификации 3:00 - О чем это видео. Дисклеймер 3:54 - Описание методики из первого примера 5:29 - С чего начать верификацию? Оценка сходимости на реальных пробах 6:34 - Что такое параллельные определения? 7:14 - Оцениваем сходимость (повторяемость) результатов 8:20 - Что такое предел повторяемости? 12:25 - Оцениваем близость результатов в условиях промежуточной прецизионности 18:26 - Основа для протокола верификации 19:28 - Верификация методики, для которой не приведены метрологические характеристики 27:57 - Правильность ("введено-найдено") как критерий верификации 33:24 - Что дает верификация лаборатории? 33:58 - Что делать дальше после первых шагов? 35:24 - Анонс углубленного 5-дневного курса "Обеспечение достоверности анализа"
Здравствуйте. Скажите пожалуйста на 24:38 минуте критерии 3% откуда взялись? И дальше тоже критерии в % правильности как рассчитать? Подскажите пожалуйста.
Добрый день! Это просто условное число, которое я взял для примера того, как обрабатывают полученные данные. Обоснование критериев верификации - сложный вопрос, и является ответственностью лаборатории. Единого простого алгоритма тут нет. На практике, если в верифицированной методике прописаны метрологические характеристики, то ориентируются на них. Если мы верифицируем валидированную методику, то можно запросить протокол валидации, и взять нормативы оттуда. А если у нас ничего нет, то по сути у нас верификация приравнивается к валидации, и от нас требуется обоснование критериев. В общем случае, метрологические характеристики, которые мы получаем, должны обеспечивать точности, позволяющую делать надежную отбраковку продукции. Подходов к обоснования критериев я говорю в этих двух видео: ruclips.net/video/eyCZixhuV88/видео.html ruclips.net/video/EeSGf05twxk/видео.html
Здравствуйте! Подскажите, пожалуйста, меняется ли Акт внедрения документа, устанавливающего правила и методы исследований (испытаний) и измерений (ГОСТ 12041-82 Семена сельскохозяйственных культур. Метод определения влажности) при вводе нового оборудования? А так же, меняется ли при изменении одного помещения на другое при проведении испытаний (оборудование остается то же самое)?
Спасибо вам за это видео. Очень полезное, впервые от вас узнал, что можно самому задавать условия сходимости, если их не задано в методике. У меня возник такой вопрос: в примерах вы показываете обычно рассчитываете СКО на основании трех параллелей. А как вы делаете на практике? Я на обучении от экспертов слышал, что для адекватной оценки СКО нужно минимум 8 значений. Объяснялось тем, что математически доказано, что СКО, подсчитанное по восьми значениям, не дает сильного смещения относительно СКО генеральной совокупности при нормальном распределении
Добрый день! По поводу "самостоятельного задания". Ответственность за достоверность выдаваемых результатов лежит на лаборатории. Соответственно, если лаборатория внедряет старую методику, где не прописаны критерии, кто ей может их продиктовать? Лаборатория выбирает их так, чтобы обеспечить получение достоверных результатов, и несет за эти результаты ответственность. По поводу СКО. Мы измеряем для методики два "СКО": - СКО повторяемости - СКО промежуточной прецизионности (или воспроизводимости) На практике, для этого мы проводим несколько серий (3-5-8-15-20) по несколько параллельных определений в каждой серии (2-3). Итого, у нас получается (3-5-8-15-20) значений СКО повторяемости (посчитанное по 3 значениям), дальше мы их проверяем на однородность и специальным образом усредняем: ruclips.net/video/F-4g8g8n0kM/видео.html Так что получается на практике что не по трем значениям. СКО промежуточной прецизионности, так же рассчитывается по количеству серий. Рекомендуемое количество серий - 15. То что я написал, и о чем говорю в видео - это мой практический опыт в химическом анализе. Я уверен что есть и другие рабочие подходы, которые так же позволяют обесцвечивать достоверность анализа.
А как можно верифицировать руководство по эксплуатации на прибор? Валидировано ли оно, руководство, чтобы это сделать? И если можно, то где взять показатели качества для расчетов?установить их самим?
Для аккредитованной лаборатории есть требования - применять аттестованные методики анализа (МВИ), которые подвергаются верификации перед тем как начать по ним работать. Но для прямых измерений (размеры штангенциркулем, рН с помощью рН-метра, СО с помощью газоанализатора, электропроводность с помощью кондуктометра и др.), когда прибор показывает результаты анализа никакой МВИ обычно нет. А если есть МВИ - это уже не прямое измерение ) Прибор, который используется для прямых измерений должен быть в реестре средств измерений и иметь поверку. В принципе, если применение прибора предполагает несколько параллельных измерений, и есть требования к их сходимости - можно показать эту сходимость на примере нескольких проб. Правильность без специальных газовых смесей и стенда все равно определить не получиться. Мое мнение - что если нет МВИ, а есть поверенный прибор для прямых измерений, не нужно ничего верифицировать. Необходимость верификации появляется одновременно с появлением МВИ. Вот мы купили штангенциркуль. Что еще нужно? Другое дело, может потребоваться как-то запротоколировать обучение оператора. Но я работал в аккредитованной лаборатории довольно давно, все могло поменяться. Можете попробовать задать вопрос на форуме Росаккредитации.
Спасибо за ответ! Заметил, что на химических форумах похожие вопросы остаются без ответа, и мой не стал исключением. Просто вопрос в том, чтобы при очередной проверке доказать экспертам правильность проделанных процедур по внедрению.
Ни в ISO 17025, ни в критериях аккредитации нет каких-то конкретных жестких требований к процедуре внедрения. То что МВИ должны внедряться - есть. Основной документ в этом случае - руководство по качеству конкретной лаборатории. В нем можно и прописать подход, который вы используете. Проверяльщики смогут только констатировать, что проводите все согласно РК )
Добрый день, спасибо за видео, доступно изложено . Вопрос вот какой, методика измерений показатель растворенный кислород, СО нет в наличии, как подтвердить точность (правильность) выполнения методики. Достаточно ли проверить повторяемость (сходимость) и внутрилабораторную прецизионность (разные операторы)? Спасибо.
Добрый день! Для верификации - первым делом я бы сделал так как вы написали: СКО повторяемости, СКО промежуточной прецизионности. Только получается что серии, которые снимут разные операторы, должны быть получены в рамках срока годности пробы (в ПНД Ф 14.1:2.101-97 указывают срок годности 24 часа). В том же ПНД Ф 14.1:2.101-97 в качестве ВЛК указан контроль только по прецизионности, так что думаю это рабочая схема. В РК как правило не прописывают жестко "должна быть обязательно оценена правильность....". Проверяльщикам можно указать на объективное отсутствие СО, и попадание в нормативы методики по СКО. Правильность без СО тут никак не оценить (ни добавку сделать, ни разбавить)
Добрый день! Спасибо большое за видео. У меня вопрос, наверное, дублирующий предыдущий. Если невозможно найти СО, оценивать правильность необязательно? Методика, например, по определению спирта в пиве ГОСТ 12787. Или кислотность, или давление СО2. У нас практически все методики, не использующие СО.
Добрый день! Вы делаете верификацию этих методик? Есть два аспекта - здравый смысл и правовое поле. С точки зрения опыта и здравого смысла, я бы делал так: для ГОСТ 12787 проверить выполнение п. 2.6.3, 2.6.4, дополнительно оценить СКО промежуточной прецизионности (разные операторы). На мой взгляд, это будет прекрасным подтверждением способности лаборатории корректно проводить измерения по данной методике. По давлению CO2 - оно манометром измеряется? По правовому полю - надо смотреть, что регламентирует порядок верификации методик конкретно в вашей лаборатории.У вас лаборатория аккредитована? Есть руководство по качеству, инструкция или стандарт организации, где прописан порядок верификации?
@@Заметкихимика Спасибо за ответ! Да, делаю верификацию. Именно так, как Вы написали, и сделала (разными операторами в разное время). Лаборатория аккредитована, в руководстве прописано, что верификация нужна при расширении области и при изменении стандартных методик. Процедуры верификации нет, и методики ещё не внедрены, я этим и занимаюсь...
@@Заметкихимика Давление СО2 да, манометром измеряется и по приложению пересчёт делается на массовую долю в %, и нет норматива по сходимости/воспроизводимости. Буду расчитывать СКО и устанавливать свои критерии, как у Вас в видео.
@@Дарья-й4ы7ш Вы сейчас делаете очень важную работу! Самая на мой взгляд адекватная практика, когда нормативы по СКО устанавливают индивидуально для каждой методики (т.к. методики могут очень сильно отличаться по специфике, диапазону и др.), прямо в протоколе верификации (в графе "критерии верификации).
Добрый день! Скажите, а если в методике есть погрешность измерений, есть контроль воспроизводимости, но нет предела повторяемости, как рассчитать в таком случае?!
Добрый день! Пример для вашего случая разбирается в книге Терещенко А.Г., Пикула Н.П. Внутрилабораторный контроль качества результатов химического анализа, Томск: STT, 2017 earchive.tpu.ru/handle/11683/64168 - раздел "2.3. Расчетный способ оценивания метрологических характеристик". Если будут вопросы - пишите!
Добрый день! Уральский НИИ метрологии в 2019 году проводил семинар по метрологии именно физико-механических испытаний «Обеспечение качества определения механических свойств металлов» uniim.ru/events_uniim/. Думаю можно задать вопрос о новых семинарах в "Отдел метрологии механических и геометрических величин и характеристик"
В данном примере, 3% это просто пример по конкретной методике, для иллюстрации того как делается верификация. Для конкретной методики обосновываются свои допустимые критерии, исходя из задачи и требуемой точности.
Добрый день! Там где n(n-1) считают не просто СКО, а СКО среднего арифметического, которое равно СКО/КОРЕНЬ(n). И если знаменатель внести "под основной корень СКО", то как раз и получиться n(n-1) В разных расчетах использут разные величины, надо смотреть первоисточник, по котором проводят расчеты
👉 Школа завлабов labheadschool.com
Дай Вам Бог здоровья и благополучия!!! Спасибо огромное!!!
Спасибо за добрые слова! Рад что видео оказалось полезным )
Друзья, это видео в основном про основы и принципы, и конечно не претендует на полноту.
Во многих лабораториях сложились свои подходы и схемы верификации. Поделитесь ими в комментариях (какие испльзуйте верификационные критерии, какой объем эксперимента) - это будет максимально полезно тем кто только начинает и хорошо дополнит видео с основами.
Очень познавательно, спасибо за труд!
Ваууу, браво, спасибо большое. Хочу больше)))
0:37 - Что такое верификация методики?
2:07 - Зачем делать верификацию?
2:43 - Литература по верификации, шаблон протокола верификации
3:00 - О чем это видео. Дисклеймер
3:54 - Описание методики из первого примера
5:29 - С чего начать верификацию? Оценка сходимости на реальных пробах
6:34 - Что такое параллельные определения?
7:14 - Оцениваем сходимость (повторяемость) результатов
8:20 - Что такое предел повторяемости?
12:25 - Оцениваем близость результатов в условиях промежуточной прецизионности
18:26 - Основа для протокола верификации
19:28 - Верификация методики, для которой не приведены метрологические характеристики
27:57 - Правильность ("введено-найдено") как критерий верификации
33:24 - Что дает верификация лаборатории?
33:58 - Что делать дальше после первых шагов?
35:24 - Анонс углубленного 5-дневного курса "Обеспечение достоверности анализа"
Продолжение - "Верификация методик анализа, ч.2: зачем и как?"
ruclips.net/video/eyCZixhuV88/видео.html
Супер просто!
Рахмет!
Здравствуйте, а не могли бы вы показать на практике построение контрольных карт Шухарта?
Спасибо за ваше видео
Благодарю. Но все путается когда возникает то сравнение с 3 и 4 процентами.. Откуда они.. Если там целое исследование нужно
.
Здравствуйте. Скажите пожалуйста на 24:38 минуте критерии 3% откуда взялись? И дальше тоже критерии в % правильности как рассчитать? Подскажите пожалуйста.
Добрый день! Это просто условное число, которое я взял для примера того, как обрабатывают полученные данные.
Обоснование критериев верификации - сложный вопрос, и является ответственностью лаборатории. Единого простого алгоритма тут нет.
На практике, если в верифицированной методике прописаны метрологические характеристики, то ориентируются на них. Если мы верифицируем валидированную методику, то можно запросить протокол валидации, и взять нормативы оттуда. А если у нас ничего нет, то по сути у нас верификация приравнивается к валидации, и от нас требуется обоснование критериев. В общем случае, метрологические характеристики, которые мы получаем, должны обеспечивать точности, позволяющую делать надежную отбраковку продукции.
Подходов к обоснования критериев я говорю в этих двух видео:
ruclips.net/video/eyCZixhuV88/видео.html
ruclips.net/video/EeSGf05twxk/видео.html
Здравствуйте! Подскажите, пожалуйста, меняется ли Акт внедрения документа, устанавливающего правила и методы исследований (испытаний) и измерений (ГОСТ 12041-82 Семена сельскохозяйственных культур. Метод определения влажности) при вводе нового оборудования? А так же, меняется ли при изменении одного помещения на другое при проведении испытаний (оборудование остается то же самое)?
Здравствуйте. А если методика не содержит пределов сходимости и воспроизводимости?
Спасибо вам за это видео. Очень полезное, впервые от вас узнал, что можно самому задавать условия сходимости, если их не задано в методике. У меня возник такой вопрос: в примерах вы показываете обычно рассчитываете СКО на основании трех параллелей. А как вы делаете на практике? Я на обучении от экспертов слышал, что для адекватной оценки СКО нужно минимум 8 значений. Объяснялось тем, что математически доказано, что СКО, подсчитанное по восьми значениям, не дает сильного смещения относительно СКО генеральной совокупности при нормальном распределении
Добрый день!
По поводу "самостоятельного задания". Ответственность за достоверность выдаваемых результатов лежит на лаборатории. Соответственно, если лаборатория внедряет старую методику, где не прописаны критерии, кто ей может их продиктовать? Лаборатория выбирает их так, чтобы обеспечить получение достоверных результатов, и несет за эти результаты ответственность.
По поводу СКО. Мы измеряем для методики два "СКО":
- СКО повторяемости
- СКО промежуточной прецизионности (или воспроизводимости)
На практике, для этого мы проводим несколько серий (3-5-8-15-20) по несколько параллельных определений в каждой серии (2-3).
Итого, у нас получается (3-5-8-15-20) значений СКО повторяемости (посчитанное по 3 значениям), дальше мы их проверяем на однородность и специальным образом усредняем: ruclips.net/video/F-4g8g8n0kM/видео.html
Так что получается на практике что не по трем значениям.
СКО промежуточной прецизионности, так же рассчитывается по количеству серий. Рекомендуемое количество серий - 15.
То что я написал, и о чем говорю в видео - это мой практический опыт в химическом анализе. Я уверен что есть и другие рабочие подходы, которые так же позволяют обесцвечивать достоверность анализа.
А как можно верифицировать руководство по эксплуатации на прибор? Валидировано ли оно, руководство, чтобы это сделать? И если можно, то где взять показатели качества для расчетов?установить их самим?
Расскажите пожалуйста, а что за прибор? Какой показатель измеряете? Лаборатория аккредитованная?
Спасибо за обратную связь! ЭЛАН-СО на определение СО в газах и МАРК-302 на определение растворенного кислорода в воде. Лаборатория аккредитована.
Для аккредитованной лаборатории есть требования - применять аттестованные методики анализа (МВИ), которые подвергаются верификации перед тем как начать по ним работать.
Но для прямых измерений (размеры штангенциркулем, рН с помощью рН-метра, СО с помощью газоанализатора, электропроводность с помощью кондуктометра и др.), когда прибор показывает результаты анализа никакой МВИ обычно нет. А если есть МВИ - это уже не прямое измерение )
Прибор, который используется для прямых измерений должен быть в реестре средств измерений и иметь поверку.
В принципе, если применение прибора предполагает несколько параллельных измерений, и есть требования к их сходимости - можно показать эту сходимость на примере нескольких проб. Правильность без специальных газовых смесей и стенда все равно определить не получиться.
Мое мнение - что если нет МВИ, а есть поверенный прибор для прямых измерений, не нужно ничего верифицировать. Необходимость верификации появляется одновременно с появлением МВИ.
Вот мы купили штангенциркуль. Что еще нужно? Другое дело, может потребоваться как-то запротоколировать обучение оператора.
Но я работал в аккредитованной лаборатории довольно давно, все могло поменяться. Можете попробовать задать вопрос на форуме Росаккредитации.
Спасибо за ответ! Заметил, что на химических форумах похожие вопросы остаются без ответа, и мой не стал исключением. Просто вопрос в том, чтобы при очередной проверке доказать экспертам правильность проделанных процедур по внедрению.
Ни в ISO 17025, ни в критериях аккредитации нет каких-то конкретных жестких требований к процедуре внедрения. То что МВИ должны внедряться - есть. Основной документ в этом случае - руководство по качеству конкретной лаборатории. В нем можно и прописать подход, который вы используете. Проверяльщики смогут только констатировать, что проводите все согласно РК )
Добрый день, спасибо за видео, доступно изложено . Вопрос вот какой, методика измерений показатель растворенный кислород, СО нет в наличии, как подтвердить точность (правильность) выполнения методики. Достаточно ли проверить повторяемость (сходимость) и внутрилабораторную прецизионность (разные операторы)? Спасибо.
Добрый день!
Для верификации - первым делом я бы сделал так как вы написали: СКО повторяемости, СКО промежуточной прецизионности. Только получается что серии, которые снимут разные операторы, должны быть получены в рамках срока годности пробы (в ПНД Ф 14.1:2.101-97 указывают срок годности 24 часа). В том же ПНД Ф 14.1:2.101-97 в качестве ВЛК указан контроль только по прецизионности, так что думаю это рабочая схема. В РК как правило не прописывают жестко "должна быть обязательно оценена правильность....". Проверяльщикам можно указать на объективное отсутствие СО, и попадание в нормативы методики по СКО.
Правильность без СО тут никак не оценить (ни добавку сделать, ни разбавить)
Ссылка на курс выводит на пустую страницу. Можно ссылку на статью о которой говорите в самом начале видеоролика?
Елена, курс к сожалению закрылся ) Статью можно найти в гугле "Верификация методик анализа", она будет одна из первых
Добрый день! Спасибо большое за видео. У меня вопрос, наверное, дублирующий предыдущий. Если невозможно найти СО, оценивать правильность необязательно? Методика, например, по определению спирта в пиве ГОСТ 12787. Или кислотность, или давление СО2. У нас практически все методики, не использующие СО.
Добрый день! Вы делаете верификацию этих методик?
Есть два аспекта - здравый смысл и правовое поле.
С точки зрения опыта и здравого смысла, я бы делал так: для ГОСТ 12787 проверить выполнение п. 2.6.3, 2.6.4, дополнительно оценить СКО промежуточной прецизионности (разные операторы). На мой взгляд, это будет прекрасным подтверждением способности лаборатории корректно проводить измерения по данной методике.
По давлению CO2 - оно манометром измеряется?
По правовому полю - надо смотреть, что регламентирует порядок верификации методик конкретно в вашей лаборатории.У вас лаборатория аккредитована? Есть руководство по качеству, инструкция или стандарт организации, где прописан порядок верификации?
@@Заметкихимика Спасибо за ответ! Да, делаю верификацию. Именно так, как Вы написали, и сделала (разными операторами в разное время). Лаборатория аккредитована, в руководстве прописано, что верификация нужна при расширении области и при изменении стандартных методик. Процедуры верификации нет, и методики ещё не внедрены, я этим и занимаюсь...
@@Заметкихимика Давление СО2 да, манометром измеряется и по приложению пересчёт делается на массовую долю в %, и нет норматива по сходимости/воспроизводимости. Буду расчитывать СКО и устанавливать свои критерии, как у Вас в видео.
@@Дарья-й4ы7ш Вы сейчас делаете очень важную работу! Самая на мой взгляд адекватная практика, когда нормативы по СКО устанавливают индивидуально для каждой методики (т.к. методики могут очень сильно отличаться по специфике, диапазону и др.), прямо в протоколе верификации (в графе "критерии верификации).
Добрый день! Скажите, а если в методике есть погрешность измерений, есть контроль воспроизводимости, но нет предела повторяемости, как рассчитать в таком случае?!
Добрый день! Пример для вашего случая разбирается в книге Терещенко А.Г., Пикула Н.П. Внутрилабораторный контроль качества результатов химического анализа, Томск: STT, 2017 earchive.tpu.ru/handle/11683/64168 - раздел "2.3. Расчетный способ оценивания метрологических характеристик". Если будут вопросы - пишите!
Есть ли обучение по аналогичным темам для физико-механических испытаний?
Добрый день! Уральский НИИ метрологии в 2019 году проводил семинар по метрологии именно физико-механических испытаний «Обеспечение качества определения механических свойств металлов» uniim.ru/events_uniim/. Думаю можно задать вопрос о новых семинарах в "Отдел метрологии механических и геометрических величин и характеристик"
Объясните пожалуйста откуда это 3 %?
В данном примере, 3% это просто пример по конкретной методике, для иллюстрации того как делается верификация. Для конкретной методики обосновываются свои допустимые критерии, исходя из задачи и требуемой точности.
Excel считает СО через n-1, а у нас в лаборатории считают через n(n-1). Почему?
Добрый день!
Там где n(n-1) считают не просто СКО, а СКО среднего арифметического, которое равно СКО/КОРЕНЬ(n). И если знаменатель внести "под основной корень СКО", то как раз и получиться n(n-1)
В разных расчетах использут разные величины, надо смотреть первоисточник, по котором проводят расчеты