Як ми використовуємо результати ICP-OES з невідомою точністю і достовірністю

Авторами цієї статті є @Dan_P, @taricha та @Rick Mathew. Ми брали участь у розробці експериментальних методів, визначенні вартості проєкту та аналізі даних. Проєкт було розпочато в серпні 2021 року з метою розуміння якості даних, отриманих в результаті вимірювань ICP-OES. Наш намір полягає в тому, щоб внести певну ясність для спільноти рифів, щоб допомогти оцінити, інтерпретувати та реагувати на ці дані. Нижче наведені результати цих зусиль.

Якщо ви є відвідувачем форумів R2R протягом будь-якого періоду часу, ви, швидше за все, натрапляли на повідомлення про ICP (індуктивно зв’язану плазму). Якщо ви зробите пошук на форумі за запитом “ICP”, то знайдете 20 сторінок повідомлень. Ось посилання . Коли ви переглянули їх, ви помітили, що деякі з них мають повторювану тему. “У мене є звіт з усіма цими цифрами… Що далі?”. Чи є ці значення реальними? Чи може це бути правильним? Що мені робити?

Ці судді реагують на результати тесту ICP, який показує їм, що один або декілька їхніх “параметрів” вимкнені. Після цього їм необхідно прийняти рішення щодо того, що робити далі. Саме цей факт є тим, що надає високого пріоритету якості вимірювання, як прецизійності, так і точності. Заяви про точність та достовірність вимірювань важко отримати від постачальників ІСЗ. Заява про невизначеність вимірювань за елементами була б дуже корисною для спільноти дослідників рифів. Насправді, було сказано, що вимірювання без знання його невизначеності має невелику цінність (Уолтер Левін). Найкращі практики звітування про вимірювання вимагають надання такої інформації.(4) Постачальники, які надають таку інформацію, роблять це на основі зразків, які консервуються та зберігаються в лабораторних умовах. Це не зразки води для хобі, які доставляються по всьому світу і зберігаються до тестування. Це зразки, які ми використовували в нашому експерименті, щоб краще описати реальні характеристики вимірювань ICP-OES. Ми бачили дані про межу виявлення (LoD) від ряду постачальників, але вони не відповідають на питання точності та достовірності. Це стало мотивацією для нашого проекту. Ми з @Dan_P, @taricha та @Dan_P поставили собі за мету більш детально розібратися з цими першочерговими питаннями:

1) Чи є ці вимірювання реальними?

2) Що таке повторюваність (точність) і чи змінюється вона за елементами?

3) Що таке варіабельність між постачальниками і чи відрізняється вона за елементами?

4) Що ми можемо сказати про точність?

Існує дуже мало опублікованої інформації, яка може безпосередньо відповісти на ці питання або допомогти нам оцінити постачальників. Наприклад, у 2016 році компанія Ross and Maupin (https://reefs.com/magazine/skeptical-reefkeeping-12/) надіслала сертифіковані зразки морської води у трьох екземплярах до компанії Triton для оцінки послуги ICP. Проведений нами аналіз даних дає привід замислитися над якістю даних, які ми отримуємо. Аналіз (див. діаграму 1) порівнює середній результат для повідомлених концентрацій елементів із сертифікованими стандартними кількостями. Відносна точність 100% вказує на ідеальну відповідність. Більша або менша кількість вказує на менш точні результати. Другим аналізом є відносне стандартне відхилення (RSD) результатів, яке являє собою стандартне відхилення, поділене на середній результат. Для цієї статистики, чим менше число, тим більш точними або відтворюваними були результати. Елементи розташовані відповідно до зростаючих концентрацій. Хоча RSD невеликі, що вказує на високу повторюваність елементів для зразків, виміряних один за одним, відносна точність свідчить про ненадійність вимірювань нижче 10 ppb Ba. Це відповідає половині протестованих елементів. Оскільки ці дані стосуються лише одного постачальника, ми не можемо застосовувати їх як загальний інструмент, а лише як орієнтир щодо того, чого можна очікувати від протоколу вимірювання ICP-OES.

ДІАГРАМА 1

У той час як дані Ross and Maupin викликають питання щодо надійності даних для елементів з низькою концентрацією, Fritz Aquatics випустила дослідження, в якому брали участь кілька постачальників і яке проводилося в різні періоди часу (https://fritzaquatics.com/assets/files/uploads/ICP_TES.pdf), що вказує на варіабельність навіть для елементів з найвищою концентрацією. Компанія Fritz підготувала єдиний еталонний зразок своєї сольової суміші і відправила його декільком постачальникам двічі, з інтервалом приблизно в місяць.

Chart 1A and 1B below show this variation in the 6 highest concentration elements: Ca, Cl, K, Mg, Na, and S. Chart 1A (left) shows that the choice of vendor resulted in a roughly ±5% difference of higher or lower element measurements (relative to the average of all vendor measurements) and this difference was consistent across the 6 elements. Chart 1B (right) shows that the vendors also disagreed about the relative increase or decrease in the element concentrations of this single sample during the storage time with one vendor reporting a consistent 5% increase, and another a >Зниження на 10% – знову ж таки, значною мірою узгоджується з 6 елементами.

Якщо вибір постачальника і коли він аналізує зразок, вносить варіації, подібні до зазначених вище, у вимірювання одного зразка, тоді варто спробувати глибше зрозуміти варіації, які з’являються в процесі вимірювання, і що ми можемо фактично зробити висновок з наших результатів ICP-тесту.

Для того, щоб відповісти на ці питання та оцінити постачальників, було проведено низку експериментів, як індивідуальних, так і спільних, з метою отримання відповідей на ці питання та оцінки постачальників. Хоча це не було вичерпним експериментальним дослідженням, і в ньому є певні прогалини, ми вважаємо, що отримали цінну інформацію про якість даних, отриманих від постачальників послуг, якою ми хотіли б поділитися з вами. Ми також хотіли б поділитися підходом до роботи з даними ICP, які не містять точної або достовірної інформації.

ЕКСПЕРИМЕНТАЛЬНА УСТАНОВКА ТА МЕТОД

У кожному випадку відбирали один великий еталонний зразок акваріумної води або розчинної води Instant Ocean. До деяких зразків додавали мікроелементи, перелік яких наведено нижче. У випадку дослідження розведення зразки були розведені водою RODI на певний відсоток, щоб представити різні рівні солоності (15%, 30% і 40% розведення). Потім великі зразки були розділені на окремі зразки, необхідні постачальнику. Кожен постачальник отримував зразки з однієї і тієї ж великої проби. У деяких випадках постачальник отримував кілька зразків з одного зразка. Див. ілюстрацію нижче.

Деякі експерименти мали 4 набори зразків, деякі – 3, деякі – 2 і деякі – 1. Вони були надіслані декільком постачальникам, максимум 4 окремим постачальникам. У всіх експериментах, крім одного, всі зразки були відправлені постачальникам одночасно. Загалом було відібрано 14 індивідуальних еталонних зразків, які були розділені на 34 індивідуальні набори зразків. Крім того, деякі набори даних були взяті з робіт, виконаних іншими особами. (3)

*Деякі зразки зберігалися в холодильних камерах і були відправлені пізніше, щоб оцінити мінливість з плином часу.

Для того, щоб не загрузнути у величезній кількості даних, ми спочатку представимо результати дослідження. Діаграми та графіки, включені сюди, є результатом наших висновків. Якщо вас цікавлять криваві подробиці, ми будемо раді надати їх вам.

Ми пропонуємо дві процедури оцінки, які, на нашу думку, будуть корисними для визначення того, чи є отримані Вами дані ІКЗ достатньо якісними для задоволення Ваших потреб. Перша – це оцінка постачальника, яка ґрунтується на аналізі всієї нашої бази даних результатів ICP і не вимагає знання статистики. Другий метод – це стандартна процедура оцінки аналітичних методів. Він може бути використаний для оцінки постачальників на основі нашої бази даних, або, якщо вам комфортно працювати з цифрами, може бути використаний для оцінки ваших даних при зборі повторних вимірювань.

Інструмент оцінки постачальників: Чи реальний він? (Інструмент № 1)

Перший інструмент – це уважний погляд на реальність виміру, про який повідомляється у звіті. Тут основна увага приділяється мікроелементам, а не основним речовинам. Оскільки у нас немає сертифікованих еталонних стандартів, важко встановити точність. Однак, продемонструвати неточність простіше. Якщо ідентичні зразки води, надіслані одному і тому ж постачальнику, дають результати нуль і 1,5 частин на мільярд для елемента, то можна зробити висновок, що вони не є точним відображенням вашої води, і, таким чином, заявлене вимірювання на рівні 1 частин на мільярд не обов’язково є реальним. Ви можете охопити велику кількість інформації, оцінюючи роботу постачальника, виявивши нездатність виміряти аналогічні зразки аналогічним чином. Наприклад, компанія ICP-Analysis (ICP-A) повідомила, що в одній і тій самій воді вміст іридію становить 800 частин на мільярд, а в іншій – нуль, отже, це може означати збій на рівні 1 частин на мільярд, 10 частин на мільярд, 100 частин на мільярд і, можливо, 1000 частин на мільярд.

Використовуючи ці міркування разом з інформацією, отриманою з наших досліджень розведення, була створена діаграма оцінки постачальників, наведена нижче.

ДІАГРАМА 2 ​

ДІАГРАМА 3 ​

ДІАГРАМА 2 ТА 3 КЛЮЧ

ICP-A = ICP-аналіз FM = Fauna Marin

Щоб скористатися діаграмою, виберіть постачальника, знайдіть елемент і діапазон ppb, в якому він заявлений, і зверніть увагу на колірний код. Прочитайте опис на основі кольорового коду. Якщо колір чорний, то для оцінки постачальника та елементу недостатньо інформації. Якщо колір червоний, то, швидше за все, немає необхідності йти далі, тому що вимірювання є величиною, яка не завжди відрізняється від нуля. Переглядаючи мікроелементи у вашому звіті ICP, використовуючи цю таблицю, ви можете вирішити, чи є вимірювання небажаного (або бажаного) мікроелемента насправді достатньо великим, щоб бути впевненим у його рівні у вашій воді.

Інший набір даних, у поєднанні з наведеними вище діаграмами, допомагає проілюструвати кількість та частоту вимірювань мікроелементів, про які повідомляють постачальники, і які не відрізняються від нуля в аматорських зразках. У наведених нижче даних кожному постачальнику було надіслано по 4 зразки. Як видно з діаграм 3A-D, всі постачальники повідомили про деякі ненульові мікроелементи, які не відрізнялися від нуля в усіх 4 повтореннях. Також очевидно, що звіти деяких постачальників включають більше таких можливих нульових елементів і з більшою варіацією, ніж звіти інших постачальників.

Оцінка постачальника – варіація вимірювального приладу (точність) (Інструмент № 2)

Існує два компоненти, які є важливими в будь-якій системі вимірювання (показання датчика): Існує точність, яка описує, наскільки близьким є вимірювання до істинного значення, і прецизійність, яка описує, наскільки близьким є вимірювання до попереднього вимірювання того ж зразка. Це часто називають повторюваністю.

Якщо припустити, що прилад дає точні результати, але має високу мінливість (низьку відтворюваність), то ймовірність того, що одиничне вимірювання є істинним значенням, є низькою. Це означатиме, що довіра до будь-якого окремого виміряного значення буде низькою.

Вимоги до рівня точності визначаються метою використання засобу вимірювальної техніки. Наприклад, для вимірювання довжини гоночної траси довжиною 10 миль, точність в 0,25 милі може бути достатньою, але якщо довжина траси складає лише 1 милю, такий рівень точності буде недостатнім.

Переносимо це в наш світ збереження рифів, деякі елементи мають точність у частинах на мільйон (PPM), тоді як інші будуть частинами на мільярд (PPB), що в 1000 разів менше. Загальна практика в хобі полягає не в тому, щоб контролювати рівень елемента до конкретного значення, а в діапазоні. Прикладом може бути кальцій від 405 ppm до 510 ppm або діапазон контролю 105 ppm. Якби наш вимірювальний прилад мав варіацію 100 ppm, це мало б для нас значення, оскільки точність майже така ж велика, як і наш контрольний діапазон.

ЗНАХОДЖЕННЯ ВАРІАЦІЇ ДІАПАЗОНУ ВИМІРЮВАЛЬНОЇ СИСТЕМИ

Одним із способів знайти цю варіацію є використання методу, який називається Gage R&R. Це наукове дослідження, яке підпадає під аналіз вимірювальних систем (MSA). Він відрізняється від відносного стандартного відхилення (RSD) тим, що порівнює варіабельність з необхідним для елемента діапазон контролю . Ми не будемо вдаватися в подробиці цього методу. У своїй найпростішій формі він полягає у багаторазовому вимірюванні одного і того ж зразка за допомогою однієї і тієї ж вимірювальної системи, проведенні статистичного аналізу даних і отриманні значення, яке ми будемо називати варіацією калібру (Gage Variation). Використовуючи це число і знаючи індивідуальний діапазон контролю елементів, ми можемо оцінити відносну ефективність різних вимірювальних систем. У нашому випадку вимірювальні системи різних виробників.

ОЦІНКА РЕЗУЛЬТАТІВ

Загальноприйнятою практикою є використання наступної шкали для оцінки ефективності вимірювальної системи:

Висока точність вимірювання

Варіація вимірювання становить менше 10% від діапазон контролю

Вимірювання середньої точності

Варіація діапазону становить від 10% до 30% від діапазон контролю

Вимірювання з низькою точністю

Варіація вимірювального приладу перевищує 30% від діапазону контролю.

Використовуючи цю шкалу з нашим прикладом кальцію діапазон контролю 105,

Low Precision Measurement > 30% of 105 = > 31.5 ppm

Це буде представляти наші цільові значення точності для кальцію з використанням діапазон контролю 105 проміле. Якщо контрольний діапазон буде розширено або зменшено, то цільові значення збільшаться або зменшаться відповідно.

Щоб перевірити ваше розуміння цього підходу, подивіться на стовпчики для кальцію на ХАРАКТЕРИСТИЦІ 5 нижче. Смуги з чорною смугою представляють високий та помірний рівень точності для нашого контрольного діапазону 105 проміле. Інші смуги представляють точність постачальника в наших експериментах. Ви можете визначити, які з них забезпечують високу точність вимірювань, а які – середню точність. Результат середньої точності не є “поганим”, але він не є корисним для контрольного діапазону 105. Якщо Ваш контрольний діапазон більший, то цей постачальник з більшою ймовірністю задовольнить Ваші потреби у вимірюванні.

Використовуючи експериментальні методи, які ми описали вище, ми відправили кілька наборів одного і того ж зразка декільком постачальникам. Ми зібрали дані і згенерували варіацію розміру для елементів за постачальниками. Використовуючи загальні рекомендовані контрольні діапазони для окремих елементів та варіацію Gage, ми створили графічні порівняння, подібні до наведених нижче, щоб допомогти нам визначити достовірність значень, повідомлених для кожного елемента постачальником. Діаграма 4 представляє контрольні межі, використані в цьому експерименті. Вони були взяті зі звітів постачальників. Хоча щодо “точних” цифр може виникнути багато суперечок, основний принцип залишається вірним. Ефективність вимірювальної системи може бути оцінена за її відхиленням від необхідного контрольного діапазону.

Source: www.reef2reef.com