Être à la hauteur: L’AIEA évalue la qualité des analyses de l’eau des laboratoires

Tiré du Bulletin de l’AIEA

Votre analyse chimique de l’eau est-elle excellente, bonne, moyenne ou insuffisante ?

Carte des villes qui ont participé à des comparaisons interlaboratoires (WICO & TRIC) depuis 2016, des lieux où l’AIEA a formé des experts en hydrologie isotopique depuis 2007 et de ceux où elle a fait don d’instruments laser isotopiques depuis 2007 dans le cadre de son programme de coopération technique.(Source : AIEA)

Votre analyse chimique de l’eau est-elle excellente, bonne, moyenne ou insuffisante ? Les scientifiques peuvent le déterminer par comparaison. Depuis 30 ans, l’AIEA effectue des comparaisons interlaboratoires concernant l’hydrologie isotopique entre des centaines de laboratoires et des tests de compétence en la matière à l’échelle mondiale.

« La qualité des mesures est essentielle dans toutes les disciplines scientifiques, dit Luis González Hita, technicien en hydrologie à l’Institut mexicain de technologie hydrique. L’hydrologie isotopique n’échappe pas à la règle. Des données certifiées exactes et fiables nous donnent une base solide pour convaincre les responsables politiques. »

Les hydrologues isotopiques étudient les ressources en eau à l’aide de données isotopiques. Les informations issues de leurs travaux sont cruciales pour l’élaboration de stratégies et de politiques de protection de l’eau. Tous les quatre ans environ, plus de 300 laboratoires d’hydrologie isotopique participent à la comparaison interlaboratoires organisée par l’AIEA à l’échelle mondiale pour tester leur compétence.

La comparaison des résultats avec les échantillons de l’AIEA, provenant d’un large éventail d’eaux du monde entier, aide le personnel de chaque laboratoire à déceler les lacunes de leurs analyses à y remédier et à garantir l’exactitude et la précision des données qu’ils produisent.

Il est encore plus pertinent d’effectuer règulièrement des comparaisons de nos jours : avec l’évolution rapide de la technologie, les méthodes et les instruments d’hydrologie isotopique deviennent moins onéreux et plus accessibles. Ces avantages accroissent cependant le risque d’erreur car les personnes qui débutent dans ce domaine ont souvent une formation moins poussée.

« De nos jours, surtout avec les méthodes au laser, la technologie fait une grande partie du travail, dit M. González Hita. Pour effectuer les évaluations, les scientifiques s’appuient donc davantage sur les méthodes et moins sur les compétences ».

Viser l’excellence

Il existe deux grands projets de comparaison interlaboratoires. L’un est la comparaison interlaboratoires des isotopes de l’eau (WICO), qui consiste à tester la capacité des laboratoires de mesurer les concentrations de deutérium (2H) et d’oxygène 18 (18O) dans des échantillons d’eau. Une connaissance précise de ces concentrations permet aux scientifiques de déterminer l’âge et l’origine des eaux.

L’autre est l’intercomparaison internationale de la teneur en tritium (TRIC), qui porte sur la capacité des laboratoires de mesurer la concentration du tritium (3H), radio-isotope naturel, dans l’eau. Cet exercice permet de vérifier la précision et l’exactitude de ces mesures, qui servent à déterminer la vitesse de renouvellement des eaux et à étudier les eaux de moins de 60 ans. La dernière intercomparaison de ce type a été réalisée en 2018, avec une participation record de 90 laboratoires.

« Le déroulement des comparaisons interlaboratoires est simple, explique Leonard Wassenaar, Chef du Laboratoire d’hydrologie isotopique de l’AIEA basé à Vienne (Autriche). Nous préparons et vérifions soigneusement des échantillons d’eau avant de les envoyer aux différents laboratoires. Ceux-ci les analysent et nous envoient leurs résultats, que nous comparons avec les valeurs de référence de l’AIEA. Pour finir, nous compilons les résultats anonymement dans un rapport général destiné à la communauté scientifique et en parallèle nous envoyons à chaque laboratoire un rapport individuel détaillé dans lequel nous formulons des suggestions d’amélioration et des recommandations. »

Les rapports que l’AIEA établit au terme de chaque exercice contiennent des recommandations fondées sur l’observation qui aideront les laboratoires à perfectionner leurs méthodes et à améliorer leur performance. Ils aident également les experts de l’AIEA à déceler les lacunes et à cibler l’assistance qu’ils apportent, notamment en formant le personnel de laboratoire dans le cadre du programme de coopération technique de l’AIEA.

La vigilance à l’épreuve

La dernière intercomparaison WICO, réalisée en 2016 avec la participation de 235 laboratoires, est la plus grande comparaison interlaboratoires concernant des isotopes stables jamais organisée à l’échelle mondiale. Ses résultats ont paru dans la revue scientifique Rapid Communications in Mass Spectrometry en novembre 2017.

Lors de cet exercice, Leonard Wassenaar et son équipe ont introduit une nouveauté.

« Nous avons ajouté du méthanol à l’un des échantillons d’eau pour tester la vigilance des laboratoires face à des contaminants interférents - sans les prévenir, bien sûr, explique-t-il. Comme de nombreux laboratoires ne l’ont pas décelé, nous avons conçu quelques stratégies pour les aider à détecter la présence dans l’eau de contaminants interférents qui pourraient fausser les résultats. »

La plupart des laboratoires participant à l’intercomparaision WICO de 2016 ont obtenu des résultats acceptables à excellents pour l’analyse des isotopes de l’oxygène et près de la moitié d’entre eux pour l’analyse du deutérium. En revanche, 5 à 6% ont obtenu des résultats insuffisants, qui, selon Leonard Wassenaar, pourraient être dus à l’augmentation rapide du nombre d’instruments dans les laboratoires, notamment de lasers bon marché, surtout dans les laboratoires les moins expérimentés.

« Nous avons conclu que ces mauvais résultats tenaient probablement à des "inconnues connues" non quantifiables, dit Léonard Wassenaar. Des erreurs dans les feuilles de calcul Excel ou un instrument dont l’état laisse à désirer peuvent expliquer pourquoi des laboratoires obtiennent de mauvais résultats alors qu’ils semblent tout faire correctement. De telles erreurs, humaines ou non, sont courantes mais pas toujours évidentes du point de vue des laboratoires. »

Il peut s’agir d’erreurs liées aux connaissances ou aux compétences, comme l’expérience de l’opérateur, d’erreurs de traitement des données de base, du non-respect du protocole de mesure, de l’altération d’échantillons ou du dysfonctionnement des instruments d’analyse.

Selon des études récentes parues dans la revue Accreditation and Quality Assurance, les erreurs humaines pourraient compter pour beaucoup dans la qualité insuffisante des analyses géochimiques. Les résultats de l’enquête menée auprès des laboratoires participants à l’issue de l’intercomparaison WICO de 2016 tendent à confirmer que les erreurs humaines, techniques et instrumentales sont les principales causes d’insuffisance qualitative des analyses des isotopes de l’eau.

« La découverte d’erreurs conduit à des ajustements. Il importe de savoir quand nos résultats sont fiables et quand ils ne le sont pas », dit González Hita. Son laboratoire au Mexique a obtenu de très bons résultats au dernier test WICO. « L’exercice WICO de 2016 nous a permis de confirmer que nous réalisons des analyses de bonne qualité. Il est aussi utile que les pays voisins le sachent, car ils peuvent faire appel à nos services et nous pouvons partager nos meilleures pratiques. »

Cet article a été publié dans le Bulletin d’avril 2019 sur l’eau

Seeking excellence

There are two types of interlaboratory comparison projects. One is the Water Isotope Interlaboratory Comparison (WICO), which tests laboratories’ ability to conduct measurements of deuterium (2H) and oxygen-18 (18O) in water samples. Measuring these isotopes accurately allows scientists to determine the age and origin of water (read more on Isotope hydrology: an overview).

The other is the International Tritium Intercomparison (TRIC), which checks laboratories’ ability to measure the natural radioisotope tritium (3H) in water. Tritium measurements are used to analyse water replenishment rates and to study water younger than 60 years old. TRIC checks how precise and correct these measurements are. The most recent TRIC exercise took place in 2018 with a record participation of 90 laboratories.

“The way these interlab comparison projects work is simple,” said Leonard Wassenaar, Head of the IAEA Isotope Hydrology Laboratory based in Vienna, Austria. “We prepare and carefully verify water samples here and ship them to each laboratory. They analyse them and send us their results, which we then compare to our IAEA reference values. At the end, we compile the results in a general anonymous report for the scientific community, and in parallel send a detailed report to each lab individually with suggestions and recommendations
for improvement.”

The reports the IAEA produces after each exercise contain evidence-based recommendations to help laboratories refine their methods and improve their performance. They also help IAEA experts to identify gaps and target further assistance, including training laboratory staff, through the IAEA technical cooperation programme.

Testing vigilance

The largest ever global interlaboratory comparison for stable isotopes was the most recent WICO exercise in 2016 involving 235 laboratories. Its results were published in the Rapid Communications in Mass Spectrometry scientific journal in November 2017.

During the WICO 2016 exercise, Wassenaar and his team tried something new.

“We added methanol to one of the water samples to test the laboratories’ vigilance in detecting interfering pollutants — without warning them, of course,” said Wassenaar. “After finding out that many overlooked this, we came up with a few strategies for them to identify the presence of interfering contaminants in water that could lead to incorrect results.”

Most of the laboratories involved in WICO 2016 produced acceptable to excellent results when analysing oxygen isotopes, and about half did when analysing deuterium. But around 5 to 6% had unacceptably poor results, which Wassenaar said could be due to the rapid increase in the number of instruments in labs, such as low-cost lasers, especially among less experienced laboratories.

“We concluded that poor laboratory performance probably resulted from unquantifiable ‘known unknowns’,” Wassenaar said. “When laboratories appear to be doing everything right but still perform poorly, it could be from mistakes like errors in their Excel processing spreadsheets, or an instrument that is not properly maintained. These are mistakes and human errors that are common but may not be apparent to the laboratory.”

These, he added, include knowledge-based or skill-based factors, such as operator experience, basic data processing mistakes, measurement protocol violations, compromised samples or poorly functioning analytical instruments.

Recent studies published in the Accreditation and Quality Assurance journal have suggested that human errors can significantly contribute to underperforming geochemical analysis outcomes. The post-WICO 2016 survey of participating laboratories supports the premise that human, technical and instrumental errors are the main drivers for poor water isotope performance.

“Finding errors leads to adjustment. It is important to know where we are producing reliable results, and where not,” González Hita said. His laboratory in Mexico scored highly in the latest WICO test. “WICO 2016 allowed us to confirm that we are making good quality analyses. This is also good to know for neighbouring countries, because they can rely on our services and we can share best practices.”

180228_isotope_hydrology_still.jpg

Leonard Wassenaar in the IAEA Isotope Hydrology Laboratory based in Vienna, Austria, where all the samples are prepared and shipped. (Photo: M. Klingenboeck/IAEA)

This article was featured in the April 2019 Bulletin edition on Water.