Pasar la prueba: El OIEA evalúa la calidad de los análisis de agua realizados por los laboratorios

Artículo del Boletín del OIEA

Las comparaciones permiten a los científicos saber si el análisis químico del agua es excelente, bueno, cuestionable o inaceptable.

El mapa muestra las ciudades que han participado en ejercicios de comparación entre laboratorios (WICO y TRIC) desde 2016, los lugares en que el OIEA ha impartido capacitación a expertos en hidrología isotópica desde 2007 y los sitios a los que el OIEA ha donado láseres isotópicos desde 2007 por conducto del programa de cooperación técnica del OIEA.(Fuente: OIEA)

Las comparaciones permiten a los científicos saber si el análisis químico del agua es excelente, bueno, cuestionable o inaceptable. Durante los últimos 30 años, el OIEA ha realizado comparaciones de hidrología isotópica entre cientos de laboratorios y se ha convertido en una fuente mundial de pruebas de competencia a en hidrología isotópica.

“La calidad de las mediciones es un aspecto fundamental de toda ciencia”, afirma Luis González Hita, Técnico de Hidrología en el Instituto Mexicano de Tecnología del Agua. “Esto es válido también para la hidrología isotópica. La garantía de tener datos correctos y fiables nos da una base sólida para convencer a los encargados de formular políticas.”

Los especialistas en hidrología isotópica son científicos que utilizan datos isotópicos para estudiar los recursos hídricos. Sus estudios ofrecen información crucial para elaborar estrategias y políticas de protección del agua. Cada cuatro años aproximadamente, más de 300 laboratorios de hidrología isotópica participan en pruebas de competencia de comparaciones entre laboratorios a nivel mundial organizadas por el OIEA.

La comparación de los datos con las muestras para pruebas del OIEA, que constan de una amplia variedad de aguas de todo el mundo, ayuda al personal de cada laboratorio a detectar y mejorar las deficiencias analíticas y a garantizar la producción sistemática de datos exactos y precisos.

Las comparaciones ordinarias entre laboratorios tienen en la actualidad más importancia que nunca: la tecnología avanza con rapidez y esto hace que los métodos y los instrumentos de hidrología isotópica sean cada vez más económicos y accesibles. Aunque tienen ventajas, estos cambios tecnológicos dan lugar a un mayor riesgo de errores, puesto que los principiantes en este ámbito suelen tener menos capacitación avanzada.

“Hoy día la tecnología hace gran parte del trabajo, especialmente por medio de métodos láser”, explica el Sr. González Hita. “Esto significa que para realizar las evaluaciones los científicos dependen más de los métodos y menos de los conocimientos”.

En busca de la excelencia

Existen dos tipos de proyectos de comparación entre laboratorios. Por un lado, la Comparación entre Laboratorios de los Isótopos presentes en el Agua (WICO), que pone a prueba la capacidad de los laboratorios de medir la presencia de deuterio (2H) y oxígeno 18 (18O) en muestras de agua. Las mediciones exactas de estos isótopos permiten a los científicos determinar la edad y el origen del agua.

Por otro, la Intercomparación de Tritio (TRIC), que comprueba la capacidad de los laboratorios de medir la presencia del radioisótopo natural tritio (3H) en el agua. Las mediciones de tritio sirven para analizar las tasas de recarga hídrica y para estudiar el agua que tiene menos de 60 años. El TRIC comprueba la precisión y la corrección de estas mediciones. Con 90 laboratorios, en el ejercicio TRIC más reciente, que tuvo lugar en 2018, hubo una participación sin precedentes.

“Estos proyectos de comparación entre laboratorios funcionan de manera sencilla”, apunta Leonard Wassenaar, Jefe del Laboratorio de Hidrología Isotópica del OIEA, sito en Viena (Austria). “Nosotros aquí preparamos y verificamos minuciosamente las muestras de agua y las enviamos a cada uno de los laboratorios. Estos las analizan y nos mandan sus resultados para que a continuación los comparemos con los valores de referencia del OIEA. Por último, recopilamos los resultados en un informe general anónimo dirigido a la comunidad científica y, paralelamente, enviamos un informe detallado a cada laboratorio con sugerencias y recomendaciones de mejora”.

Los informes elaborados por el OIEA después de cada ejercicio contienen recomendaciones fundamentadas para ayudar a los laboratorios a refinar sus métodos y mejorar su eficacia. Asimismo, ayudan a los expertos del OIEA a detectar deficiencias y mejorar aún más la ayuda, entre otras cosas, la capacitación del personal de laboratorio, por conducto del programa de cooperación técnica del OIEA.

Pruebas de vigilancia

El ejercicio WICO más recientes, de 2016, fue, con 235 laboratorios participantes, la comparación entre laboratorios en materia de isótopos estable más grande jamás realizada a escala mundial. Los resultados se publicaron en la revista científica Rapid Communications in Mass Spectrometry en noviembre de 2017.

Durante el ejercicio WICO de 2016, Wassenaar y su equipo intentaron algo nuevo.

“Añadimos metanol a una de las muestras de agua para poner a prueba la vigilancia de los laboratorios en la detección de contaminantes interferentes, por supuesto, sin previo aviso”, explica el Sr. Wassenaar. “Tras advertir que esto pasó inadvertido para muchos de ellos, desarrollamos algunas estrategias para que detectaran la presencia en el agua de contaminantes interferentes que podrían dar lugar a resultados incorrectos”.

La mayoría de los laboratorios que participaron en el WICO de 2016 obtuvieron resultados entre aceptables y excelentes en el análisis de isótopos de oxígeno, mientras que en el análisis de deuterio solo la mitad de los participantes obtuvo ese resultado. Entre el 5 y el 6 % obtuvo resultados muy malos que eran inaceptables y que, según Wassenaar, podían deberse al rápido aumento del número de instrumentos en los laboratorios, como láseres de bajo coste, sobre todo en los laboratorios con menos experiencia.

“Llegamos a la conclusión de que estos malos resultados de los laboratorios podían deberse a ‘factores desconocidos’ no cuantificables”, prosigue el Sr. Wassenaar. “Cuando parece que los laboratorios lo están haciendo todo bien pero aun así obtienen malos resultados, estos podrían deberse a errores en sus hojas de cálculo de Excel o a un instrumento con un mantenimiento inadecuado. Son fallos y errores humanos que, a pesar de ser comunes, pueden no ser obvios para los laboratorios”.

El Sr. Wassenaar cita entre estos errores los factores relacionados con el conocimiento y las aptitudes, como la experiencia de los operarios, los errores básicos de procesamiento de datos, el incumplimiento del protocolo de medición, las muestras deterioradas y los instrumentos analíticos con un funcionamiento deficiente.

Según estudios recientes publicados en la revista Accreditation and Quality Assurance, los errores humanos podrían contribuir de manera significativa a los malos resultados de los análisis geoquímicos. La encuesta realizada tras el WICO de 2016 entre los laboratorios participantes respalda la hipótesis de que los errores humanos, técnicos e instrumentales son los principales factores de los malos resultados en cuanto a los isótopos del agua.

“Si se encuentran errores, es posible corregirlos. De ahí la importancia de saber dónde tenemos resultados fiables y dónde no”, apunta el Sr. González Hita. En el último ensayo del WICO, su laboratorio, en México, obtuvo buenos resultados. “Gracias al WICO de 2016 pudimos confirmar que estábamos haciendo análisis de buena calidad. Esto es bueno también para los países vecinos, porque pueden hacer uso de nuestros servicios y podemos intercambiar prácticas óptimas”.

Este artículo se publicó en el Boletín del OIEA de abril de 2019, titulado El agua.

Seeking excellence

There are two types of interlaboratory comparison projects. One is the Water Isotope Interlaboratory Comparison (WICO), which tests laboratories’ ability to conduct measurements of deuterium (2H) and oxygen-18 (18O) in water samples. Measuring these isotopes accurately allows scientists to determine the age and origin of water (read more on Isotope hydrology: an overview).

The other is the International Tritium Intercomparison (TRIC), which checks laboratories’ ability to measure the natural radioisotope tritium (3H) in water. Tritium measurements are used to analyse water replenishment rates and to study water younger than 60 years old. TRIC checks how precise and correct these measurements are. The most recent TRIC exercise took place in 2018 with a record participation of 90 laboratories.

“The way these interlab comparison projects work is simple,” said Leonard Wassenaar, Head of the IAEA Isotope Hydrology Laboratory based in Vienna, Austria. “We prepare and carefully verify water samples here and ship them to each laboratory. They analyse them and send us their results, which we then compare to our IAEA reference values. At the end, we compile the results in a general anonymous report for the scientific community, and in parallel send a detailed report to each lab individually with suggestions and recommendations
for improvement.”

The reports the IAEA produces after each exercise contain evidence-based recommendations to help laboratories refine their methods and improve their performance. They also help IAEA experts to identify gaps and target further assistance, including training laboratory staff, through the IAEA technical cooperation programme.

Testing vigilance

The largest ever global interlaboratory comparison for stable isotopes was the most recent WICO exercise in 2016 involving 235 laboratories. Its results were published in the Rapid Communications in Mass Spectrometry scientific journal in November 2017.

During the WICO 2016 exercise, Wassenaar and his team tried something new.

“We added methanol to one of the water samples to test the laboratories’ vigilance in detecting interfering pollutants — without warning them, of course,” said Wassenaar. “After finding out that many overlooked this, we came up with a few strategies for them to identify the presence of interfering contaminants in water that could lead to incorrect results.”

Most of the laboratories involved in WICO 2016 produced acceptable to excellent results when analysing oxygen isotopes, and about half did when analysing deuterium. But around 5 to 6% had unacceptably poor results, which Wassenaar said could be due to the rapid increase in the number of instruments in labs, such as low-cost lasers, especially among less experienced laboratories.

“We concluded that poor laboratory performance probably resulted from unquantifiable ‘known unknowns’,” Wassenaar said. “When laboratories appear to be doing everything right but still perform poorly, it could be from mistakes like errors in their Excel processing spreadsheets, or an instrument that is not properly maintained. These are mistakes and human errors that are common but may not be apparent to the laboratory.”

These, he added, include knowledge-based or skill-based factors, such as operator experience, basic data processing mistakes, measurement protocol violations, compromised samples or poorly functioning analytical instruments.

Recent studies published in the Accreditation and Quality Assurance journal have suggested that human errors can significantly contribute to underperforming geochemical analysis outcomes. The post-WICO 2016 survey of participating laboratories supports the premise that human, technical and instrumental errors are the main drivers for poor water isotope performance.

“Finding errors leads to adjustment. It is important to know where we are producing reliable results, and where not,” González Hita said. His laboratory in Mexico scored highly in the latest WICO test. “WICO 2016 allowed us to confirm that we are making good quality analyses. This is also good to know for neighbouring countries, because they can rely on our services and we can share best practices.”

180228_isotope_hydrology_still.jpg

Leonard Wassenaar in the IAEA Isotope Hydrology Laboratory based in Vienna, Austria, where all the samples are prepared and shipped. (Photo: M. Klingenboeck/IAEA)

This article was featured in the April 2019 Bulletin edition on Water.