Penentuan assigned value

Assigned value (AV) pengertian mudahnya adalah nilai yang dihubungkan dengan suatu kuantitas yang sedang diukur. Pengertian ilmiah-nya tanya Mas Donny ya … :) soale susah dan membuat mumet. Assigned value ini mempunyai nilai ketidakpastian yang cukup kecil sesuai dengan tujuan pengunaannya.

Dalam uji profisiensi, idealnya hasil uji oleh laboratorium peserta dibandingkan dengan nilai benar (true value), sayangnya nilai benar umumnya tidak ada karena meskipun benar mesti mengandung ketidakpastian juga kan? Meskipun demikian suatu nilai harus ditentukan sebagai pedoman atau standar untuk membandingkan ini. Nilai ini sedapat mungkin harus dapat diasumsikan “yang paling mendekati” dengan true value.

Penghitungan assigned value dapat dilakukan dengan berbagai cara yang akan saya coba uraikan dibawah menurut ISO/IEC 17043 misal dengan mengitung “robust mean” hasil pengujian laboratorium peserta atau assigned value dari laboratorium acuan dengan kelebihan dan kelemahan masing-masing. Misal jika assigned value ditentukan dengan menghitung mean dari hasil uji, jika hasil uji peserta mengandung bias yang mengarah pada suatu kecenderungan tertentu, misal bias yang disebabkan oleh zat yang mudah menguap, maka assigned value yang ditentukan dari mean ini mengandung bias yang dapat menyebabkan laboratorium yang sebenarnya mempunyai hasil yang akurat akan justru menjadi outlier.
Cara lain, jika ada, masih mungkin dilakukan untuk menentukan assined value ini, tetapi lima cara pada ISO/IEC 17043 adalah cara yang paling umum digunakan dalam uji profisiensi.

Assigned value ditentukan dengan 5 cara menurut ISO/IEC 17043 yaitu dengan penggunaan:

a. nilai yang telah diketahui – merupakan hasil dari formulasi;
Bahan uji disiapkan dengan mencampurkan constituents dalam jumlah tertentu atau dengan penambahkan constituent dalam jumlah tertentu pada bahan dasar. Dalam hal ini assigned value diturunkan dari perhitungan massa yang ditambahkan/dicampurkan. Pendekatan ini sangat bermanfaat jika sample disiapkan secara individu dan oleh karenanya tidak diperlukan uji homogenitas.

Ux (standard uncertainty) dihitung dari formulasi bahan uji (sesuai dengan pendekatan ISO GUM – Guide to the expression of uncerttainty in measurment.

b. nilai acuan bersertifikat - ditentukan dengan metode definitive;
Assigned value ditentukan dari nilai acuan sertifikatnya begitu pula dengan Ux. Ux ditentukan dari informasi ketidakpastian pada sertifikat.

c. nilai acuan – ditentukan dengan analisis, pengukuran atau pembandingan sample uji terhadap bahan atau standar acuan yang tertelusur ke standar nasional atau internasional;
Dalam hal ini reference material digunakan sebagai bahan uji profisiensi. Assigned value diturunkan dari kalibrasi terhadap certified reference values.

Ux ditentukan dari hasil uji dan ketidakpatian CRM. Metode ini memungkinkan assigned value yang ditentukan tertelusur ke CRM.

d. nilai konsensus dari “expert laboratories;
Dengan pendekatan nilai acuan (c), bahan uji diambil secara acak dan dianalisa oleh sekelompok expert labs. Expert labs mungkin perserta uji profisiensi juga jika assigned value dan Ux akan ditentukan setelah putaran uji profisiensi selesai. Kadang-kadang assigned value ditentukan dari hasil uji homogenitas, dengan kata lain sambil menentukan homogenitas, assigned value dari expert labs juga dapat. Tentu saja hal ini bertujuan untuk penghematan – sambil menyelam minum air, mabok dong :) .

Assigned value dihitung dengan robust average dari hasil yang dilaporkan oleh expert labs. Robust average dihitung dengan mengunakan Algorithma A pada Annex C ISO 13528. (Nanti jika ada kesempatan saya tuliskan procedure Algoritma A)

Ux dihitung dengan persamaan

 

 

 

 

 

 

Jika expert labs tidak melaporkan ketidakpastian standar (Ux) atau ketidakpstian tidak divalidasi secara independen, Ux assigned value dihitung separti menghitung Ux dengan nilai konsensus.

e. nilai konsensus dari peserta.
Jika pendekatan ini yang diambil, assigned value ditentukan dari robust average seluruh hasil yang dilaporkan pesert uji profisiensi yang diitung dengan Algoritma A pada Annex C ISO 13528.
Perhitungan robust lain dapat digunakan untuk mengantikan Algoritma A asalkan metode tersebut valid secara statistik dan dilaporkan pada laporan uji profisiensi.

Ux ditentukan dengan persamaan

 

 

 

 

dengan s* adalah robust standar deviation dan p adalah jumlah peserta.

Umumnya, tiga assigned value pertama ditentukan sebelum PT berlangsung dan dua assigned value terakhir ditentukan setelah PT berlangsung.

Pedoman untuk membatasi assigned value

Hal yang perlu diperhatikan adalah kriteria keberterimaan dari Ux dari semua pendekatan assigned value yang digunakan. Dengan kata lain, Ux harus dikontrol pada semua pendekatan assigned value.

Kriteria batasan ketidakpastian assigned value (ISO 13528)

Ux <= 0,3 SD*

Deviasi standar uji profisiensi (SD* – SD robust) digunakan untuk memperkirakan bias laboratorium yang terdapat pada suatu uji profisiensi. Jika Ux assigned value terlalu besar dibandingkan dengan deviasi standar uji profisiensi maka ada kemungkinan suatu/beberapa laboratorium menerima tanda diperingatkan atau tanda "action" (outlier) yang disebabkan oleh ketidakakurasian dalam menentukan assigned value bukan disebabkan oleh sebab yang berasal dari laboratorium itu sendiri. Untuk alasan ini maka Ux assigned value seharusnya dilaporkan pada laporan uji profisiensi.

Ux digunakan sebagai kriteria keberterimaan apakah assigned value tersebut dapat dipakai sebagai assigned value uji profisiensi atau tidak, misal Ux assigned value dari nilai konsensus lebih besar dari 0,3 SD* maka penyelenggara uji profisiensi harus mempertimbangkan untuk:
1. mencari metode lain untuk menentukan assigned value (assigned value dari expert labs dll)
2. menggunakan Ux assigned value dalam interpretasi hasil uji profisiensi (menggunakan En atau z' score).
3. menginformasikan kepada peserta bahwa ketidakpastian assigned value tidak dapat diabaikan.

Setelah kita berkenalan dengan uji profisiensi, sekarang kita akan berkenalan dengan analisa hasil uji profisiensi sehingga kita mempunyai gambaran bagaimana analisa itu dibuat.

Setelah laboratorium melakukan pengujian/pengukuran sesuai dengan instruksi kerja/petunjuk peserta (kadang-kadang disebt juga sebagai protokol uji profisiensi) dan data hasil uji profisiensi telah terkumpul pada penyelenggara, maka penyelenggara uji profisiensi akan melakukan analisa hasil uji profisiensi. Kita akan coba untuk membahas analisa ini satu persatu pada beberapa tulisan berikutnya dengan referensi utama ISO Guide 43-1 (ISO/IEC 17043 in the future), ISO 13528 : “Statistical Methods for use in Proficiency Testing by Interlaboratory Comparisons” dan IUPAC Harmonized Protocol for PT of Chemical Analytical Laboratories 2006 yang tersedia secara bebas di sini (http://www.iupac.org/publications/pac/2006/pdf/7801×0145.pdf). Tentu saja informasi lebih detil silakan membaca sumber pustaka tersebut.

Ada tiga langkah utama untuk melakukan evaluasi uji profisiensi, yaitu:
1. penentuan assigned value;
2. perhitungan unjuk kerja statistik;
3. evaluasi unjuk kerja;
dan untuk skema uji profisiensi tertentu ditambah
4. penentuan uji homogenitas dan stabilitas.

Hal penting yang perlu dicatat adalah, untuk menganalisa uji profisiensi tidak terbatas pada statistik yang tertera pada standar-standar diatas, prosedur statistik apapun dapat digunakan untuk menganalisa hasil uji profisiensi asalkan prosedur tersebut secara statistik valid (statistically valid) dan diterangkan secara gamblang kepada peserta uji profisiensi. ISO/IEC 17043 mengamanatkan untuk mendokumentasikan statistical design dan metode analisa data untuk menentukan assigned value dan mengevaluasi hasil peserta serta membuktikan bahwa asumsi statistik tersebut masuk akal.

Design statistik tersebut juga harus benar-benar memperhatikan hal berikut:
- the accuracy and measurement uncertainty required or expected;
– the minimum number of participants;
– number of significant figures and decimal places;
– number of proficiency test items and repeat tests;
– procedures to establish evaluation criteria;
– procedures to be used to handle outliers;
– procedures for the evaluation of excluded values;
– the objectives to be met for the design and frequency of proficiency testing rounds.

(ISO/IEC 17043: 4.4.4.3)

Satu hal lagi yang tidak boleh dilupakan adalah “fit for its purpose”.

Skema uji profisiensi

Februari 14, 2010

Ada beberapa jenis uji profisiensi yang tergantung dari jenis pengujian, metode pengujian yang digunakan dan jumlah laboratorium yang ikut dalam suatu uji profisiensi. Jenis uji profisiensi tersebut biasa disebut dengan skema uji profisiensi. Dalam tulisan ini saya mencoba untuk share skema uji profisiensi dalam bahasa yang sederhana.

Menurut ISO Guide 43-1, skema yang umum digunakan dalam uji profisiensi adalah:

1. Skema uji banding pengukuran (measurement comparison)
Skema uji banding pengukuran biasanya menggunakan alat uji/ukur yang dikelilingkan dari satu laboratorium peserta ke laboratorium peserta lainnya. Skema ini dapat diikuti oleh sedikit laboratorium karena pada skema ini biasanya menggunakan “assign value” yang dikeluarkan oleh “reference laboratory”. Reference laboratory mungkin adalah Lembaga Metrologi Nasional.

Pengertian “assign value” kira-kira adalah nilai yang ditetapkan pada kuantitas tertentu dan diterima (kadang secara konsensus) dengan ketidakpastian yang sesuai dengan tujuan yang telah ditetapkan.
Dalam uji banding pengukuran, laboratorium secara individu dibandingkan terhadap nilai acuan yang ditetapkan oleh reference laboratory.

Skema uji profisiensi ini umum digunakan dalam uji profisiensi laboratorium kalibrasi.

2. Skema uji (banding) antar laboratorium (interlaboratory testing)
Skema ini menggunakan sub-sample dari bahan uji yang didistribusikan secara bersamaan kepada peserta uji profisiensi untuk dilakukan pengujian secara bersama-sama.
Hasil pengujian dikirimkan kepada penyekenggara untuk dibandingkan dengan assign value sehingga didapat gambaran unjuk kerja laboratorium secara individual dan secara keseluruhan.

Homogenitas bahan uji sangat diperhatikan dalam skema ini sehingga data hasil uji tidak banyak dipengaruhi oleh variabilitas yang bersumber dari bahan uji.

Skema ini umum digunakan pada uji profisiensi laboratorium penguji.

3. Skema pengujian “split sample”
Umumnya skema ini melibatkan kelompok kecil laboratorium yang akan dievaluasi sebagai pemasok potensial dari jasa pengujian.

Dalam transaksi perdagangan, skema ini dilakukan dengan membagi sample untuk laboratorium yang mewakili pemasok dan laboratorium yang mewakili pembeli. Disamping kedua sample yang dibagi tersebut, biasanya ada sample tambahan yang disimpan untuk diuji pada laboratorium pihak ketiga jika terdapat perbedaan signifikan antara hasil uji laboratorium pihak pemasok dan laboratorium pihak pembeli.

Skema ini berbeda dengan “interlaboratory testing” sebab skema ini hanya melibatkan laboratorium yang sangat terbatas.

4. Skema kualitatif
Evaluasi unjuk kerja laboratorium tidak harus selalu dengan metode kuantitatif (membandingkan hasil uji), tetapi dapat juga dengan metode kualitatif misal menilai unjuk kerja dalam mengidentifikasi suatu jenis entitas tertentu misal organisme patogen, jenis cacat bahan, penyakit, bakteri dan lain sebagainya. Skema ini tidak perlu melibatkan banyak laboratorium atau uji (banding) antar laboratorium unjuk menilai unjuk kerja laboratorium.

5. Skema dengan nilai yang telah diketahui (known value)
Jenis uji profisiensi khusus lain adalah pengujian sample dengan parameter uji yang diukur telah diketahui nilainya. Hal ini memungkinkan untuk mengevaluasi unjuk kerja laboratorium secara individual yang dibandingkan dengan assign value. Skema ini tidak memerlukan laboratorium peserta dalam jumlah yang banyak.

6. Skema sebagian proses (partial-process)
Skema ini menilai unjuk kerja laboratorium untuk melakukan sebagian proses saja dari keseluruhan proses pengujilan atau pengukuran. Misal skema ini meminta laboratorium untuk mentransformasi data pengujian kedalam laporan uji atau meminta laboratorium untuk melakukan penyiapan contoh sesuai dengan spesifikasi tertentu.

Dalam keseharian mungkin kita sering mendengar mengenai uji profisiensi (proficiency test) bahasa inggris atau bahasa asing lainnya atau juga uji profisiensi untuk masuk ke sekolah tertentu atau uji profisiensi untuk pengujian atau pengukuran tertentu. Uji profisiensi yang saya sebutkan terakhir memang tidak sepopuler uji profisiensi bahasa karena memang cuma dibicarakan untuk komunitas tertentu yaitu komunitas laboratorium. Nah untuk kesempatan ini saya akan mengajak untuk berkenalan dengan uji profisiensi laboratorium.

Menurut ISO 43 part 1 – 1997, uji profisiensi (laboratorium) adalah penentuan unjuk kerja laboratorium dengan cara uji banding antar laboratorium (interlaboratory comparisons).

Dalam komunitas laboratorium mungkin uji profisiensi ini dikenal dengan nama yang bermacam-masam, misal komunitas laboratorium medik, uji profisiensi disebut dengan program pemantapan mutu eksternal tetapi esensinya sama.

Uji profisiensi ada banyak jenisnya (skemanya), seperti yang diuraikan dalam ISO/IEC Guide 43. Penyelenggara uji profisiensi (provider) harus memilih skema yang paling cocok untuk penyelenggaraan uji profisiensi, karena perilaku dan perlakuan bahan uji profisiensi dapat berbeda-beda yang membutuhkan skema yang berbeda pula.

Mengapa uji profisiensi diperlukan?

Alasan utama dari uji profisiensi adalah untuk memastikan mutu pengujian. ISO/IEC 17025 point 5.9 bilang:
5.9.1 The laboratory shall have quality control procedures for monitoring the validity of tests and calibrations undertaken. The resulting data shall be recorded in such a way that trends are detectable and, where practicable, statistical techniques shall be applied to the reviewing of the results. This monitoring shall be planned and reviewed and may include, but not limited to, the following:
a. regular use of certified reference materials and/or internal quality control using secondary reference materials;
b. participation in interlaboratory comparison or proficiency testing programs;
c. replicate tests or calibrations using the same or different methods;
d. retesting or recalibration of retained items;
e. correlation of results for different characteristics of an item.

Note: The selected methods should be appropriate for the type and volume of the work undertaken.

Jadi jelas bahwa uji profisiensi adalah salah satu cara untuk melakukan monitoring terhadap validitas hasil pengujian. Namun demikian penyelenggaraan uji profisiensi tidak hanya dapat ditujukan untuk monitoring validitas hasil uji saja, penyelenggaraan uji profisiensi dapat pula digunakan untuk tujuan collaborative study, untuk melihat karakteristik metode dan lain sebagainya.

Uji profisiensi digunakan sebagai alat untuk membandingkan hasil pengujian yang dilakukannya terhadap hasil pengujian yang sama yang dilakukan oleh laboratorium lain. Data-data hasil pengujian dari peserta uji profisiensi ini akan dilakukan analisa data dengan menggunakan teknik statistik tertentu, biasanya dengan robust statistik, untuk melihat unjuk kerja laboratorium dibandingkan dengan nilai tertentu (assign value) yang dapat diperoleh dari nilai konsensus antar laboratorium, nilai dari expert laboratory, nilai dari nilai acuan (reference value), dari nilai certified reference value dan nilai dari hasil formulasi (lihat ISO 13528).

Jadi pada intinya uji profisiensi adalah untuk melihat kompetensi laboratorium peserta dengan evaluasi statistik dari data pengujian yang didapatkan dari bahan uji yang didistribusikan. Tentu saja bahan uji ini harus memenuhi persyaratan-persyaratan tertentu misal homogenitas dan stabilitas bahan.

Jika memungkinkan, sisa hasil uji yang telah diketahui assign value-nya dapat dipakai sebagai bahan pelatihan personel laboratorium dalam rangka peningkatan kompetensi analis laboratorium.

Uji profisiensi juga penting sebagai alat untuk menunjukkan kepada customer laboratorium mengenai unjuk kerjanya, misal kepada badan akreditasi, pelanggan, regulator, rekanan kontrak dan lain-lain.

Siapakah penyelenggara uji profisiensi (provider)?

Terminologi provider (agar lebih irit nulisnya :) ) adalah suatu lembaga (organisasi atau perusahaan, terbuka (public) atau tertutup (private)) yang melakukan perencanaan dan menyelenggarakan skema uji profisiensi (lihat ILAC-G13). ISO/IEC FDIS 17043 mengartikan dengan lebih sederhana, PT provider adalah organisasi yang bertanggung jawab terhadap seluruh kegiatan pengembangan dan pengoperasian skema uji profisiensi.

Kadang suatu badan akreditasi mengembangkan dan menyelenggarakan sendiri skema uji profisiensi. Hal ini dapat disebabkan oleh masih sangat sedikitnya provider di negara tersebut atau uji profisiensi memang bertujuan untuk kepentingan badan akreditasi.

Provider dalam menyelenggarkan suatu uji profisiensi harus melakukan serangkaian kegiatan mulai dari design, penyiapan bahan sampai pelaporan. Tentu saja masing-masing langkah tersebut tidak bisa sembarangan di lakukan tanpa pengetahuan yang memadai. Untuk hal-hal tertentu provider dapat melakukan subkontrak kepada subkontraktor yang disebut dengan kolaborator. Ada tiga hal yang tidak boleh disubkontrakan, yaitu perencanaan skema uji profisiensi, evaluasi unjuk kerja dan pengesahan laporan akhir uji profisiensi.

Untuk menunjukkan kompetensinya, provider menggunakan suatu sistem manajemen dalam pengoperasiannya dan untuk keperluan saling keberterimaan di tingkat internasional telah ditetapkan bahwa ILAC-G13 digunakan untuk tujuan tersebut. (Sebagai catatan: Pada saat tulisan ini dibuat tengah disirkulasikan ISO/IEC FDIS 17043 yang akan menggantikan ISO/IEC Guide 43 dan ILAC-G13).

Tulisan terkait
skema uji profisiensi
analisa uji profisiensi – pendahuluan
analisa uji profisiensi – penentuan assign value

Ikuti

Get every new post delivered to your Inbox.