Bisakah pengujian aplikasi pengembangan pribadi diserahkan kepada AI? Hasil verifikasi dengan metronom

Jika Anda mengembangkan aplikasi sendiri, tidak mudah menemukan cukup waktu untuk pengujian. Hal ini karena penerapan, pemeriksaan operasi, pencatatan hasil, dan penyelidikan cacat perlu dilakukan oleh satu orang.

Sebagai hasil dari penggunaan AI dalam pengembangan aplikasi metronome, saya menilai bahwa Dalam kasus pengembangan individu, AI dapat menjadi tanggung jawab utama untuk pengujian.

Mereka tidak hanya mampu menemukan cacat yang terlewatkan oleh manusia, namun mereka juga mampu memastikan keakuratan ritme menggunakan perhitungan dan analisis rekaman. Namun, konfirmasi akhir mengenai spesifikasi dan hasil serta keputusan untuk mempublikasikannya dibuat oleh manusia.

Kisaran yang diserahkan kepada AI dan kisaran yang dikonfirmasi oleh manusia

Dalam pengembangan ini, kami melakukan pengujian dengan tahapan sebagai berikut:

Dalam artikel ini, "pengujian menggunakan AI" tidak hanya mencakup pengoperasian terminal menggunakan AI, tetapi juga verifikasi menggunakan pengujian otomatis dan pemrosesan analisis. Tidak semuanya dikonfirmasi hanya melalui pengoperasian layar AI atau penilaian visual.

Kami menyerahkan sebagian besar tugas kepada AI, seperti menentukan perspektif pengujian, membuat spesifikasi dalam format Excel, mengoperasikan terminal, menentukan lulus/gagal, mengambil tangkapan layar, dan mengonfirmasi reproduksi cacat.

Aliran dasarnya adalah sebagai berikut.

1. AI mengidentifikasi perspektif pengujian dan membuat spesifikasi pengujian dalam format Excel
2. Setelah peninjauan AI, manusia mengonfirmasi versi final spesifikasinya
3. AI menjalankan pengujian pada perangkat verifikasi dan mencatat hasil serta tangkapan layar
4. Bandingkan hasil tes dan bukti, dan setelah peninjauan AI, konfirmasi akhir dilakukan oleh manusia

Sebagai bukti, gunakan tangkapan layar yang diambil pada perangkat verifikasi selama pelaksanaan pengujian. Gambar tidak akan dihasilkan atau diproses oleh generasi AI.

Gambar-gambar tersebut diperiksa oleh manusia dengan bantuan AI. AI bertanggung jawab atas eksekusi, dan manusia bertanggung jawab untuk memeriksa poin-poin penting dari spesifikasi, hasil, dan tampilan.

Temukan cacat yang terlewatkan oleh orang lain

Salah satu bug yang ditemukan oleh AI adalah Jika Anda melakukan operasi tertentu, Anda dapat beralih ke layar yang seharusnya dibuang.

Saya tidak akan mengungkapkan operasi spesifik atau konfigurasi layar, tetapi ini adalah ketidakkonsistenan yang memungkinkan Anda kembali ke layar yang seharusnya tidak dapat Anda jangkau. Sejauh yang kami konfirmasi, tidak ada kerugian nyata bagi pengguna, namun kami memutuskan bahwa ada masalah dengan manajemen status layar yang perlu diperbaiki.

Masalah ini terlewatkan dalam pengujian pada manusia.

AI bahkan menentukan langkah-langkah untuk mereproduksinya. Kami melakukan revisi berdasarkan konten, menguji ulang menggunakan AI, dan kemudian melakukan konfirmasi akhir oleh manusia.

Dalam pengujian sebelumnya, kami juga menemukan dan memperbaiki masalah ketika tampilan tombol selama 10 hingga 12 ketukan akan merusak garis, dan masalah UI di mana notifikasi mencakup operasi input/konfirmasi.

Saat Anda mengimplementasikan suatu fungsi sendiri, Anda cenderung memeriksanya dengan berfokus pada operasi yang diharapkan. Berdasarkan hasil ini, saya merasa bahwa AI tidak hanya dapat melakukan pekerjaan untuk saya, tetapi juga mengambil peran untuk mengatasi masalah yang saya lewatkan selama pemeriksaan saya sendiri.

Memverifikasi keakuratan ritme melalui perhitungan dan pencatatan

Inti dari metronom adalah kemampuannya menandai ritme secara akurat pada tempo tertentu. Oleh karena itu, kami memeriksa posisi bunyi yang dihitung dan interval sebenarnya antara bunyi-bunyi tersebut.

Periksa perhitungan jam internal

Untuk jam internal yang menghasilkan suara, kami menghitung posisi suara yang diharapkan menggunakan metode penghitungan yang berbeda dari penerapannya, dan membandingkan hasilnya. Hal ini dikarenakan kesalahan perhitungan yang sama tidak akan terbawa ke nilai yang diharapkan.

Pengujian jam internal sebelumnya telah memverifikasi kondisi berikut:

Dalam kisaran ini, kami memastikan bahwa kesalahan dari posisi bunyi yang diharapkan berada dalam satu sampel, dan tidak ada tumpang tindih dalam posisi bunyi yang diharapkan.

"Setara dengan 10 menit" dan "setara dengan 30 menit" adalah rentang verifikasi perhitungan. Ini bukan hasil pengukuran dengan perangkat sebenarnya yang terus menghasilkan suara dalam jangka waktu yang sama.

Rekam dan periksa suara yang keluar dari speaker

Selain penghitungan internal, kami merekam dan menganalisis suara speaker sebenarnya dengan mikrofon selama sekitar 1 menit pada 96 BPM.

Kami mendeteksi 88 ketukan dari bagian tidak termasuk sebelum dan sesudah rekaman, dan memperoleh hasil sebagai berikut.

Dalam kondisi kami, kami dapat memastikan bahwa tempo rata-rata adalah sekitar 96 BPM. Tidak ada interval panjang yang menunjukkan ketukan hilang yang terdeteksi dalam interval yang dianalisis.

Namun, 95,998 BPM merupakan perkiraan analitis dan tidak menjamin keakuratan pengukuran hingga tingkat tersebut. Deteksi dilakukan dalam kelipatan 2 ms dan mencakup kesalahan dalam sistem perekaman dan analisis, sehingga tidak dapat dikatakan bahwa semua variasi yang diamati disebabkan oleh aplikasi.

Selain itu, suara keluaran diukur pada 96 BPM selama sekitar 1 menit. Keluaran suara pada tempo lain dan deviasi kumulatif akibat pemutaran yang lama belum diverifikasi.

Hal ini sangat berguna untuk tidak hanya dapat menilai dengan telinga saya bahwa tidak ada masalah, tetapi juga untuk dapat memastikannya secara numerik. Fakta bahwa kami dapat melanjutkan pengukuran dan analisis dengan dukungan AI menghasilkan konfirmasi yang mendalam.

Apa yang saya konfirmasikan dalam pembuatan produksi

Dalam build produksi ini, 109 pengujian otomatis berhasil dilewati. Selain itu, saya memverifikasi perilaku berikut di terminal:

• Perubahan tempo
• Operasi pemutaran saat layar mati
• Berhenti dari notifikasi
• Pertahankan pengaturan setelah reboot

Kami juga mengonfirmasi bahwa trek audio tetap berfungsi meskipun lampu mati, dan kekurangan buffer untuk trek tersebut adalah 0 pada saat akuisisi. Hasil yang diperoleh ini tidak menjamin tidak akan ada jeda suara selama seluruh periode pemutaran.

Meskipun kualitas tidak dapat ditentukan hanya dengan jumlah pengujian yang dilakukan, dengan menggabungkan pengujian otomatis, pengoperasian terminal, dan analisis suara keluaran, kami dapat memeriksa dari sudut pandang yang berbeda.

Masalah yang tersisa saat mempercayakan

Membutuhkan persiapan dan pemeliharaan lingkungan eksekusi

Saat menjalankan beberapa emulator secara bersamaan, CPU dan memori PC menjadi kendala. Untuk perangkat sebenarnya, metode koneksi dan status kompatibilitas alat operasi, dan untuk lingkungan terminal cloud, biaya juga harus dipertimbangkan.

Selain membangun lingkungan awal, terdapat juga kerumitan dalam memperbarui pengujian sebagai respons terhadap perubahan layar dan spesifikasi.

Orang-orang juga memeriksa hasil dan gambar yang diharapkan.

Jika hasil yang diharapkan salah, tidak peduli berapa banyak tes yang Anda jalankan, Anda tidak akan dapat mengevaluasinya dengan benar. Saat mempercayakan pengembangan dan pengujian kepada AI yang sama, harus berhati-hati agar interpretasi spesifikasi yang sama dapat diwariskan.

Oleh karena itu, konfirmasi akhir mengenai spesifikasi dan hasil dilakukan oleh manusia. Penting juga untuk tidak membiarkan mata pelajaran yang tidak dapat Anda kerjakan atau nilai untuk lulus ujian.

Beberapa masalah gambar dan ketidaknyamanan selama pengoperasian sulit dinilai hanya dari gambar diam. Kami akan meninggalkan proses menyentuh dan memeriksa mesin sebenarnya sebelum merilisnya ke publik.

Spesifikasi dan layar juga berfungsi sebagai informasi untuk disampaikan kepada pihak eksternal.

Spesifikasi dan tangkapan layar yang dikirimkan ke layanan AI mungkin mengungkapkan fungsi dan konten bisnis yang dirahasiakan. Perhatian khusus harus diberikan saat menangani proyek yang dipercayakan atau data pengguna.

Kami secara terpisah memeriksa apakah data akan digunakan untuk pembelajaran, berapa lama akan disimpan, dan siapa yang dapat mengaksesnya, serta menentukan apakah kontrak dan pengaturan yang akan digunakan memenuhi ketentuan proyek. Penggunaan data dummy dan akun pengujian juga merupakan sesuatu yang harus Anda putuskan pada saat penerapan.

Dalam pengembangan pribadi, Anda terutama bertanggung jawab atas AI.

“Bolehkah menggunakan AI saja untuk pengujian aplikasi di tingkat pemilik tunggal?”

Jawaban saya, berdasarkan pengalaman saya, adalahsebagian besar pekerjaan pengujian diserahkan kepada Anda. Namun, konfirmasi akhir dan keputusan untuk mempublikasikannya diserahkan kepada orang tersebut.

Setidaknya, hasilnya lebih baik dari apa yang bisa saya capai sendiri. Ini karena kami menemukan bug yang kami abaikan dan dapat memverifikasi semuanya mulai dari perhitungan internal hingga suara keluaran sebenarnya.

Hal ini tidak menunjukkan superioritas atau inferioritas terhadap insinyur umum atau insinyur QA. Pengalaman saya adalah saya dapat menggunakan AI untuk mengimbangi kurangnya keterampilan pengujian saya dan keterbatasan dalam melakukan pengembangan dan verifikasi sendiri.

Bisnis wiraswasta mengharuskan Anda memakai banyak jabatan dalam waktu terbatas. AI juga memerlukan persiapan dan konfirmasi, tetapi dengan mempercayakannya pada eksekusi berulang, pencatatan, dan investigasi masalah, Anda dapat menghabiskan waktu untuk membuat keputusan penting.

Kemampuan untuk memperluas beban kerja satu orang dan melanjutkan ke konfirmasi yang sebelumnya tidak dapat dijangkau. Ini adalah nilai terpenting dari pengujian AI saat mengembangkan metronom.