การทดสอบแอปการพัฒนาส่วนบุคคลสามารถปล่อยให้ AI ได้หรือไม่ ผลการตรวจสอบด้วยเครื่องเมตรอนอม

หากคุณกำลังพัฒนาแอปด้วยตัวเอง การหาเวลาทดสอบไม่เพียงพอไม่ใช่เรื่องง่าย เนื่องจากจำเป็นต้องดำเนินการ ตรวจสอบการปฏิบัติงาน บันทึกผล และตรวจสอบข้อบกพร่องโดยบุคคลเพียงคนเดียว

จากการใช้ AI ในการพัฒนาแอปเครื่องเมตรอนอม ฉันประเมินว่าในกรณีของการพัฒนารายบุคคล AI อาจเป็นความรับผิดชอบหลักในการทดสอบ

ไม่เพียงแต่สามารถค้นพบข้อบกพร่องที่มนุษย์พลาดไปเท่านั้น แต่พวกเขายังสามารถยืนยันความแม่นยำของจังหวะโดยใช้การคำนวณและการวิเคราะห์การบันทึกอีกด้วย อย่างไรก็ตาม การยืนยันข้อกำหนดและผลลัพธ์ขั้นสุดท้าย ตลอดจนการตัดสินใจเผยแพร่นั้นกระทำโดยมนุษย์

ระยะที่เหลือเป็นของ AI และระยะที่มนุษย์ยืนยัน

ในการพัฒนานี้ เราทำการทดสอบในขั้นตอนต่อไปนี้:

ในบทความนี้ "การทดสอบโดยใช้ AI" ไม่เพียงแต่รวมถึงการทำงานของเทอร์มินัลโดยใช้ AI เท่านั้น แต่ยังรวมถึงการตรวจสอบโดยใช้การทดสอบอัตโนมัติและการประมวลผลการวิเคราะห์อีกด้วย ไม่ใช่ทุกสิ่งที่ได้รับการยืนยันผ่านการทำงานของหน้าจอ AI หรือการตัดสินด้วยภาพเท่านั้น

เราปล่อยให้งานส่วนใหญ่ตกเป็นหน้าที่ของ AI เช่น การกำหนดมุมมองการทดสอบ การสร้างข้อกำหนดในรูปแบบ Excel การใช้งานเทอร์มินัล การพิจารณาผ่าน/ไม่ผ่าน การถ่ายภาพหน้าจอ และการยืนยันการเกิดข้อบกพร่องซ้ำ

การไหลพื้นฐานมีดังนี้

1. AI ระบุมุมมองของการทดสอบและสร้างข้อกำหนดการทดสอบในรูปแบบ Excel
2. หลังจากการตรวจสอบโดย AI มนุษย์จะยืนยันเวอร์ชันสุดท้ายของข้อกำหนด
3. AI ทำการทดสอบบนอุปกรณ์ตรวจสอบและบันทึกผลลัพธ์และภาพหน้าจอ
4. เปรียบเทียบผลการทดสอบและหลักฐาน และหลังการตรวจสอบ AI การยืนยันขั้นสุดท้ายโดยมนุษย์

เพื่อเป็นหลักฐาน ให้ใช้ภาพหน้าจอที่ถ่ายบนอุปกรณ์ยืนยันระหว่างการทดสอบ รูปภาพจะไม่ถูกสร้างขึ้นหรือประมวลผลโดย AI รุ่น

ภาพวาดได้รับการตรวจสอบโดยมนุษย์ด้วยความช่วยเหลือของ AI AI มีหน้าที่รับผิดชอบในการดำเนินการ และมนุษย์มีหน้าที่ตรวจสอบจุดสำคัญของข้อกำหนด ผลลัพธ์ และรูปลักษณ์

ค้นพบข้อบกพร่องที่ผู้อื่นพลาดไป

หนึ่งในข้อบกพร่องที่ AI ค้นพบคือ หากคุณดำเนินการบางอย่าง คุณสามารถเปลี่ยนไปใช้หน้าจอที่ควรทิ้งไป

ฉันจะไม่เปิดเผยการทำงานเฉพาะหรือการกำหนดค่าหน้าจอ แต่เป็นความไม่สอดคล้องกันที่ทำให้คุณกลับไปยังหน้าจอที่คุณไม่ควรสามารถเข้าถึงได้ เท่าที่เราได้รับการยืนยัน ไม่มีอันตรายใด ๆ ต่อผู้ใช้ แต่เราพิจารณาแล้วว่ามีปัญหาเกี่ยวกับการจัดการสถานะหน้าจอที่จำเป็นต้องได้รับการแก้ไข

ปัญหานี้พลาดไปในการทดสอบโดยมนุษย์

AI ยังระบุขั้นตอนในการทำซ้ำอีกด้วย เราทำการแก้ไขตามเนื้อหา ทดสอบซ้ำโดยใช้ AI จากนั้นดำเนินการยืนยันขั้นสุดท้ายโดยมนุษย์

ในการทดสอบที่ผ่านมา เรายังค้นพบและแก้ไขปัญหาที่ปุ่มที่แสดงเป็นเวลา 10 ถึง 12 ครั้งจะทำให้บรรทัดแตก และปัญหา UI ที่การแจ้งเตือนจะครอบคลุมการป้อนข้อมูล/ยืนยันการดำเนินการ

เมื่อคุณใช้ฟังก์ชันด้วยตัวเอง คุณมีแนวโน้มที่จะตรวจสอบโดยเน้นไปที่การดำเนินการที่คาดหวัง จากผลลัพธ์นี้ ฉันรู้สึกว่า AI ไม่เพียงแต่สามารถทำงานให้ฉันเท่านั้น แต่ยังรับหน้าที่ในการหยิบยกปัญหาที่ฉันพลาดไประหว่างการตรวจสอบของตัวเองด้วย

ตรวจสอบความแม่นยำของจังหวะด้วยการคำนวณและการบันทึก

แกนหลักของเครื่องเมตรอนอมคือความสามารถในการทำเครื่องหมายจังหวะตามจังหวะที่กำหนดได้อย่างแม่นยำ ดังนั้นเราจึงตรวจสอบตำแหน่งเสียงที่คำนวณได้และช่วงเวลาจริงระหว่างเสียง

ตรวจสอบการคำนวณนาฬิกาภายใน

สำหรับนาฬิกาภายในที่สร้างเสียง เราคำนวณตำแหน่งที่คาดหวังของเสียงโดยใช้วิธีการคำนวณที่แตกต่างจากการใช้งาน และเปรียบเทียบผลลัพธ์ เนื่องจากข้อผิดพลาดในการคำนวณเดียวกันจะไม่ถูกยกยอดไปยังค่าที่คาดหวัง

การทดสอบนาฬิกาภายในที่ผ่านมาได้ตรวจสอบเงื่อนไขต่อไปนี้:

ภายในช่วงนี้ เรายืนยันว่าข้อผิดพลาดจากตำแหน่งที่ทำให้เกิดเสียงที่คาดหวังนั้นอยู่ภายในตัวอย่างเดียว และไม่มีการทับซ้อนกันในตำแหน่งที่ทำให้เกิดเสียงที่คาดหวัง

"เทียบเท่ากับ 10 นาที" และ "เทียบเท่ากับ 30 นาที" เป็นช่วงการตรวจสอบการคำนวณ นี่ไม่ใช่ผลลัพธ์ของการวัดด้วยอุปกรณ์จริงที่ยังคงสร้างเสียงในระยะเวลาเท่าเดิม

บันทึกและตรวจสอบเสียงที่มาจากลำโพง

นอกจากการคำนวณภายในแล้ว เรายังบันทึกและวิเคราะห์เสียงลำโพงจริงด้วยไมโครโฟนเป็นเวลาประมาณ 1 นาทีที่ 96 BPM

เราตรวจพบ 88 ครั้งจากส่วนนี้ ไม่รวมก่อนและหลังการบันทึก และได้รับผลลัพธ์ดังต่อไปนี้

ภายใต้เงื่อนไขของเรา เราสามารถยืนยันได้ว่าจังหวะเฉลี่ยอยู่ที่ประมาณ 96 BPM ไม่พบช่วงเวลายาวๆ ที่บ่งชี้จังหวะที่หายไปในช่วงเวลาที่วิเคราะห์

อย่างไรก็ตาม 95.998 BPM เป็นการประมาณการเชิงวิเคราะห์ และไม่รับประกันความแม่นยำในการวัดตามลำดับความสำคัญดังกล่าว การตรวจจับจะดำเนินการโดยเพิ่มทีละ 2 มิลลิวินาที และรวมถึงข้อผิดพลาดในระบบการบันทึกและการวิเคราะห์ ดังนั้นจึงไม่สามารถพูดได้ว่ารูปแบบที่สังเกตทั้งหมดนั้นเกิดจากแอป

นอกจากนี้เสียงที่ส่งออกจะถูกวัดที่ 96 BPM เป็นเวลาประมาณ 1 นาที เสียงที่ส่งออกไปในจังหวะอื่นๆ และการเบี่ยงเบนสะสมเนื่องจากการเล่นเป็นเวลานานยังไม่ได้รับการตรวจสอบ

มีประโยชน์อย่างยิ่งที่ไม่เพียงแต่สามารถตัดสินด้วยหูว่าไม่มีปัญหาเท่านั้น แต่ยังยืนยันเป็นตัวเลขได้อีกด้วย ความจริงที่ว่าเราสามารถดำเนินการวัดผลและวิเคราะห์ต่อไปโดยได้รับการสนับสนุนจาก AI ได้นำไปสู่การยืนยันเชิงลึก

สิ่งที่ฉันยืนยันในรุ่นการผลิต

ในรุ่นที่ใช้งานจริงนี้ มีการทดสอบอัตโนมัติ 109 รายการผ่านการทดสอบ นอกจากนี้ ฉันกำลังตรวจสอบพฤติกรรมต่อไปนี้บนเทอร์มินัล:

• จังหวะการเปลี่ยนแปลง
• การเล่นภาพเมื่อปิดหน้าจอ
• หยุดจากการแจ้งเตือน
• คงการตั้งค่าไว้หลังจากรีบูต

นอกจากนี้เรายังยืนยันด้วยว่าแทร็กเสียงทำงานได้แม้ในขณะที่ไฟดับ และการขาดแคลนบัฟเฟอร์สำหรับแทร็กนั้นเป็น 0 ณ เวลาที่ได้มา ผลลัพธ์ที่ได้นี้ไม่ได้รับประกันว่าจะไม่มีเสียงขาดหายตลอดระยะเวลาการเล่น

แม้ว่าคุณภาพจะไม่สามารถกำหนดได้จากจำนวนการทดสอบที่ดำเนินการเพียงอย่างเดียว แต่เมื่อรวมการทดสอบอัตโนมัติ การทำงานของหน้าจอเทอร์มินัล และการวิเคราะห์เสียงเอาท์พุตเข้าด้วยกัน เราก็สามารถตรวจสอบจากมุมมองที่ต่างออกไปได้

ปัญหาที่ยังคงอยู่เมื่อได้รับมอบหมาย

ต้องมีการเตรียมการและการบำรุงรักษาสภาพแวดล้อมในการดำเนินการ

เมื่อรันโปรแกรมจำลองหลายตัวพร้อมกัน CPU และหน่วยความจำของพีซีจะเป็นข้อจำกัด สำหรับอุปกรณ์จริง วิธีการเชื่อมต่อและสถานะความเข้ากันได้ของเครื่องมือการทำงาน และสำหรับสภาพแวดล้อมคลาวด์เทอร์มินัล ควรพิจารณาต้นทุนด้วย

นอกเหนือจากการสร้างสภาพแวดล้อมเริ่มต้นแล้ว ยังมีความยุ่งยากในการอัปเดตการทดสอบเพื่อตอบสนองต่อการเปลี่ยนแปลงหน้าจอและข้อมูลจำเพาะอีกด้วย

ผู้คนยังตรวจสอบผลลัพธ์และภาพวาดที่คาดหวังด้วย

หากผลลัพธ์ที่คาดหวังนั้นผิด ไม่ว่าคุณจะทำการทดสอบกี่ครั้ง คุณจะไม่สามารถประเมินได้อย่างถูกต้อง เมื่อมอบหมายการพัฒนาและการทดสอบให้กับ AI เดียวกัน จะต้องระมัดระวังในการสืบทอดการตีความข้อกำหนดเดียวกัน

ดังนั้นการยืนยันข้อมูลจำเพาะและผลลัพธ์ขั้นสุดท้ายจึงดำเนินการโดยมนุษย์ สิ่งสำคัญคืออย่าปล่อยให้สิ่งที่คุณไม่สามารถปฏิบัติได้หรือตัดสินให้ผ่านการสอบ

ปัญหาในการวาดภาพและความรู้สึกไม่สบายบางอย่างระหว่างการทำงานนั้นยากที่จะตัดสินจากภาพนิ่ง เราจะออกจากกระบวนการสัมผัสและตรวจสอบเครื่องจริงก่อนปล่อยสู่สาธารณะ

ข้อมูลจำเพาะและหน้าจอยังทำหน้าที่เป็นข้อมูลที่จะส่งผ่านไปยังบุคคลภายนอก

ข้อมูลจำเพาะและภาพหน้าจอที่ส่งไปยังบริการ AI อาจเปิดเผยฟังก์ชันและเนื้อหาทางธุรกิจที่ไม่เปิดเผย ต้องใช้ความระมัดระวังเป็นพิเศษเมื่อจัดการโครงการหรือข้อมูลผู้ใช้ที่ได้รับมอบหมาย

เราแยกกันตรวจสอบว่าข้อมูลจะถูกใช้เพื่อการเรียนรู้หรือไม่ จะบันทึกไว้นานแค่ไหน และใครบ้างที่สามารถเข้าถึงข้อมูลได้ และกำหนดว่าสัญญาและการตั้งค่าที่จะใช้ตรงตามเงื่อนไขของโครงการหรือไม่ การใช้ข้อมูลจำลองและบัญชีทดสอบเป็นสิ่งที่คุณควรตัดสินใจในขณะที่ใช้งาน

ในการพัฒนาตนเอง คุณสามารถรับผิดชอบ AI เป็นหลักได้

“เป็นไปได้ไหมที่จะใช้ AI เพียงอย่างเดียวในการทดสอบแอปในระดับเจ้าของคนเดียว”

คำตอบของฉันจากประสบการณ์ของฉันก็คืองานทดสอบส่วนใหญ่นั้นเป็นหน้าที่ของคุณ อย่างไรก็ตาม การยืนยันครั้งสุดท้ายและการตัดสินใจเผยแพร่นั้นเป็นของบุคคลนั้น

อย่างน้อยที่สุด ผลลัพธ์ก็ดีกว่าสิ่งที่ฉันสามารถทำได้ด้วยตัวเอง เนื่องจากเราพบข้อบกพร่องที่เรามองข้ามไปและสามารถตรวจสอบทุกอย่างตั้งแต่การคำนวณภายในไปจนถึงเสียงที่ส่งออกจริง

ซึ่งไม่ได้บ่งบอกถึงความเหนือกว่าหรือด้อยกว่าวิศวกรทั่วไปหรือวิศวกรควบคุมคุณภาพ ประสบการณ์ของฉันคือฉันสามารถใช้ AI เพื่อชดเชยการขาดทักษะการทดสอบและข้อจำกัดในการทำทั้งการพัฒนาและการตรวจสอบด้วยตัวเอง

ธุรกิจส่วนตัวกำหนดให้คุณต้องสวมหมวกหลายใบในระยะเวลาที่จำกัด นอกจากนี้ AI ยังต้องมีการเตรียมการและการยืนยัน แต่ด้วยการมอบหมายให้ดำเนินการ การบันทึก และการตรวจสอบปัญหาซ้ำๆ คุณสามารถใช้เวลาในการตัดสินใจที่สำคัญได้

ความสามารถในการขยายภาระงานของบุคคลหนึ่งและก้าวไปสู่การยืนยันที่ไม่สามารถเข้าถึงได้ก่อนหน้านี้ นี่คือค่าที่สำคัญที่สุดของการทดสอบ AI เมื่อพัฒนาเครื่องเมตรอนอม