Rủi ro thực sự của AI trong Testing: Sự tự tin sai lầm, không phải lỗi

Bảng điều khiển sáng màu xanh lục. Tất cả các bài kiểm tra tự động đều đã vượt qua. AI Agent đã tạo ra các trường hợp kiểm tra mới, xóa bỏ những cái cũ và thậm chí báo cáo trong vòng vài phút về việc phạm vi kiểm tra đã được cải thiện như thế nào. Nhóm đã tiến tới việc ra mắt với sự tự tin vào thứ Sáu.

Giờ đây, đã là sáng thứ Hai.

Có các yêu cầu hỗ trợ. Khách hàng có địa chỉ đã lưu không thể thanh toán. Làm thế nào mà địa chỉ đã lưu của họ lại bị hỏng? Giao diện người dùng trông hoàn toàn hỏng trên một thiết bị di động thông thường. Một API quan trọng không có xử lý trường hợp biên vững chắc. Khi kết hợp tất cả những vấn đề này lại, chúng chỉ ra một mối đe dọa lớn hơn: sự sẵn sàng của nhóm trong việc dựa vào đầu vào bên ngoài một cách mù quáng, cho rằng mọi thứ đều đúng.

Đó là mối nguy thực sự mà AI mang lại cho QA.

Không phải là AI sẽ đưa lỗi vào các bài kiểm tra của chúng ta. Tất cả phần mềm đều có lỗi. Tất cả các nhóm QA đều giỏi trong việc xác định và giải quyết chúng. Tuy nhiên, mối đe dọa lớn hơn của AI là nó có thể khiến một nhóm tin rằng việc kiểm tra của họ là kỹ lưỡng ngay cả khi không phải vậy. Với Hỗ trợ bởi AI trong kiểm tra, một nhóm QA có thể có cảm giác thoải mái sai lầm rằng mọi thứ đều chính xác.

Sự tự tin sai lầm này có thể rất tốn kém. Sự quá tự tin này có thể dẫn đến trách nhiệm pháp lý tài chính khổng lồ. Ngay cả các hệ thống AI được kiểm tra đầy đủ đôi khi cũng có thể thất bại khi đối mặt với sự phức tạp của thế giới thực. McDonald's gần đây đã đóng cửa một hệ thống AI của IBM mà họ đang thử nghiệm tại các quầy lái xe qua sau khi nó liên tục mắc lỗi trong các đơn hàng. Đó là lời nhắc nhở rằng ngay cả các công nghệ đáng tin cậy cũng có thể có những lỗ hổng nghiêm trọng.

Sự Tự Tin Sai Lầm Trong QA Thực Sự Có Nghĩa Là Gì

Vấn đề thực sự xảy ra khi một nhóm tin rằng các bài kiểm tra đã kiểm tra đầy đủ một hệ thống nhất định. Cảm giác bảo mật sai lầm này đến từ thực tế là các rủi ro bảo mật có liên quan hoặc không được phát hiện hoặc không được kiểm tra nghiêm ngặt.

Điều này từ lâu đã là một vấn đề trong các phương pháp tự động hóa truyền thống. Trong những phương pháp này, một số lượng lớn các bài kiểm tra có thể được chạy, nhưng không có nhiều độ sâu trong kiểm tra. Việc một báo cáo pipeline nói rằng tất cả các kiểm tra đã vượt qua (tất cả màu xanh) không có nghĩa là bản thân hệ thống sẽ nhất thiết hoạt động hoàn hảo.

Tự động hóa trở nên phức tạp hơn khi triển khai AI. Một điều cần biết về các mô hình ngôn ngữ AI là chúng có thể trình bày thông tin theo cách có vẻ thuyết phục nhưng thực sự Tính sai. 

Chúng ta có thể thấy các bài kiểm tra chạy và thậm chí phạm vi kiểm tra tốt hơn, khi AI hỗ trợ trong việc xây dựng kiểm tra và phân tích kết quả của bất kỳ lần chạy kiểm tra nào. Tất cả những điều này đều có lợi.

Nhưng không phải tất cả các lợi ích đều hoàn toàn đáng tin cậy.

Một bài kiểm tra được xây dựng bởi AI có thể bỏ lỡ một số phần quan trọng của logic kinh doanh. Hoặc nó có thể được thiết kế chỉ để kiểm tra các kịch bản phổ biến. Một bài kiểm tra như vậy sẽ có vẻ hoàn toàn đầy đủ. Nếu kết quả sạch sẽ và được thể hiện rõ ràng, nhóm có khả năng sẽ xem bài kiểm tra là đầy đủ, để lại các lỗ hổng nghiêm trọng chưa được phát hiện.

Đó là lý do tại sao các bài kiểm tra thường có thể tạo cơ hội cho các nhóm đưa ra các giả định sai lầm.

Câu hỏi quan trọng hơn ngày nay, đối với bất kỳ ai tham gia vào các bài kiểm tra phần mềm tự động sử dụng trí tuệ nhân tạo, không nên là "AI có xây dựng các bài kiểm tra hiệu quả hơn không?" Mà nên là "Các bài kiểm tra được xây dựng bởi AI có thực sự đáng tin cậy không?"

Tại Sao AI Làm Cho Vấn Đề Khó Nhận Thấy Hơn

Một bài kiểm tra thủ công kém có thể được xác định nhanh chóng. Các bài kiểm tra theo kịch bản không được viết đúng cách thường mắc lỗi.

​Nhưng khi các bài kiểm tra được xây dựng bởi trí tuệ nhân tạo (AI) thất bại, rất khó để biết ngay lập tức. Chúng có thể đưa ra các khẳng định có vẻ rất chính xác và các tên và kịch bản có vẻ thực tế. Nhưng chúng có thể im lặng bỏ qua các yếu tố quan trọng nhất. Chúng có thể hiểu sai mục đích thực sự của một tính năng. Chúng có thể trình bày các ý tưởng giống nhau theo cách khác nhau. AI cũng có thể đưa ra các báo cáo quá tự tin về một bản phát hành phần mềm mà không có bằng chứng đầy đủ.

​Điều này tạo ra một khoảng cách nguy hiểm giữa sự mượt mà xuất hiện bên ngoài và chất lượng ở bên trong.

​Trong đảm bảo chất lượng (QA), sự tự tin của chúng ta nên đến từ khả năng truy xuất nguồn gốc của các bài kiểm tra, độ sâu của phạm vi, đánh giá rủi ro và kết quả có thể quan sát được. Không phải từ việc dữ liệu do AI tạo ra trông đẹp như thế nào.

Năm Cách AI Tạo Ra Sự Tự Tin Sai Lầm Trong QA Hiện Đại

Kiểm Tra Quá Nhiều Các Kịch Bản Phổ Biến

AI xuất sắc ở những nơi có các mẫu thường xuyên. Do đó, nó dễ dàng bị thu hút bởi các luồng bình thường, đầu vào dự kiến và hành vi người dùng phổ biến.

Nhưng các lỗi phần mềm nghiêm trọng thường ẩn ở những nơi khác:

• Chuyển đổi trạng thái: Trong quá trình thay đổi từ trạng thái này sang trạng thái khác.
• Vấn đề về thời gian: Lỗi trong thời gian của các quy trình.
• Thử lại và gián đoạn: Vấn đề khi các giao dịch thất bại được thử lại hoặc bị gián đoạn.
• Ranh giới quyền hạn: Khoảng trống bảo mật trong các ranh giới của quyền hạn.
• Lỗi một phần: Khi chỉ một phần của hệ thống thất bại mà không bị sập hoàn toàn.
• Đầu vào không nhất quán từ thế giới thực: Thông tin ngẫu nhiên được cung cấp bởi khách hàng trong thế giới thực. 

Nếu các bài kiểm tra do AI tạo ra chỉ tuân theo các kịch bản phổ biến được hình dung bởi một nhà thiết kế sản phẩm, chúng sẽ để lại các đường dẫn rủi ro không được chạm vào. Điều này chỉ phục vụ để tạo ra ảo tưởng rằng các bài kiểm tra đã hoàn tất.

Tạo Ra Các Khẳng Định Kém 

Giá trị thực sự của một bài kiểm tra là những gì nó chứng minh về phần mềm. Quá nhiều bài kiểm tra tồi bao phủ một phạm vi hành động khổng lồ trên ứng dụng, nhưng không kiểm tra đúng cách xem các hành động này có thành công cho doanh nghiệp không. Một bài kiểm tra đơn giản là một chuyển động mà tất cả những gì nó làm là nhấp vào các nút, điền vào các trường, nhấp vào thêm các nút, xem màn hình và thấy thứ gì đó bật lên.

AI có thể thực hiện các bài kiểm tra tự động nhẹ như vậy nhanh hơn nhiều so với con người. Tuy nhiên, nếu các điều kiện kiểm tra (khẳng định) của bạn quá chung chung, được xác định kém hoặc không liên quan đến trường hợp sử dụng kinh doanh, thì chỉ đơn giản là thực hiện một lần kiểm tra vượt qua không cung cấp nhiều an toàn cho một bản phát hành phần mềm. Một lần kiểm tra vượt qua trong thanh toán có thể chỉ hiển thị biểu ngữ thành công và không đảm bảo rằng một đơn hàng được xử lý chính xác (thuế, tổng số, v.v.), rằng một email được gửi hoặc hàng tồn kho được giảm.

Số Lượng Trường Hợp Kiểm Tra Nhiều Hơn & Lỗ Hổng Nhiều Hơn

Một nhóm có thể kiểm tra 40 trường hợp kiểm tra được viết bằng tay. Nhưng họ có thể không áp dụng cùng một cách tiếp cận cho 400 trường hợp được tạo ra nhanh chóng bằng AI. Đây là một trong những cạm bẫy lớn nhất của đảm bảo chất lượng (QA) dựa trên AI: kiểm tra cẩn thận tự nhiên giảm đi khi số lượng tăng lên.

Có nhiều trường hợp kiểm tra hơn có thể mang lại cho chúng ta một loại tự tin về mặt tâm lý. Khi số lượng tăng lên, chúng ta cảm thấy rằng bộ kiểm tra rất rộng và các báo cáo không có lỗi. Nhưng việc tăng số lượng trường hợp kiểm tra không bao giờ thay thế cho chất lượng của chúng.

Không có ánh xạ rủi ro phù hợp và khả năng truy xuất nguồn gốc yêu cầu, AI sẽ chỉ giúp ghi lại các phỏng đoán thay vì kiểm tra chất lượng thực sự của hệ thống.

Tạo Ra Sự Tin Tưởng Mù Quáng Vào Đèn Xanh

Khi các báo cáo pipeline luôn hiển thị màu xanh lục, nó mang lại cho các nhóm cảm giác tự tin mạnh mẽ và khuyến khích các quyết định nhanh chóng. Nó loại bỏ các rào cản để hoàn thành công việc, vì vậy cảm giác an toàn này lan rộng dễ dàng khi các nhóm bắt đầu xây dựng, sửa chữa và ưu tiên các bài kiểm tra của riêng họ bằng AI. Bản năng của họ chuyển từ việc kiểm tra và xác minh kết quả sang chỉ tin tưởng hệ thống một cách mù quáng. Trên bề mặt, nó có vẻ nhỏ nhặt, nhưng nó có thể thay đổi văn hóa QA mãi mãi. Câu hỏi không còn là "rủi ro nào mà bài kiểm tra này bao phủ?" và trở thành "AI có chạy kiểm tra cho điều này không?" Tại thời điểm này, mọi người có xu hướng cho rằng mọi thứ đều ổn và ngừng đặt câu hỏi về chất lượng.

Khiến Ngay Cả Những Sai Lầm Mù Quáng Cũng Có Vẻ Thông Minh

Một trong những tính năng nguy hiểm nhất của các hệ thống AI hiện đại là chúng có thể trình bày ngay cả những sai lầm rõ ràng nhất với tính xác thực lớn. Điều này có tầm quan trọng lớn trong đảm bảo chất lượng (QA).

Ngay cả khi một bài kiểm tra AI được viết với sự hiểu lầm về một yêu cầu hoặc thông tin không đầy đủ, đầu ra của nó sẽ rất chính xác và được đánh bóng để trông như thể nó được viết đúng. Một bài kiểm tra điển hình sẽ không thể nhanh chóng tìm thấy sai lầm. Nguy hiểm ở đây không chỉ nằm ở bản thân sai lầm, mà còn ở việc sai lầm có thể dễ dàng được tin tưởng như thế nào.

Một sai lầm rõ ràng có thể được sửa chữa nhanh chóng. Nhưng một kết luận sai lầm có vẻ đáng tin cậy có khả năng được phát hành mà không được kiểm tra.

Các Nhóm QA Thông Minh Làm Khác Đi Như Thế Nào

Điều này không có nghĩa là AI nên được tránh hoàn toàn.

Giải pháp là sử dụng nó mà không từ bỏ phán đoán của bạn cho AI. Các nhóm đảm bảo chất lượng (QA) tốt nhất coi AI như một trợ lý, không phải là thứ để tin tưởng một cách mù quáng. Trong khi họ sử dụng nó để tăng tốc độ, họ không trao niềm tin cuối cùng cho nó. Nghĩa là, họ tuân theo một phong cách làm việc mà họ chỉ tin tưởng đầu ra được cung cấp bởi AI sau khi xác minh nó.

Hãy xem điều đó hoạt động như thế nào trong thực tế.

Hiểu Rủi Ro Trước Khi Xây Dựng Các Bài Kiểm Tra

Trước khi tạo các trường hợp kiểm tra, bạn nên xác định rõ ràng các vấn đề chính có thể ảnh hưởng đến doanh nghiệp hoặc người dùng.

Các lĩnh vực liên quan đến giao dịch tài chính, các vấn đề pháp lý (tuân thủ), danh tính, quyền hạn và sự tin tưởng của khách hàng nên được chú ý đầu tiên. Những lỗi nào xảy ra rất hiếm nhưng gây ra nhiều tổn thất? Lỗi dễ dàng bị bỏ qua ở đâu?

AI có thể cung cấp các ý tưởng mới trong các lĩnh vực như vậy. Nhưng con người mới là người quyết định nơi có nhiều rủi ro hơn.

Kiểm Tra Những Gì Bài Kiểm Tra Khẳng Định, Không Chỉ Các Bước

Mỗi bước trong một trường hợp kiểm tra do AI tạo ra có thể có vẻ đúng ở cái nhìn đầu tiên. Nhưng câu hỏi thực sự là liệu bài kiểm tra có thực sự đang kiểm tra kết quả đúng không.

Bạn nên phát triển một thói quen đơn giản khi kiểm tra: tập trung nhiều hơn vào những gì bài kiểm tra chứng minh hơn là cách nó hoạt động.

Duy Trì Phạm Vi Kiểm Tra Theo Lớp

Chỉ một lớp kiểm tra đơn lẻ không thể đảm bảo rằng hệ thống là hoàn chỉnh. Kiểm tra đơn vị, API, tích hợp, đầu cuối đến đầu cuối (E2E), kiểm tra khám phá và phản hồi sản xuất đều phơi bày các loại rủi ro khác nhau.

Nếu AI chỉ kiểm tra một lớp, các nhóm không nên xem xét rằng hệ thống của họ hoàn toàn an toàn. Mỗi lớp nên được kiểm tra với tầm quan trọng riêng của nó.

Tương Lai Của QA Không Phải Là Ít Con Người Hơn

Nhiều người lo sợ rằng AI trong kiểm tra sẽ trở thành một nỗ lực không có con người. Nhưng trên thực tế, điều ngược lại đang xảy ra.

Khi AI đảm nhận các nhiệm vụ lặp đi lặp lại, sự can thiệp của con người trở nên có giá trị hơn. Xác định rủi ro, loại bỏ sự mơ hồ, đặt câu hỏi về các giả định, kiểm tra các trường hợp biên phức tạp và  hỏi "Hệ thống có an toàn vì một bài kiểm tra đã vượt qua không?" Tất cả những điều này đều yêu cầu trí thông minh của con người.

Đây không phải là về ít công việc hơn, mà là về chất lượng tốt hơn. Các nhóm tốt nhất của tương lai không phải là những người xây dựng vô số bài kiểm tra. Họ là những người có thể làm việc nhanh chóng và cẩn thận, nhưng đặt câu hỏi khi cần thiết.

Bởi vì lỗi trong các hệ thống luôn hiển thị. Nhưng sự quá tự tin thường khiến chúng ta bỏ qua chúng.

Bài Học Cho Bước Đi Tiếp Theo Của Bạn

AI chắc chắn có thể tăng tốc các quy trình QA. Nó có thể giúp các nhóm xây dựng các bài kiểm tra, giảm các nhiệm vụ lặp đi lặp lại và phản ứng với các thay đổi nhanh hơn.

Nhưng tốc độ không được giám sát này có thể dẫn đến một loại vấn đề chất lượng mới. Khi các bài kiểm tra do AI tạo ra khiến chúng ta cảm thấy hoàn chỉnh, khi các bảng điều khiển bóng bẩy khiến chúng ta tin tưởng vào chúng, khi các báo cáo lộng lẫy được ưu tiên hơn các đánh giá nghiêm ngặt, QA không thực sự vững chắc. Thay vào đó, nó trở nên dễ bị đánh lừa.

Các nhóm an toàn nhất là những người nhớ sự thật đơn giản rằng chỉ vì một bài kiểm tra vượt qua, nó không phải là bằng chứng tuyệt đối rằng hệ thống là an toàn. Nó chỉ là một dấu hiệu, và trí thông minh của con người vẫn cần được sử dụng để đánh giá dấu hiệu đó.

Vì vậy, mối đe dọa thực sự mà AI đặt ra cho QA không phải là lỗi. Mà là sự tự tin sai lầm mà nó mang lại.