Đột phá trong kiểm duyệt nội dung AI: Moonbounce huy động được 12 triệu USD để xây dựng hàng rào an toàn theo thời gian thực

BitcoinWorld

Đột phá kiểm duyệt nội dung hỗ trợ bởi AI: Moonbounce đảm bảo 12 triệu USD để xây dựng rào chắn bảo mật theo thời gian thực

Trong một động thái quan trọng nhằm giải quyết khủng hoảng ngày càng gia tăng về an toàn trực tuyến, Moonbounce, một công ty khởi nghiệp tiên phong trong việc kiểm duyệt nội dung hỗ trợ bởi AI theo thời gian thực, đã tiết lộ độc quyền với Bitcoin World về vòng tài trợ 12 triệu USD. Khoản đầu tư này, do Amplify Partners và StepStone Group đồng dẫn dắt, thúc đẩy sứ mệnh của công ty trong việc chuyển đổi các tài liệu chính sách tĩnh thành mã có thể thực thi, tạo ra một lớp bảo mật ngay lập tức cho nội dung do người dùng tạo và nội dung do AI tạo. Do đó, khoản tài trợ đến khi các nền tảng đang đối mặt với áp lực pháp lý và danh tiếng ngày càng tăng từ các sự cố kiểm duyệt nổi bật.

Giải pháp kiểm duyệt nội dung hỗ trợ bởi AI của Moonbounce

Đổi mới cốt lõi của Moonbounce là cách tiếp cận "chính sách dưới dạng mã". Công ty đào tạo một mô hình ngôn ngữ lớn (LLM) độc quyền để tiếp nhận các chính sách an toàn bằng văn bản của khách hàng. Sau đó, hệ thống này đánh giá nội dung vào chính xác thời điểm tạo ra—cho dù từ người dùng hay từ chatbot AI. Nó đưa ra quyết định thực thi trong vòng dưới 300 mili giây. Do đó, sự chuyển đổi này từ đánh giá của con người phản ứng, chậm trễ sang thực thi máy chủ động, tức thời đại diện cho một sự thay đổi cơ bản trong cơ sở hạ tầng tin cậy và an toàn kỹ thuật số.

Hệ thống cung cấp các hành động thực thi linh hoạt dựa trên nhu cầu của khách hàng. Ví dụ, nó có thể:

• Chặn nội dung có rủi ro cao ngay lập tức trước khi bất kỳ người dùng nào nhìn thấy nó.
• Làm chậm phân phối nội dung biên giới, xếp hàng nó để đánh giá của con người sau này.
• Cung cấp lý do chi tiết cho các quyết định của nó, hỗ trợ tính minh bạch.

Hiện tại, Moonbounce phục vụ ba lĩnh vực chính: ứng dụng mạng xã hội và hẹn hò với nội dung do người dùng tạo, nền tảng người bạn đồng hành AI và nhân vật, và dịch vụ tạo hình ảnh AI. Công ty đã xử lý hơn 40 triệu đánh giá hàng ngày cho hơn 100 triệu người dùng hoạt động hàng ngày trên cơ sở khách hàng của mình.

Vấn đề cơ bản trong kiểm duyệt hiện đại

Giám đốc điều hành của Moonbounce, Brett Levenson, đã hình thành ý tưởng sau khi trải nghiệm những sai sót sâu sắc trong các hệ thống cũ trong nhiệm kỳ lãnh đạo tính toàn vẹn kinh doanh tại Facebook. Ông phát hiện ra rằng các người đánh giá làm việc với các tài liệu chính sách dài, được dịch kém. Sau đó họ chỉ có vài giây để đưa ra quyết định phức tạp về nội dung được gắn cờ, đạt tỷ lệ chính xác chỉ "tốt hơn một chút so với 50%."

"Nó giống như tung đồng xu," Levenson nói với Bitcoin World. "Điều này xảy ra nhiều ngày sau khi tác hại đã xảy ra rồi." Mô hình phản ứng này hoàn toàn không đủ để chống lại các tác nhân đối lập nhanh nhẹn, có nguồn lực tốt ngày nay. Hơn nữa, việc áp dụng bùng nổ của AI tạo sinh đã tăng theo cấp số nhân khối lượng và sự tinh vi của nội dung có hại, khiến việc đánh giá thủ công hoàn toàn không bền vững.

Niềm tin của nhà đầu tư vào nhu cầu quan trọng

Khoản tài trợ nhấn mạnh sự đồng thuận ngày càng tăng rằng cơ sở hạ tầng bảo mật bên ngoài, chuyên môn là cần thiết. "Kiểm duyệt nội dung luôn là một vấn đề gây khó khăn cho các nền tảng trực tuyến lớn, nhưng bây giờ với LLM là trung tâm của mọi ứng dụng, thách thức này thậm chí còn đáng sợ hơn," Lenny Pruss, Đối tác chung tại Amplify Partners cho biết. "Chúng tôi đầu tư vào Moonbounce vì chúng tôi hình dung một thế giới nơi các rào chắn khách quan, theo thời gian thực trở thành xương sống hỗ trợ của mọi ứng dụng được AI điều phối."

Cách tiếp cận bên ngoài này mang lại một lợi thế chính. Hệ thống của Moonbounce hoạt động như một bên thứ ba trung lập giữa người dùng và AI. Không giống như chính chatbot phải quản lý bối cảnh hội thoại rộng lớn, mô hình của Moonbounce chỉ tập trung vào thực thi quy tắc tại thời gian chạy. Sự tách biệt các mối quan tâm này dẫn đến các quyết định an toàn nhanh hơn, nhất quán hơn và ít thiên vị hơn.

Biến bảo mật thành lợi thế sản phẩm

Theo truyền thống, kiểm duyệt nội dung là một chức năng tuân thủ backend tốn kém. Tuy nhiên, Levenson lập luận rằng Moonbounce cho phép bảo mật trở thành một tính năng sản phẩm cốt lõi và yếu tố phân biệt. "Bảo mật thực sự có thể là một lợi ích của sản phẩm," ông giải thích. "Nó chưa bao giờ như vậy vì nó luôn là một điều xảy ra sau này, không phải là một điều bạn thực sự có thể xây dựng vào sản phẩm của mình."

Khách hàng ban đầu đang xác nhận luận điểm này. Ví dụ, người đứng đầu phần tin cậy và an toàn của Tinder đã báo cáo cải thiện độ chính xác phát hiện gấp 10 lần khi sử dụng các dịch vụ được hỗ trợ bởi LLM tương tự. Khách hàng của Moonbounce bao gồm công ty khởi nghiệp người bạn đồng hành AI Channel AI, nền tảng tạo hình ảnh Civitai và dịch vụ nhập vai nhân vật Dippy AI và Moescape.

Con đường phía trước: Từ chặn đến điều hướng

Giai đoạn phát triển tiếp theo của Moonbounce tập trung vào "điều hướng lặp lại." Khả năng nâng cao này, lấy cảm hứng từ các sự cố bi thảm như trường hợp năm 2024 của một thiếu niên bị ám ảnh với chatbot Character AI, vượt ra ngoài việc chặn nội dung đơn giản. Thay vào đó, hệ thống sẽ chặn một cuộc trò chuyện có khả năng gây hại theo thời gian thực và chuyển hướng nó một cách thông minh.

Công nghệ sẽ sửa đổi lời nhắc của người dùng để điều hướng chatbot hướng tới một phản ứng hỗ trợ và hữu ích hơn. "Chúng tôi hy vọng... lấy lời nhắc của người dùng và sửa đổi nó để buộc chatbot không chỉ là một người lắng nghe đồng cảm, mà là một người lắng nghe hữu ích trong những tình huống đó," Levenson nói. Điều này đại diện cho một mô hình an toàn AI tinh tế hơn, can thiệp hơn.

Kết luận

Vòng tài trợ 12 triệu USD của Moonbounce báo hiệu một sự thay đổi then chốt trong cách ngành công nghiệp công nghệ tiếp cận kiểm duyệt nội dung AI. Bằng cách dịch các chính sách mơ hồ thành mã có thể thực thi và hành động với tốc độ tạo ra, công ty khởi nghiệp cung cấp một con đường có thể mở rộng cho bảo mật nền tảng. Khi AI tạo sinh trở nên phổ biến, nhu cầu về các rào chắn mạnh mẽ, theo thời gian thực sẽ chỉ tăng cường. Công nghệ của Moonbounce, được xây dựng từ kinh nghiệm trực tiếp với các thất bại hệ thống, định vị nó như một người chơi quan trọng trong việc xây dựng một hệ sinh thái kỹ thuật số an toàn hơn, đáng tin cậy hơn, nơi bảo mật là một phần không thể thiếu trong trải nghiệm người dùng.

Câu hỏi thường gặp

Câu 1: "Chính sách dưới dạng mã" trong kiểm duyệt nội dung AI là gì?
"Chính sách dưới dạng mã" là phương pháp của Moonbounce để chuyển đổi các quy tắc an toàn nền tảng bằng văn bản thành logic có thể thực thi bằng máy. Điều này cho phép một hệ thống AI tự động và ngay lập tức đánh giá nội dung dựa trên các quy tắc đó vào thời điểm nó được tạo ra, thay vì dựa vào đánh giá thủ công chậm, không nhất quán của các tài liệu chính sách.

Câu 2: Hệ thống kiểm duyệt AI của Moonbounce nhanh như thế nào?
Hệ thống được thiết kế để đánh giá nội dung và cung cấp phản hồi thực thi trong 300 mili giây hoặc ít hơn. Tốc độ theo thời gian thực này rất quan trọng để ngăn chặn sự lan truyền của nội dung có hại trên các nền tảng mạng xã hội di chuyển nhanh và trò chuyện AI tương tác.

Câu 3: Những loại hình công ty nào sử dụng dịch vụ của Moonbounce?
Moonbounce chủ yếu phục vụ ba lĩnh vực: nền tảng với nội dung do người dùng tạo (như ứng dụng hẹn hò), các công ty AI xây dựng chatbot hoặc người bạn đồng hành, và dịch vụ tạo hình ảnh và video AI. Khách hàng của nó bao gồm Channel AI, Civitai, Dippy AI và Moescape.

Câu 4: "Điều hướng lặp lại" là gì?
Điều hướng lặp lại là một khả năng nâng cao mà Moonbounce đang phát triển. Thay vì chỉ chặn nội dung có hại, hệ thống sẽ chặn một cuộc trò chuyện rủi ro với chatbot AI và sửa đổi động lời nhắc của người dùng theo thời gian thực. Mục tiêu là điều hướng tương tác hướng tới một kết quả tích cực hơn, hỗ trợ hơn và hữu ích hơn.

Câu 5: Tại sao kiểm duyệt nội dung AI bên ngoài quan trọng?
Một hệ thống kiểm duyệt của bên thứ ba bên ngoài hoạt động độc lập với mô hình AI cốt lõi. Nó không bị gánh nặng bởi nhu cầu của chatbot phải nhớ lịch sử trò chuyện dài, cho phép nó chỉ tập trung vào thực thi quy tắc an toàn. Sự tách biệt này có thể giảm thiên kiến, tăng tính nhất quán và cung cấp một lớp bảo vệ chuyên môn mà các nhóm nội bộ có thể gặp khó khăn để xây dựng ở quy mô lớn.

Bài đăng này Đột phá kiểm duyệt nội dung hỗ trợ bởi AI: Moonbounce đảm bảo 12 triệu USD để xây dựng rào chắn bảo mật theo thời gian thực xuất hiện lần đầu tiên trên BitcoinWorld.