Elon Musk's X maakt Grok-aangedreven algoritme achter 'Voor Jou'-feed open source

Elon Musks socialmediaplatform X heeft dinsdag zijn belofte waargemaakt om het gordijn op te trekken voor een van de best bewaarde geheimen van sociale media, door de machine learning-architectuur vrij te geven die bepaalt welke berichten in de feeds van gebruikers verschijnen.

"We hebben ons nieuwe 𝕏-algoritme open-source gemaakt, aangedreven door dezelfde transformerarchitectuur als xAI's Grok-model," twitterde het engineeringteam van X.

"We weten dat het algoritme dom is en enorme verbeteringen nodig heeft, maar je kunt ons tenminste in realtime en met transparantie zien worstelen om het beter te maken," twitterde Musk na de release. "Geen enkel ander socialmediabedrijf doet dit."

De release volgt op een belofte die Musk vorige week deed toen hij postte dat hij "het nieuwe X-algoritme, inclusief alle code die wordt gebruikt om te bepalen welke organische en advertentieberichten aan gebruikers worden aanbevolen, binnen 7 dagen open-source zou maken."

Hij beloofde dat updates "elke 4 weken zouden worden herhaald, met uitgebreide ontwikkelaarsnotities, om je te helpen begrijpen wat er is veranderd."

De GitHub-repository beschrijft een op Grok gebaseerd transformermodel dat berichten in X's 'Voor Jou'-feed rangsschikt door gebruikersacties zoals likes en reacties te voorspellen, gebruikmakend van end-to-end machine learning zonder handmatig ontworpen functies, gebouwd in Rust en Python voor modulaire opvraging en scoring.

Het algoritme haalt inhoud op uit twee bronnen: berichten binnen het netwerk van accounts die gebruikers volgen en berichten buiten het netwerk die worden ontdekt via op ML gebaseerde opvraging, waarbij beide worden gecombineerd via een scoresysteem dat betrokkenheidskansen voor elk bericht voorspelt.

Midhun Krishna M, medeoprichter en CEO van LLM-kostentracker TknOps.io, zei dat de open-source release de industriestandaarden zou kunnen veranderen.

"Door de op Grok gebaseerde transformerarchitectuur bloot te leggen, geeft X ontwikkelaars in wezen een blauwdruk om aanbevelingssystemen te begrijpen en mogelijk te verbeteren die jarenlang zwarte dozen zijn geweest," vertelde hij aan Decrypt. "Dit niveau van transparantie zou andere platforms kunnen dwingen hetzelfde te doen of uit te leggen waarom ze dat niet willen."

"Makers kunnen leren wat werkt en aanpassen zonder blind het systeem te manipuleren, terwijl duidelijkere prikkels gewone gebruikers ten goede komen en tot betere inhoud leiden," voegde hij toe.

Toen werd gevraagd of de open-source code gebruikers zou kunnen helpen bepalen wat berichten viraal laat gaan, analyseerde Grok zelf het algoritme en identificeerde vijf sleutelfactoren.

Deze omvatten betrokkenheidsvoorspellingen op basis van gebruikersgeschiedenis voor likes en reposts, nieuwheid en relevantie van inhoud waarbij tijdige gepersonaliseerde berichten hoger scoren, diversiteitsscore die herhaalde auteurs beperkt, een balans tussen gevolgde accounts en door ML voorgestelde berichten, en negatieve signalen van blokkades en dempen die scores verlagen.

X onder de loep

De release komt te midden van verhoogde controle op X's AI-initiatieven, aangezien X vorige week de API-toegang introk voor InfoFi-projecten die gebruikers beloonden voor platformbetrokkenheid, waarbij Hoofd Product Nikita Bier verklaarde dat het bedrijf "niet langer apps zou toestaan die gebruikers belonen voor het posten op X" vanwege zorgen over door AI gegenereerde spam.

Onlangs beperkte X de beeldgeneratie- en bewerkingsfuncties van Grok tot alleen betalende abonnees en implementeerde technische maatregelen om het bewerken van afbeeldingen van echte mensen te voorkomen nadat de chatbot werd gebruikt om niet-consensuele geseksualiseerde afbeeldingen te maken, waaronder die van minderjarigen, wat toezichthouders over de hele wereld ertoe aanzette onderzoeken te openen die tot handhavingsmaatregelen kunnen leiden.