Neobjektivitātes noteikšana mašīnmācīšanās modeļos ir būtisks aspekts, lai nodrošinātu godīgas un ētiskas AI sistēmas. Novirzes var rasties no dažādiem mašīnmācīšanās konveijera posmiem, tostarp datu vākšana, pirmapstrāde, līdzekļu atlase, modeļu apmācība un izvietošana. Aizspriedumu noteikšana ietver statistiskās analīzes, domēna zināšanu un kritiskās domāšanas kombināciju. Šajā atbildē mēs izpētīsim metodes, kā atklāt novirzes mašīnmācīšanās modeļos un stratēģijas to novēršanai un mazināšanai.
1. Datu vākšana:
Mašīnmācības novirzes bieži vien izriet no neobjektīviem apmācības datiem. Ir svarīgi rūpīgi pārbaudīt apmācības datus, lai atklātu jebkādas raksturīgās novirzes. Viena izplatīta pieeja ir veikt rūpīgu izpētes datu analīzi (EDA), lai noteiktu datu modeļus un nelīdzsvarotību. Vizualizācijas metodes, piemēram, histogrammas, lodziņu diagrammas un izkliedes diagrammas, var palīdzēt atklāt novirzes, kas saistītas ar klašu sadalījumu, trūkstošām vērtībām, novirzēm vai korelācijām.
Piemēram, ja datu kopā, ko izmanto, lai prognozētu aizdevumu apstiprinājumu, ir ievērojama apstiprināto aizdevumu skaita nelīdzsvarotība starp dažādām demogrāfiskajām grupām, tas var norādīt uz neobjektivitāti. Tāpat, ja noteiktas grupas datos ir nepietiekami pārstāvētas, modelis var nebūt labi vispārināts šīm grupām, izraisot neobjektīvas prognozes.
2. Iepriekšēja apstrāde:
Datu priekšapstrādes laikā, veicot datu tīrīšanu, normalizēšanu vai kodēšanu, nejauši var tikt ieviestas novirzes. Piemēram, neobjektīva rīcība ar trūkstošām vērtībām vai novirzēm var izkropļot modeļa mācīšanās procesu. Ir ļoti svarīgi dokumentēt visas priekšapstrādes darbības un nodrošināt datu pārveidošanas pārskatāmību.
Viena izplatīta priekšapstrādes tehnika novirzes novēršanai ir datu palielināšana, kurā tiek ģenerēti sintētiskie datu punkti, lai līdzsvarotu klašu sadalījumu vai uzlabotu modeļa veiktspēju dažādās grupās. Tomēr ir svarīgi apstiprināt datu palielināšanas ietekmi uz novirzes samazināšanu un modeļa godīgumu.
3. Funkciju izvēle:
Novirzes var izpausties arī modelī izmantotajās funkcijās. Iezīmju atlases metodes, piemēram, korelācijas analīze, savstarpēja informācija vai funkciju svarīguma rādītāji, var palīdzēt identificēt diskriminējošas pazīmes, kas veicina neobjektivitāti. Šādu funkciju noņemšana vai novirzīšana var mazināt negodīgas prognozes un uzlabot modeļa vienlīdzību.
Piemēram, darbā pieņemšanas modelī, ja modelis lielā mērā paļaujas uz diskriminējošu iezīmi, piemēram, dzimumu vai rasi, tas var saglabāt neobjektivitāti darbā pieņemšanas procesā. Izslēdzot šādas funkcijas vai izmantojot tādus paņēmienus kā sacīkstes, modelis var apgūt taisnīgākas lēmumu robežas.
4. Modeļu apmācība:
Neobjektivitāte var būt iesakņojusies modeļa mācīšanās procesā algoritmisku izvēļu, hiperparametru vai optimizācijas mērķu dēļ. Regulāri novērtējot modeļa veiktspēju dažādās apakšgrupās vai sensitīvos atribūtos, var atklāties atšķirīga ietekme un novirzes. Tādi metrika kā atšķirīga ietekmes analīze, izlīdzinātas izredzes vai demogrāfiskā paritāte var noteikt godīgumu un virzīt modeļa uzlabošanu.
Turklāt taisnīguma ierobežojumu vai regularizācijas nosacījumu iekļaušana modeļu apmācībā var palīdzēt mazināt aizspriedumus un veicināt taisnīgus rezultātus. Tādas metodes kā pretrunīga apmācība, atšķirīgu triecienu noņemšanas līdzeklis vai atkārtota svēršana var uzlabot modeļa godīgumu, sodot par diskriminējošu uzvedību.
5. Modeļa novērtējums:
Pēc modeļa apmācības ir svarīgi novērtēt tā veiktspēju reālos scenārijos, lai novērtētu tā godīgumu un vispārināšanas iespējas. Veicot neobjektivitātes auditus, jutīguma analīzi vai A/B testēšanu, var atklāt novirzes, kas nebija pamanāmas apmācības laikā. Modeļa prognožu uzraudzība laika gaitā un atsauksmju pieprasīšana no dažādām ieinteresētajām personām var sniegt vērtīgu ieskatu par tā ietekmi uz dažādām lietotāju grupām.
Lai noteiktu un mazinātu novirzes mašīnmācīšanās modeļos, ir nepieciešama holistiska pieeja, kas aptver visu mašīnmācīšanās konveijeru. Būdami piesardzīgi datu vākšanas, priekšapstrādes, funkciju atlases, modeļu apmācības un novērtēšanas laikā, praktiķi var izveidot pārredzamākas, atbildīgākas un godīgākas AI sistēmas, kas sniedz labumu visām ieinteresētajām personām.
Citi jaunākie jautājumi un atbildes par EITC/AI/GCML Google Cloud Machine Learning:
- Kas ir teksts runāšanai (TTS) un kā tas darbojas ar AI?
- Kādi ir ierobežojumi darbam ar lielām datu kopām mašīnmācībā?
- Vai mašīnmācība var sniegt dialogu?
- Kas ir TensorFlow rotaļu laukums?
- Ko patiesībā nozīmē lielāka datu kopa?
- Kādi ir daži algoritma hiperparametru piemēri?
- Kas ir ansambļa mācīšanās?
- Ko darīt, ja izvēlētais mašīnmācīšanās algoritms nav piemērots un kā pārliecināties, ka ir izvēlēts pareizais?
- Vai mašīnmācīšanās modelim tā apmācības laikā ir nepieciešama uzraudzība?
- Kādi ir galvenie parametri, ko izmanto neironu tīklu algoritmos?
Skatiet citus jautājumus un atbildes pakalpojumā EITC/AI/GCML Google Cloud Machine Learning