TFX, kas apzīmē TensorFlow Extended, ir visaptveroša platforma ražošanai gatavu mašīnmācīšanās cauruļvadu veidošanai. Tas nodrošina rīku un komponentu kopumu, kas atvieglo mērogojamu un uzticamu mašīnmācīšanās sistēmu izstrādi un izvietošanu. TFX ir izstrādāts, lai risinātu problēmas, kas saistītas ar mašīnmācīšanās cauruļvadu pārvaldību un optimizēšanu, ļaujot datu zinātniekiem un inženieriem koncentrēties uz modeļu izveidi un atkārtošanu, nevis risināt infrastruktūras un datu pārvaldības sarežģītību.
TFX organizē mašīnmācīšanās cauruļvadu vairākos horizontālos slāņos, no kuriem katrs kalpo konkrētam mērķim kopējā darbplūsmā. Šie slāņi darbojas kopā, lai nodrošinātu vienmērīgu datu un modeļu artefaktu plūsmu, kā arī efektīvu cauruļvada izpildi. Izpētīsim dažādus TFX slāņus cauruļvadu pārvaldībai un optimizācijai:
1. Datu ievade un apstiprināšana:
Šis slānis ir atbildīgs par neapstrādātu datu uzņemšanu no dažādiem avotiem, piemēram, failiem, datu bāzēm vai straumēšanas sistēmām. TFX nodrošina tādus rīkus kā TensorFlow Data Validation (TFDV), lai veiktu datu validāciju un statistikas ģenerēšanu. TFDV palīdz identificēt anomālijas, trūkstošās vērtības un datu novirzi, nodrošinot ievades datu kvalitāti un konsekvenci.
2. Datu priekšapstrāde:
Šajā slānī TFX piedāvā TensorFlow Transform (TFT), lai veiktu datu priekšapstrādi un funkciju inženieriju. TFT ļauj lietotājiem definēt ievades datu transformācijas, piemēram, mērogošanu, normalizāciju, viena karstuma kodēšanu un daudz ko citu. Šīs transformācijas tiek konsekventi piemērotas gan apmācības, gan apkalpošanas laikā, nodrošinot datu konsekvenci un samazinot datu novirzes risku.
3. Modeļu apmācība:
TFX šajā slānī izmanto TensorFlow jaudīgās treniņu iespējas. Lietotāji var definēt un apmācīt savus mašīnmācīšanās modeļus, izmantojot TensorFlow augsta līmeņa API vai pielāgotu TensorFlow kodu. TFX nodrošina tādus rīkus kā TensorFlow modeļu analīze (TFMA), lai novērtētu un apstiprinātu apmācītos modeļus, izmantojot metriku, vizualizācijas un sagriešanas metodes. TFMA palīdz novērtēt modeļa veiktspēju un identificēt iespējamās problēmas vai novirzes.
4. Modeļa apstiprināšana un novērtēšana:
Šis slānis koncentrējas uz apmācīto modeļu apstiprināšanu un novērtēšanu. TFX nodrošina TensorFlow datu validāciju (TFDV) un TensorFlow modeļa analīzi (TFMA), lai veiktu visaptverošu modeļa validāciju un novērtēšanu. TFDV palīdz apstiprināt ievades datus attiecībā pret gaidām, kas definēts datu ievadīšanas fāzē, savukārt TFMA ļauj lietotājiem novērtēt modeļa veiktspēju, salīdzinot ar iepriekš definētiem rādītājiem un griezumiem.
5. Modeļa izvietošana:
TFX atbalsta modeļa izvietošanu dažādās vidēs, tostarp TensorFlow Serving, TensorFlow Lite un TensorFlow.js. TensorFlow Serving ļauj lietotājiem apkalpot savus modeļus kā mērogojamus un efektīvus tīmekļa pakalpojumus, savukārt TensorFlow Lite un TensorFlow.js nodrošina izvietošanu attiecīgi mobilajās un tīmekļa platformās. TFX nodrošina rīkus un utilītas, lai ērti iepakotu un izvietotu apmācītos modeļus.
6. Orķestrācijas un darbplūsmas pārvaldība:
TFX integrējas ar darbplūsmas pārvaldības sistēmām, piemēram, Apache Airflow un Kubeflow Pipelines, lai organizētu un pārvaldītu visu mašīnmācīšanās konveijeru. Šīs sistēmas nodrošina plānošanas, uzraudzības un kļūdu apstrādes iespējas, nodrošinot cauruļvada uzticamu izpildi.
Sakārtojot cauruļvadu šajos horizontālajos slāņos, TFX ļauj datu zinātniekiem un inženieriem efektīvi izstrādāt un optimizēt mašīnmācīšanās sistēmas. Tas nodrošina strukturētu un mērogojamu pieeju, lai pārvaldītu datu ievadīšanas, pirmapstrādes, modeļu apmācības, validācijas, novērtēšanas un izvietošanas sarežģītības. Izmantojot TFX, lietotāji var koncentrēties uz augstas kvalitātes modeļu izveidi un vērtības nodrošināšanu savām organizācijām.
TFX konveijera pārvaldībai un optimizācijai ietver horizontālos slāņus datu ievadīšanai un validācijai, datu pirmapstrādei, modeļu apmācībai, modeļa validācijai un novērtēšanai, modeļa izvietošanai, kā arī orķestrēšanas un darbplūsmas pārvaldībai. Šie slāņi darbojas kopā, lai racionalizētu mašīnmācīšanās cauruļvadu izstrādi un izvietošanu, ļaujot datu zinātniekiem un inženieriem izveidot mērogojamas un uzticamas mašīnmācīšanās sistēmas.
Citi jaunākie jautājumi un atbildes par EITC/AI/TFF TensorFlow pamati:
- Kā var izmantot iegulšanas slāni, lai automātiski piešķirtu pareizas asis vārdu kā vektoru attēlojuma diagrammai?
- Kāds ir maksimālās apvienošanas mērķis CNN?
- Kā attēlu atpazīšanai tiek izmantots funkciju ieguves process konvolucionālajā neironu tīklā (CNN)?
- Vai mašīnmācīšanās modeļiem, kas darbojas TensorFlow.js, ir jāizmanto asinhronā mācīšanās funkcija?
- Kāds ir TensorFlow Keras Tokenizer API maksimālā vārdu skaita parametrs?
- Vai TensorFlow Keras Tokenizer API var izmantot, lai atrastu biežākos vārdus?
- Kas ir TOCO?
- Kāda ir saistība starp vairākiem mašīnmācīšanās modeļa laikmetiem un modeļa palaišanas prognozēšanas precizitāti?
- Vai paketes kaimiņu API TensorFlow neironu strukturētajā mācībā rada paplašinātu apmācības datu kopu, kuras pamatā ir dabiskie diagrammas dati?
- Kas ir paketes kaimiņu API TensorFlow neironu strukturētajā apmācībā?
Skatiet vairāk jautājumu un atbilžu EITC/AI/TFF TensorFlow Fundamentals