3D utskrift San Francisco kloakerna (2 / 12 steg)
Steg 2: Ren datamängder
Detta var en iterativ process och så småningom fick jag det sorterade men inte utan en massa timmar och huvudvärk.
Den viktigaste frågan med data är att:
(1) det var inte helt rena, vilket innebär att uppgifterna som rör inte matcha upp med alla noder. Det fanns några ID-strängar som var dubbleras, saknas och mycket mer. Det var mestadels bra, men det behövs algoritmisk vård.
(2) när jag monterade noderna, fanns det en massa små, isolerade sub nätverk i stället för en gigantisk nätverk av data. Jag började med cirka 30.000 datapunkter och "primära" nätverket var cirka 28.000 poäng. Jag slutade med alla sorters mini-nätverk av rör data: allt från 2-100 i storlek. 3d-tryck-objekt, dessa måste vara en enda, sammanhängande objekt, annars 3D tryck kommer att falla sönder.
Min parser kod gör sitt bästa att rensa data och kasta det jag inte behöver.
Jag skrev koden i Java, vilken inte är den mest effektiva motorn: det är både långsamt och kod-tung, men det är ett språk som jag känner väl är finns det många bra JSON bibliotek för det som Eson bibliotek.
Json-libs i OpenFrameworks — öppen C++ toolkit — skulle ha varit snabb, men kräver en hel del extra sammanställningen. Även när de kör, hamna de inte ger mig customizability som jag har i Javas data fältet exporten.
Python erbjuder bra tolkning verktyg, men inte en anständig nog UI. JavaScript är förmodligen den bästa lösningen, men jag vet inte miljön tillräckligt bra (ännu).