Grafisk figur Instructable visningar med Python skärmen skrapa (6 / 6 steg)

Steg 6: Anteckningar och kommentarer

• Läs filerna noggrant för mer information jag har lagt mycket kraft i dem. Detta gäller .py filerna urllist.txt filen och den .bat arkivera.

• Massor mer kan göras med grafritande och andra möjliga sätt att analysera data, om du gör något intressant (eller hitta en bugg) Låt mig veta.

• Programmen började som ganska enkla, men har utvecklats. Om det finns intresse jag kommer att leverera enklare, men mindre mångsidig versioner för nybörjare, låt mig veta.

• Du kanske vill köra filer utan att använda din utvecklingsmiljö. .Bat filer gör som på mitt system. Dessa vill jag köra från ett dubbelklick i en filhanterare eller en ikon på skrivbordet. Andra operativsystem har liknande, men du kommer att behöva räkna ut detaljer, om du vill publicera här som kommentarer.

• Det datum som används här är lite konstigt det använder ts = time.time() som är en timestamp: ögonblickar i tid uttryckt i sekunder sedan 12:00 am, den 1 januari 1970(epoch). Jag konvertera detta till dagar för grafritande. Konvertering till värden som ser ut som datum skulle vara en fin förstärkning.

• Instructable Visa räknas är lite udda. Jag har märkt att när jag kör olika webbläsare mot Instructables, även på samma gång, jag får lite olika antal visningar. Så kan du också räkningar hitta denna scrape_views.py kan ha något olika uppfattning än webbläsaren.

• Alla skärmen skrapor är ganska känsliga för formatet på webbsidan de skrapa. Om instructables ändras deras format kan det väl bryta programmet, vanligtvis men du kan vanligtvis tweak den tillbaka i form med mycket arbete.

• Anpassning för andra webbplatser: det mesta av detta görs i subrutinen: ( scrape_views.py ) parseit (en) som har bara 20 rader med körbar kod, detta bör vara en lätt omskrivning.

• Mitt Python är lite random, jag har fortfarande inte lärt mig/bestämt mig på vilka konventioner jag kommer att använda, detta kan orsaka en del förvirring. Jag har försökt att hålla sig till ganska enkel Python.

• Det finns en modul som kallas "Vacker soppa" som gör en massa web manipulation, titta på det för kraftfulla metoder, jag har fastnat på ett enklare sätt att skrapa.

• Det finns några idéer om förbättringar inbäddade i koden, läsa dem.

• Vill diagram ett annat sätt: det finns många alternativ här är en:

• Det har också några instructables runt detta ämne eller liknande. Du kan hitta dem av intresse: