En maskin som lyssnar (4 / 5 steg)

Steg 4: kod

Inledningsvis var jag planerar att använda en kombination av Chrome speech API och bearbetning för att köra enkla skissen som skulle ta i voice ingång och göra något visuellt med data. Efter peta runt med websocket på bearbetning och misslyckas med att få det att fungera, jag googlade runt och hittade denna p5.speech bibliotek. P5.js är en plattform som jag är ganska bekväm med (tack till detta delvis 100 dagar av P5.js projekt jag i höstas), plus det fungerar redan på webben, så det kan dra nytta av Chrome tal API.

Tal/ordigenkänning fungerar som magi. Sedan ville jag ta orden och gör en google image search med dem (som om datorn tar i voice input, och slår upp det på internet). Detta kan redan göras på en normal Google Bildsökning använda tal (resultatet skulle se ut som en typisk Google bilder sökresultat / klinkergolv), men kräver att användaren klicka på en knapp varje gång han/hon vill starta en sökning. Jag allvarligt ansåg omkonfigurering mitt system så att det finns en knapp på mikrofonen, men till slut beslutade att arbeta med koden jag redan har. Detta behövde jag försöker hitta ett sätt att göra datorn lyssnar kontinuerligt och arbetar med Google Custom Search API.

Jag tog hjälp av min ex-medarbetare vän, Kevin Ho, att hjälpa mig med detta. Den hela API, JSON, JQuery samtal var lite över mitt huvud. Han skrev en super nakna ben skiss som drar en bild baserat på tal ingång. Jag gör sedan lite tweaks för att göra frågetexten gå över bilden resultatet med något ogenomskinligt svart bakgrund.

Jag var tvungen att få min egen API-nyckel, vilket kan göras via Google utvecklarkonsolen. Detta API-nyckel används i SimpleSearch.js för att ta första bilden sökresultat från Google.