Ho acquistato il Rasperry Pi Model 4B 8GB, ovviamente kit completo... 🙊
Cosa vuoi farci?
Bhè ho avuto giusto un paio di idee:
- Abilitato VNC per potermi collegare e navigare l'interfaccia grafica. caso mai servisse
- Abilitato SSH
- Installato Docker
- "Installato" portainer per gestire al meglio la mia installazione docker
- Follia 1 : "installato" Docker Registry e Jenkins come container
- Completa follia 2: ho aggiunto anche Apache Openwhisk
Prossimi passi?
Devo ancora studiarmi un modo per portare i miei progetti personali che scrivo in Golang sul docker installato sul raspy. Per questo ho installato il registry e jenkins, mi sembrano solo molto complicati per una cosa così "easy".
Staremo a vedere
Come ho costruito un database SQLite parsificando i dati dei pokemon disponibili sulle guide online
Partendo dall'esperienza del precedente articolo ( che vi riporto ) possiamo decidere di concentrarci su alcune pagine specifiche che contengono i dati che ci interessano.
In particolare voglio :
In particolare voglio :
- la lista completa dei pokemon di prima generazione
- la lista delle mn e di quali pokemon possono impararle
1. lista pokemon
Per estrarre la lista dei pokemon e crearne un json potete fare riferimento al precedente post.
Ne otterremo un json che potete trovare a questo indirizzo : github.com/pokedex_list.json
Ne otterremo un json che potete trovare a questo indirizzo : github.com/pokedex_list.json
2. mn e quali pokemon possono impararle
In modo del tutto simile al primo ho estratto i dati dalle pagine html della wiki di pokemoncentral. Per fare un esempio dalla pagina relativa al MN Taglio ( https://wiki.pokemoncentral.it/Taglio ) potete estrarre le informazioni necessarie con il seguente script:
In modo del tutto simile al primo ho estratto i dati dalle pagine html della wiki di pokemoncentral. Per fare un esempio dalla pagina relativa al MN Taglio ( https://wiki.pokemoncentral.it/Taglio ) potete estrarre le informazioni necessarie con il seguente script:
function getPkList(tbl, array){$(tbl).find('tr').each(function (i) { //loop on each tr in table// SKIP HEADERif(i===0) return;//CREATE POKEMON OBJECTvar poke = {};var $tds = $(this).find('td'); //get all td tagspoke.strid = $tds.eq(1).text(); //access first td and get text contentpoke.strid = poke.strid.replace('#','');poke.id = parseInt(poke.strid, 10);poke.imageUrl = $tds.eq(2).find('img')[0].getAttribute('src'); //access second td and get src attribute of the img tagpoke.name = $tds.eq(3).find('a')[0].text;poke.type1 = $tds.eq(4)[0].innerText;if($tds.eq(5)[0])poke.type2 = $tds.eq(5)[0].innerText;array.push(poke); //save object to the array});}
Il codice completo lo potete trovare a questo indirizzo: https://github.com/mcmaur/MyPokedex/blob/master/data/parser/parse_mn_list.js
Probabilmente dovrete adattarlo un poco a secondo della struttura delle altre pagine delle MN.
Una volta che lo avete eseguito su ogni MN vi troverete questo json:
https://github.com/mcmaur/MyPokedex/blob/master/data/MN_list.json
Struttura del database
Cosa facciamo di questi due json? Bhè a sto punto studiamo una configurazione del database più adatta ai nostri dati e li importiamo.Risulta piuttosto evidente che il cuore è il POKEMON. Ogni pokemon ha 1 o 2 TIPI.
Ci sono 5 MN e per ognuna c'è una lista di pokemon compatibili. Per questo motivo il database avrà questa struttura:
Import dei dati in database
Nell'ambito della sperimentazione ho voluto provare Node.js .
Il codice contenuto nell'app.js fai i seguenti passaggi:
Il codice contenuto nell'app.js fai i seguenti passaggi:
- crea le tabelle del database
db.prepare(`CREATE TABLE IF NOT EXISTS \`types\` (\`id\` INT NOT NULL, \`name\` VARCHAR(100) NOT NULL,PRIMARY KEY (\`id\`));`).run();
- leggo il json e ciclo su ogni valore
let pokelist = JSON.parse(fs.readFileSync('./data/pokedex_list.json', 'utf8'));for (let index in pokelist) {
- verifico se il tipo è già presente altrimenti l'aggiungo
let t1 = -1, t2 = -1;for (let i in types) {if(pokelist[index].type1 === types[i]) t1 = i;if(pokelist[index].type2 === types[i]) t2 = i;}if(t1 === -1) t1 = (types.push(pokelist[index].type1))-1;if(pokelist[index].type2 !== undefined && t2 === -1) t2 = (types.push(pokelist[index].type2))-1;
- inserisco il pokemon nel database
const stmt = db.prepare('INSERT INTO pokemon(id, imageurl, name, type1, type2) VALUES(?, ?, ?, ?, ?)');
let info;
if(t2 === -1)
info = stmt.run(pokelist[index].id, pokelist[index].imageUrl, pokelist[index].name, t1, null);
- al termine del ciclo su tutti i pokemon salvo i tipi che avevo temporaneamente tenuto in un array
for (var i in types) {
const info = db.prepare('INSERT INTO types(id, name) VALUES(?, ?)').run(i, types[i]);
Adesso invece leggiamo i dati delle MN e importiamo anche quelli in maniera molto simile
let mnlist = JSON.parse(fs.readFileSync('./data/MN_list.json', 'utf8'));
mnlist = mnlist['MN'];
for (let key in mnlist) {
console.log("Id " + mnlist[key].id +': '+mnlist[key].name+'| '+mnlist[key].pokes);
const stmt = db.prepare('INSERT INTO mn(id, name) VALUES(?, ?)');
let info = stmt.run(mnlist[key].id, mnlist[key].name);
console.log("insert MN: "+info.changes);
let compatible_pokemons = mnlist[key].pokes;
for (let k in compatible_pokemons) {
const stmt = db.prepare('INSERT INTO mn_pokemon(mn_id, pokemon_id) VALUES(?, ?)');
let info = stmt.run(mnlist[key].id, compatible_pokemons[k]);
console.log("insert MN-POKEMON: "+info.changes);
}
}
FINITO: il codice completo lo potete trovare a questo indirizzo: https://github.com/mcmaur/MyPokedex/blob/master/app.js
Database scaricabile
Al termine avrete un database sqlite con tutti i dati. Il mio è disponibile a questo indirizzo: https://github.com/mcmaur/MyPokedex/blob/master/pokebase.db
Volete sapere qual'è il pokemon che può imparare più MN di tutti?
Facile! Eseguite la seguente query :
Volete sapere qual'è il pokemon che può imparare più MN di tutti?
Facile! Eseguite la seguente query :
select p.id, p.name, count(m.id) as mnlearnable -- , p.name, m.name-- select *from pokemon p join mn_pokemon mnp on p.id = mnp.pokemon_idleft join mn m on mnp.mn_id = m.idgroup by p.id order by mnlearnable desc
ed otterrete questi risultati:
Have Fun!
Quante volte avete pensato "perchè non c'è un API"?
Allora siete come me. Strani!
Quindi oggi vediamo come tirare fuori i dati da una pagina HTML.
Basta conoscere un poco di HTML, CSS e JQUERY.
La mia intenzione è di prendere i dati dei pokemon della prima generazione per farne un JSON. La pagina web che consulto in questo caso è questa:https://wiki.pokemoncentral.it/Elenco_Pokemon_secondo_il_Pokedex_di_Kanto
Quindi analizziamo un poco la pagina. Direi che si nota subito che ci sono 3 tabelle che contengono i dati che ci interessano.
Lavoriamo sulla prima per poter estendere con facilità il concetto alle altre visto che sono uguali.
Come tutte le tabelle la struttura è la seguente:
- table
- tr
- td
Selezioniamo in primis la tabella:
var table = $("table")[0];Impostiamo un loop per entrare in ogni singola riga:
$(tbl).find('tr').each(function (i) {Cerchiamo le colonne:
var $tds = $(this).find('td');Quindi estraiamo il dato della prima colonna:
poke.strid = $tds.eq(1).text();
Capito il meccanismo potete benissimo farlo per ogni colonna facilmente. La cosa più facile per un utilizzo successivo è quello di creare un oggetto per salvare i dati.Quello che ne risulta è il seguente:
function getPkList(tbl, array){
$(tbl).find('tr').each(function (i) {
// SKIP HEADER
if(i===0) return;
//CREATE POKEMON OBJECT
var poke = new Object();
var $tds = $(this).find('td');
poke.strid = $tds.eq(1).text();
poke.strid = poke.strid.replace('#','');
poke.id = parseInt(poke.strid, 10);
poke.imageUrl = $tds.eq(2).find('img')[0].getAttribute('src');
poke.name = $tds.eq(3).find('a')[0].text;
poke.type1 = $tds.eq(4)[0].innerText;
if($tds.eq(5)[0])
poke.type2 = $tds.eq(5)[0].innerText;
array.push(poke);
});
}
Quindi avendo una funzione ci basta prepare le strutture dati necessarie e chiamare la funziona sulla tabella che ci serve:
var pokes = [];
var tables = $("table");
getPkList(tables[0], pokes);
getPkList(tables[1], pokes);
getPkList(tables[2], pokes);
var json = JSON.stringify(pokes);
console.log(json);
Ora abbiamo scritto un codice javascript che dobbiamo solo eseguire nella console di sviluppo del browser con la pagina html aperta. Il codice completo lo potete trovare a questo indirizzo: https://github.com/mcmaur/MyPokedex/blob/master/data/parser/crawl_pokedex_list.js
Quello che otterremmo è un json così:
Il file completo è qui: https://github.com/mcmaur/MyPokedex/blob/master/data/pokedex_list.json
Oggi si è tenuto il Google I/O: la conferenza annuale in cui big G presenta i nuovi prodotti e le nuove funzionalità dei loro servizi.
Saltiamo i preamboli, quali sono questi tre annunci?
1.Smart Action Suggestion for Google Photo
L'app Photo vi proporrà delle azioni a secondo del contesto della foto. Per esempio condividere la foto con la persona che compare nella foto insieme a voi, oppure colorare una vecchia foto in bianco e nero. Una di queste azioni l'abbiamo tutti fatta spesso ma ora è più facile: convertire una foto in un documento. Google riconoscerà che è un documento e creerà automaticamente per voi un documento pdf.
2.AR Indication in Google Maps
Nelle foto vedete il tempo esatto per poterle rivedere da video live disponibile a questo indirizzo: https://www.youtube.com/watch?v=ogfYd705cRs
Saltiamo i preamboli, quali sono questi tre annunci?
1.Smart Action Suggestion for Google Photo
L'app Photo vi proporrà delle azioni a secondo del contesto della foto. Per esempio condividere la foto con la persona che compare nella foto insieme a voi, oppure colorare una vecchia foto in bianco e nero. Una di queste azioni l'abbiamo tutti fatta spesso ma ora è più facile: convertire una foto in un documento. Google riconoscerà che è un documento e creerà automaticamente per voi un documento pdf.
Per semplificarvi la vita come non mai, invece di cercare di capire il nome della strada dalle targhe sempre troppo distanti da voi, Google ha inserito la possibilità di visualizzare le indicazione per il vostro tragitto sovrapposte alle immagini provenienti dalla vostra camera. Il risultato è incredibilmente semplice ed efficace.
3.Automatic Appointment Assistant
Questa la prevedo difficile da spiegare. Praticamente quando voi chiederete al vostro Assistente Google di prenotarvi un appuntamento dal vostro parrucchiere di fiducia in un giorno preciso in una fascia di orario (es. mercoledi dalle 10 alle 12) i servizi di Google si attiveranno e faranno una chiamata al negozio e concorderanno l'appuntamento con la proprietaria. Facile no? Se non fosse che dietro non c'è un call center ma un assistente virtuale robotico (lo stesso del vostro google assistant) che parlerà in maniera naturale ma soprattutto dovrà capire le risposte dell'interlocutore con l'obiettivo di concordare una data ed ora che soddisfi sia le vostre necesssità che quelle del negoziante.
Quest'ultima funzionalità è incredibile, fa impressione scoprire i passi da gigante che hanno fatto il machine learning, il cloud natural processing ed il cloud to speech. Guardate il video su youtube: https://youtu.be/D5VN56jQMWM
Quest'ultima funzionalità è incredibile, fa impressione scoprire i passi da gigante che hanno fatto il machine learning, il cloud natural processing ed il cloud to speech. Guardate il video su youtube: https://youtu.be/D5VN56jQMWM
Nelle foto vedete il tempo esatto per poterle rivedere da video live disponibile a questo indirizzo: https://www.youtube.com/watch?v=ogfYd705cRs
Ma tu lo conosci Kotlin? Vieni a scoprire il linguaggio ad oggetti progettato da JetBrains con due workshop esclusivi organizzati dal GDG Torino!Che tu voglia sviluppare su Android al meglio o scoprire le potenzialità di questo nuovo linguaggio in un contesto inedito, questo è l’evento per te!
Due talk con due speaker d'eccezione: Mercoledì 4 aprile alle 18:30, presso la sede di Leva Engineering in Via Vincenzo Gioberti 18, prenderanno la parola Roberto Orgiu, GDE esperto di sviluppo Android e Roberto Franchini, CTO di Arcade.
https://www.meetup.com/it-IT/GDG-Torino/events/248799142/?eventId=248799142
LIVE ACTION:
Roberto Franchini:
LIVE ACTION:
- extension function
- inline
- reified
- destructuring declarations
- dataclass
- component
- operator
- apply, let, with, run
Roberto Franchini:
- live coding session handling twitter stream & save on OrientDB
Sabato 24 marzo 2018 si terrà a Torino MERGE-it, prima esperienza di raduno nazionale tra le
diverse associazioni e community italiane che operano nel vasto e sfaccetato ambito delle
libertà digitali/ Un incontro inter-discitplinare per conoscere e far conoscere, scoprire,
approfondire e discutere su contenuti, strumenti, aspetti tecnici ed implicazioni culturali/
L’iniziatva coinvolge GFOSS.it, Industria Italiana Software Libero, Italian Linux Society,
LibreItalia, Mozilla Italia, Ninux.org, OpenStreetMap Italia, Spaghetti Open Data, Wikimedia
Italia e Ubuntu-IT, ed è rivolta soprattuto a coloro che hanno interessi trasversali tra software
libero, open data e cultura condivisa e vogliono cogliere l’occasione per atptprofondirli tutti
insieme.
Il programma si articola in otto sessioni parallele e tematiche dalle ore 10:00 alle 18:00.