L. Carton

Forum Replies Created

Viewing 12 posts - 1 through 12 (of 12 total)
  • Author
    Posts
  • in reply to: Diefstal van Jose sensor #995

    L. Carton
    Keymaster

    Beste dhr Biemans,
    Dit is slecht nieuws. Ik neem vandaag, zo direct, telefonisch contact met je op over deze diefstal. Inderdaad een zaak om aangifte over te doen, ik wil daar ook aan bijdragen vanuit mijn rol als onderzoeksleider. Wat naar dat er apparatuur aan een woning wordt gemolesteerd en gestolen. Zeker een zaak voor de politie. We hebben contact hierover. Groet, Linda.


    L. Carton
    Keymaster

    == Vraag om uitleg downloaden sensordata en weergave in grafiek ==

    Piet,

    Stagiair Maxim Reinders neemt contact met je op, om een afspraak te maken. Hij kan je tonen hoe sensordata te downloaden, uit de Heron viewer, en deze meetwaarden in grafieken in de tijd uit te zetten m.b.v. Excel.
    Bij deze hebben jullie elkaars emailadres (afspraak kan bij je thuis of op de universiteit, communicatie gaat verder via de mail).

    Vriendelijke groet,

    Linda Carton.

    in reply to: Over tijd en waarnemingen #870

    L. Carton
    Keymaster

    Piet,

    Over de tijd aanduiding: Ik weet nog dat de ruwe data de uurwaarden in een ander tijdsysteem weergaf, met een uur verschil. Daar is voor gecorrigeerd in het ETL-proces. Het ijken van de klok en tijdstippen vergt kijken naar het ETL-proces dat de data verwerkt.

    De Whale viewer toont de huidige ruwe meetdata (“current values”) en niet de historische data. De Whale viewer is gemaakt voor technische doeleinden en zou oorspronkelijk niet gebruikt worden, maar uit oogpunt van transparantie en ook de ruwe data beschikbaar te stellen, is die ‘ruwe data viewer’ ook ingebracht als optie om te bekijken. De tijd die daar getoond wordt is wellicht de ‘timestamp’ zoals het sensorstation die doorgeeft, in de betreffende datum-tijd-weergave. In de Whale viewer wordt momenteel geen efforts gestoken om daarvan een geavanceerdere vieuwer/portal van te maken.
    De Smartapp kan inderdaad een vertraging vertonen in de weergave van data. De Whale viewer, die op de ruwe datastroom geplugd is (op de 1e server die de sensordata ontvangt), heeft dat niet.
    De historische data, die je kunt zien op de Heron viewer, wordt nu opgeslagen in de vorm van uurgemiddelden, mede om de hoeveelheid data en de benodigde groeiende server-ruimte binnen de perken te houden.
    Eventueel kunnen Just (Geonovum) en/of Robbert (CityGIS) hier een aanvullende reactie plaatsen?
    Just en Robbert, jullie hebben destijds naar de tijdsweergave gekeken, toen de API van CityGIS en het ETL proces van Just op elkaar werden afgestemd. Kunnen jullie de vraag van Piet beantwoorden over de tijdsynchronisatie tussen de Jose-sensor, de ruwe data (op de Whale viewer afgelezen door Piet) en de weergave op de SmartApp ?

    Ik heb even op Github gekeken in de code over de verwerkingsslagen in het ETL proces. Alhoewel ik geen programmeur ben en python niet kan lezen, denk ik op te kunnen maken dat de time-in-UTC wordt gehanteerd (referentie naar “current day and hour in UTC” in https://github.com/Geonovum/smartemission/blob/master/etl/rawsensorapi.py)

    Piet, hieronder een stukje over de open source code beschrijving van Just:

    Van: https://github.com/Geonovum/smartemission/blob/master/etl/rawsensorapi.py
    Code:
    1 # -*- coding: utf-8 -*-
    2 #
    3 # RawSensorInput: fetch raw values from CityGIS Raw Sensor REST API.
    4 #
    5 # Author:Just van den Broecke
    6
    7 import json
    8 import time
    9 from datetime import datetime, timedelta
    […]
    20 class RawSensorAPIInput(HttpInput):
    21 “””
    22 Raw Sensor REST API (CityGIS) Base Class to fetch observations for devices.
    23 “””
    […]
    542 def get_current_day_hour(self):
    543 # Get the current day and hour in UTC
    544 current_time = time.gmtime()
    545 current_day = int(time.strftime(‘%Y%m%d’, current_time))
    546 current_hour = int(time.strftime(‘%H’,current_time))
    547 return current_day, current_hour
    […]
    565 # Get the current day and hour in UTC
    566 current_day, current_hour = self.get_current_day_hour()
    […]
    593 # Create a data record for timeseries of current device/day/hour
    594 def format_data(self, data):
    595
    […]
    596 #
    597 # — Map this to
    598 # CREATE TABLE smartem_raw.timeseries (
    599 # gid serial,
    600 # unique_id character varying (16),
    601 # insert_time timestamp with time zone default current_timestamp,
    602 # device_id integer,
    603 # day integer,
    604 # hour integer,
    605 # data json,
    606 # complete boolean default false,
    607 # PRIMARY KEY (gid)
    608 # );
    —einde code—-
    Groet, Linda.


    L. Carton
    Keymaster

    Beste Piet,

    Laat ik aan één van de stagiaires van de GI-minor, Maxim, Rick, of Yori, vragen of 1 van hen bij jou langs wil gaan, en een afspraak met je maken. Ik hoop dat 1 van hen kan. Misschien kan Maxim, hij heeft zelf onlangs veel data gedownload via de Heron viewer, en van deze data met Excel tijdserie-grafieken gemaakt van een aantal sensoren. Ik spreek hem morgen. Ik snap de vraag overigens goed. Ik denk dat als iemand jou in een paar stappen voordoet hoe je historische data kunt downloaden van de Heronviewer, en hoe je dit in een ander programma kunt inladen om de data te analyseren en visualiseren, dat je daarmee op weg geholpen bent.

    Vriendelijke groet,
    Linda.


    L. Carton
    Keymaster

    Beste Piet Biemans,

    Dan zou het handig zijn om dat tegelijk voor een aantal mensen te organiseren. Een bijeenkomst waarbij mensen hun laptop meenemen.
    Ik kan me voorstellen dat een aantal mensen die bij het avondcollege Luchtkwaliteit aanwezig waren, hiervoor animo hebben. Als meer mensen zich zouden opgeven hiervoor, dan verzamelen we die mensen, die een “workshop sensor data downloaden en analyseren” willen meedoen. Ik ben bereid om hiervoor een keer bij u langs te komen, bijvoorbeeld aan het eind van de middag of een avond in december.
    Er zou dan wel wifi toegang moeten zijn. Ook is het handig als mensen Excel of een aanverwant spreadsheet-programma hebben, of Google Spreadsheet kunnen gebruiken. Dan doorlopen we samen de ‘workflow’ om uw eigen sensor-data te downloaden. En vervolgens in een grafiek te zetten. Als we dan met ongeveer 5 mensen zijn (ieder met eigen laptop), dan zouden we er een kleine ‘download, visualiseer en analyseer je sensor-data’ doe-bijeenkomst van kunnen maken. Ik zou bijvoorbeeld kunnen op donderdag 15 december 2016 in de namiddag of avond. Groet, Linda.

    in reply to: Print screen van de windrichtingen #823

    L. Carton
    Keymaster

    Ja, mooi! Uitzoomen naar nationaal schaalniveau en dan de KNMI current Wind Vectors aanzetten! Gemaakt door Just van den Broecke bij Geonovum.
    Doordat de sensordata in standaard format zijn opgeslagen, zijn deze goed te combineren met andere sensordata die in SOS-standaard of ander sensordata formaat als dataflow worden aangeboden via een zogenoemde Application Programming Interface.

    in reply to: Gratis toegang "Future green city" #821

    L. Carton
    Keymaster

    Mooi event, Future Green Cities.
    Dankje Frits.
    Brabant is heel goed bezig. Brabant heeft met Annemarie Spierings ook een hele actieve gedeputeerde op gebied van duurzame innovatie, groene en gezonde leefomgeving, landbouw toekomstgericht en met meerwaarde voor Brabantse burgers.
    Ik had er wel naartoe gewild, was ook benaderd, maar helaas geen tijd…
    Ik ben overigens groot fan van Louise Vet van het NIOO, die op 1 december een key-note geeft. Ik heb een aantal jaar geleden in Wageningen in haar gebouw een super inspirerende rondleiding van haar gekregen op zondagochtend. Het terugwinnen van fosfaten en andere nuttige stoffen uit de wc’s van het NIOO gebouw en de uitnodiging vooral ook een bijdrage in die wc’s achter te laten, zullen bezoekers aan het NIOO niet snel vergeten. Ik vond het gebouw dat Louise Vet daar gerealiseerd heeft in Wageningen echt een feest om in rond te wandelen, vooral met de mooie ‘basic materialen’ met glas en hout om je heen.

    Veel plezier op de Future Green City event in de Brabanthallen. Ik neem me voor om het volgens jaar bij te wonen, als het voor de 3e keer gehouden wordt. Wie weet, zijn er dan afstudeerders van mijn groep werkzaam bij groene-gevels-en-daken ondernemingen en groene gemeenten. Dit jaar zijn diverse studenten op klimaatneutrale steden, vergroening in de stad en duurzame gebiedsontwikkeling afgestudeerd. Studenten die in de richting van duurzame steden hun afstudeerproject zoeken, blijken ook daarna in deze sector werk te zoeken en te vinden. Zo ook oud-studenten tegengekomen op de Klimaattop. Dat doet me als docent deugd! Ook trots dat studenten hun opleiding bij ons volgen (opleiding Geografie, Planologie en Milieu, Radboud Universiteit) om vervolgens de wereld te willen verbeteren, en actuele vraagstukken aan te pakken.

    in reply to: Handleiding om sensor data te downloaden #462

    L. Carton
    Keymaster

    Hierbij de handleiding van Matthijs Kastelijns voor de Heronviewer, met illustraties, in bijgaand Word document.

    Attachments:
    You must be logged in to view attached files.

    L. Carton
    Keymaster

    Mooi Wil Jansen, ik hoop dat we langs een goed aantal sensoren kunnen fietsen op 17 september.
    Als mensen ook een scherm-met-wifi meenemen, zoals een smartphone of liefst tablet of laptop (vanwege groter scherm), dan kunnen we aansluitend, om half 6 in de Kazerne, in een meer informele setting bediscussiëren wat we op de viewers zien, wat de sensor nu registreert, en hoe we dit kunnen interpreteren. We zien de sensordata dan “live”, en kunnen dan als het goed is ook de historische data terugzien.

    in reply to: Behoefte aan indeling meetwaarden en de betekenis ervan. #425

    L. Carton
    Keymaster

    Beste Piet,

    De klasse-indeling van geluid in de viewers Heron en SmartApp voor het Smart Emission project, heb ik hieronder weergegeven, op basis van informatie van Peter van der Voorn. Met een toelichting en software code in bijgevoegd Word document, van Just van den Broecke (code en converter, gedocumenteerd op openbaar forum voor software code GitHub) en Peter van der Voorn (berekeningswijze).

    Audio:
    Legenda bij de geluidsniveaus, indeling in 5 niveaus op Viewers Heron en SmartApp:
    De geluidsniveaus zijn met 5 kleuren aangegeven op de Heron viewer.
    Niveau – dB(A) Range – voorbeeldgeluidsbron per niveau
    1. 20-35 dB(A) – Stil
    2. 35-50 dB(A) – Rustige woonwijk
    3. 50-65 dB(A) – Drukke woonwijk
    4. 65-80 dB(A) – Bij Spoor
    5. 80-90 dB(A) – Rockband

    Kleuren bij niveaus:
    – Niveau 1 is groen,
    – Niveau 2 is blauw,
    – Niveau 3 is geel,
    – Niveau 4 is oranje,
    – Niveau 5 is rood.

    Uitleg:
    De klassen zijn nu ingedeeld in 5 categorieën, op basis van het logaritmisch optellen van de waarden per frequentieband voor het
    verkrijgen van een totaalwaarde. Met berekening 10^(waarde/10), dat voor de waarden van alle frequenties uitrekenen, en bij elkaar tellen, daar de log van, en x10.

    De individuele frequentiebanden worden door de Jose-sensor geregistreerd, in deze eenheden:
    35 # S.AudioMinus5 Octave -5 in dB(A)
    36 # S.AudioMinus4 Octave -4 in dB(A)
    37 # S.AudioMinus3 Octave -3 in dB(A)
    38 # S.AudioMinus2 Octave -2 in dB(A)
    39 # S.AudioMinus1 Octave -1 in dB(A)
    40 # S.Audio0 Octave 0 in dB(A)
    41 # S.AudioPlus1 Octave +1 in dB(A)
    42 # S.AudioPlus2 Octave +2 in dB(A)
    43 # S.AudioPlus3 Octave +3 in dB(A)
    44 # S.AudioPlus4 Octave +4 in dB(A)
    45 # S.AudioPlus5 Octave +5 in dB(A)
    46 # S.AudioPlus6 Octave +6 in dB(A)
    47 # S.AudioPlus7 Octave +7 in dB(A)
    48 # S.AudioPlus8 Octave +8 in dB(A)
    49 # S.AudioPlus9 Octave +9 in dB(A)
    50 # S.AudioPlus10 Octave +10 in dB(A)

    Bovenstaande eenheden gaan over de Jose sensor data, het betreft gegevens van Intemo en CityGIS, gedocumenteerd door Just van den Broecke op GitHub forum over ETL processing van ruwe data naar refined data. Het GitHub software forum toont de verwerking van de ruwe data naar Open Data, via een script waarin ieder openbaar inzage heeft, gedocumenteerd op het Open software forum GitHub: https://github.com/Geonovum/smartemission
    Zie deze pagina’s op bovenstaand GitHub forum:
    https://github.com/Geonovum/smartemission
    > Smart Emission – burger-sensor-netwerk Nijmegen – specs, services, ETL en apps
    Zie onderaan de pagina de volgende documenten:
    – smartemission / etl / sensorconverters.py
    – smartemission / etl / sensordefs.py
    Deze verwerkingsslagen worden openbaar gepubliceerd en (via een software Forum waar het software en code betreft) gedeeld, met als filosofie om Open Data te genereren. Just van den Broecke werkt bij Geonovum als Open Source programmeur aan het maken en documenteren van de programmeercode van deze verwerkingsslagen, “ETL proces” genoemd.

    Deze verwerking in een zogenoemd ETL proces leidt, van de ruwe sensor data, tot een “totaalwaarde” van geluid, volgens een indeling in de volgende 5 categorieën:
    [0: vanaf 0 tot 20 dB(A), Jose sensor meet deze geluidsdruk niet] dB(A) waarde 20: vergelijkbaar met buitengeluid ‘fluister stil’
    [1: vanaf 20 tot 35 dB(A)] dB(A) waarde 35: vergelijkbaar met buitengeluid ‘rustige woonwijk in een stad’
    [2: vanaf 35 tot 50 dB(A)] dB(A) waarde 50: vergelijkbaar met buitengeluid ‘drukke woonwijk in een stad’
    [3: vanaf 50 tot 65 dB(A)] dB(A) waarde 65: vergelijkbaar met buitengeluid ‘wonen op korte afstand van het spoor’
    [4: vanaf 65 tot 80 dB(A)] dB(A) waarde 80: vergelijkbaar met buitengeluid ‘live optreden van een band aan het einde van het publieksdeel, praten is mogelijk’
    [5: vanaf 80 tot 90/95 dB(A)] dB(A) waarde 95: vergelijkbaar met buitengeluid ‘live optreden van een band midden op een plein, praten is onmogelijk’

    Op 1 maart is deze indeling gemaakt; we weten niet precies wat de sensoren opmerken, hoe ze meten (worden geluiden veraf ook opgemerkt, of alleen geluiden dichtbij?) en hoe we de informatie die uit de sensoren naar voren komt, kunnen en moeten interpreteren. Gegeven de complexiteit van geluid als fenomeen en tevens de manier om dat in kaart te brengen, zitten er ‘haken en ogen’ aan het gewoon ophangen van sensoren in de buitenruimte, soms heel dicht tegen de gevel aan.

    Of de bovenstaande verhouding van de registratie door de Jose-sensoren inderdaad vergelijkbaar is met de indeling van geluiden in de buitenruimte zoals die met nauwkeurige geluidmeetapparatuur wordt geregistreerd, dat is nog punt van onderzoek; hoe moeten en kunnen we de registraties van de Jose-sensor interpreteren?
    Het zou mooi zijn als we hiervoor met burgers collectief een data-interpretatie-experiment kunnen opzetten en uitvoeren!

    Ik heb ook van een andere burger vragen gekregen over deze geluidsindeling in 5 categorieën, na de Vierdaagse. Ik heb zelf gekeken op 22 juli om 23:30 uur, naar de verschillende sensorwaarden. Jose sensor nr 46 aan de Annastraat toonde bijvoorbeeld om 23:30 uur een meetwaarde van 39 dB(A), en dus ingedeeld als niveau 2 van 5. Je zou wellicht verwachten dat dat niveau hoger zou uitvallen, gezien de drukte bij de Annastraat. Ik hoop dat we met de historische data ook de meetwaarden terug kunnen zien over de dag (22 juli), met bijvoorbeeld de periode dat er in de buurt van sensor 46 een popconcert plaatsvond. De vraag is wat deze sensoren registreren van een popconcert verderop in de buitenruimte. Mogelijk wordt geluid van verder af niet als zodanig sterk geregistreerd, als een menselijk oor het ter plaatse zou waarnemen. Of de categorieën zijn zodanig afgesteld, dat meetwaarden zoals 39dB(A) die de sensor waarneemt, vergelijkbaar is met een voorbijkomende trein op naastgelegen spoor, en onze “vergelijkbaar met” vergelijkingsniveaus dus aangepast zouden moeten worden aan de gevoeligheid van de Jose sensor in de buitenruimte. Omdat het om nieuwe sensoren gaat, vindt die afstelling nu plaats in de buitenruimte waar ze momenteel hangen. Met de stad en de plaatsen waar de sensoren hangen, als het ware in een “urban laboratorium” in plaats van in een lab-ruimte ergens achteraf op het universiteitsterrein. Samen met burgers die meedoen om deze pilot uit te voeren.

    Toelichting: zie bijgevoegd Word document.

    Groet, Linda.

    Attachments:
    You must be logged in to view attached files.

    L. Carton
    Keymaster

    Catherina en Wim, dankje voor het opgeven. We zien elkaar dan op zaterdag 17 september. Goede zomer en tot in september!

    in reply to: Deelnemer wil graag de historie kunnen opvragen. #294

    L. Carton
    Keymaster

    Beiden, om te kunnen bekijken en om te kunnen downloaden.
    De deelneemster heeft aangegeven verminderd zicht te hebben, maar heeft meer mensen om zich heen die kunnen helpen om de
    informatie uit haar sensor te vertalen/begrijpen.
    Die mensen zouden voor haar een stuk data van haar sensor van een maand kunnen downloaden. Voor de Groenestraat zou het
    interessant zijn om de geluidsniveaus per dag te bekijken over de periode van een maand.
    En daarbij een overzicht te maken, bijvoorbeeld met verdeling in de tijd (maandgemiddelden per dagdeel, daarbij onderscheid makend
    in bijvoorbeeld uur-blokken ochtendspits, overdag, avondspits, late avond, nacht).

Viewing 12 posts - 1 through 12 (of 12 total)