Author Archives: zache

2300 kuvaa 30 päivässä

Turun Tuomiokirkon alue. (Kuvaaja: Zache, Lisenssi: Creative Commons BY-SA)

Suomen ensimmäinen Wiki Loves Monuments -valokuvauskilpailu on nyt päättynyt ja seuraavaksi tiedossa on kuvien arviointi.

Kilpailu oli käynnissä koko syyskuun ajan, ja Wikimedia Commonsiin lisättiin tänä aikana Suomesta yli 2000 kuvaa. Yhteensä kuvia ladattiin 2300, mutta näistä 100-200 oli järjestäjien ottamia kuvia, jotka eivät osallistu kilpailuun. Osallistujia puolestaan oli 90 ja näistä yli puolet oli sellaisia, jotka olivat luoneet tunnuksen kilpailun aikana.

Iloksemme voimme todeta, että kilpailuun ladattujen kuvien määrä on kansainvälisilläkin mittareilla erittäin hyvä, ylittäen odotuksemme. Myös kuvien laatu näyttää hyvältä! Kansainvälisissä tilastoissa pääsimme sijalle 19 yhteensä 52 osallistuneesta maasta, eli selvästi keskiarvon paremmalle puolelle.

Viisihenkinen tuomaristomme arvioi seuraavaksi kuvat. Kansallisen kilpailun voittajakuvat julkistetaan 31.10. Ja ne pääsevät mukaan kansainväliseen kilpaan. Odotamme jännityksellä millaiset kuvat lähtevät edustamaan Suomea maailmalle!

Tahdomme kiittää kaikkia kilpailuun osallistuneita arvokkaasta panoksesta. Toivomme, että jatkatte tulevaisuudessakin Wikimedian parissa. Nyt joudumme kaikki jännittämään voittajia, mutta jokainen Suomen mittaamattoman hienoa kulttuuriperintöä tallentanut on meidän silmissämme voittajia!

Wiki Loves Monuments in Finland

Police horses at Ruskeasuo. (@Zache, CC-BY-SA)

Hi, this is a shortened and updated version of our blog post in finnish about our first week of WLM where I explained some of the tech behind the lists.  Also most important things at the first. We have received over 1500 photos so far and they are magnificent. If you want to participate you can do it here.

So now about the tech.

Wikidata and SPARQL

In practice the whole system functions, one way or another, on top of Wikidata which we used to record information about the monuments. Then we created lists about them in Wikipedia by listing using SPARQL those subjects that have a National Board of Antiquities id OR are part of a Wikidata item that has one.

The records look like this:

The items are fetched from Wikidata using this SPARQL query:

 #Wiki Loves Monuments Finland
 SELECT ?item ?itemLabel ?rkyid ?mjid ?coord ?image
 WHERE
 {
 { ?item wdt:P361 ?rky . ?rky wdt:P4009 ?rkyid . }
 UNION
 { ?item wdt:P4009 ?rkyid . }
 UNION
 { ?item wdt:P4106 ?mjid. }
 UNION
 { ?item wdt:P361 ?mj . ?mj wdt:P4106 ?mjid . }
 OPTIONAL { ?item wdt:P625 ?coord }
 OPTIONAL { ?item wdt:P18 ?image }
 SERVICE wikibase:label { bd:serviceParam wikibase:language "fi". }
 }

You can try out the query here. Run the query by clicking the play button in the lower left hand side of the window. After the results are processed you can choose how the results are displayed from the menu above the results. “Map” and “Image grid” are useful for this query.

Wikipedia lists

The data moves to Wikipedia lists by having ListeriaBot save the lists once or twice a day. As far as Wikipedia is concerned the list is identical to Wikicode. It’s updated dynamically only in small parts. Here’s an example of a list. You can see the whole SPARQL query in the Wikicode. The row template used in the example is implemented by this module.

We have naturally encountered unforeseen problems because we’re doing this for the first time.

One of them is that although it’s possible to use Wikipedia modules for dynamic searches, either our lists were larger than Mediawiki allows or updating it took too long. In both cases Mediawiki left out parts of the page. As a temporary solution we had to save as much as we could pre-formatted. We also simplified our maps, and in case of Helsinki replaced them with links.

We also didn’t prepare for the fact that it isn’t enough to just add data to Wikidata. If you want to refer to the borders of the item on a map, then OpenStreetMap has to have knowledge its Wikidata id. Mostly it didn’t matter but it meant that we weren’t able to add rivers and roads to our Wikipedia maps and we need to do it in the future.

Mobile map

You can see the SPARQL query in the map interface by selecting SPARQL filter from the menu in the upper right hand corner of the map.

In addition to the lists we also used a separate mobile map that’s based Wikishootme. Wikishootme is a mobile map made by Magnus Manske using the Leaflet map library and OpenStreetMap. Items visible on the map are fetched using this SPARQL query. Links that lead to the map include the query as a url parameter.

Saving photos to Wikimedia Commons

Both Wikipedia lists and the mobile map save photos using Wikimedia Commons’ Upload Wizard Campaigns with suitable url parameters. We used these parameters: campaign, description, coordinates, Wikidata id and Wikimedia Commons categories. After the photo has been saved Wikidata id is used for matching it with the data from the National Board of Antiquities.

Next step the Monumental

When we checked our map options in June our options were Monumental and Wikishootme. We selected the latter because it worked nicely with mobile phones and we could add our own SPARQL queries.

WLM beta map (maps.wikilovesmonuments.org) is made on top of Monumental. It uses the P1435 values to get the items that have direct designations to the map. However, items that are part of those monuments aren’t currently included.

Links

Wiki Loves Monuments -kilpailun ensimmäinen viikko

Ensimmäinen viikko Wiki Loves Monuments -kilpailua on takana. Nyt on siten sopiva aika kirjoittaa toteutuksesta sekä miten tehdyt asiat ovat ensimmäisen viikon aikana toimineet. Tärkein aluksi mainittava asia on se, että kuvia on tähän mennessä saatu yli 300, ne ovat upeita ja kilpailuun voit osallistua tästä linkistä.

Wiki Loves Monuments on siis valokuvauskilpailu, jonka ideana on koota vapaasti käytettäviä valokuvia yhteiseen kuvapankkiin siten, että tarjotaan helppo ja houkutteleva väylä niiden tallentamiseen. Tämä on kuitenkin vain toinen puoli asiasta. Kuvaajalle näkymättömämpi puoli on se, että kilpailussa pyritään kirjaamaan kuvien yhteyteen myös täsmällisesti tieto siitä mitä kuvassa on.

Tämä tapahtuu Wiki Loves -kilpailuissa siten, että kuva tallennetaan valitsemalla kuvattu kohde listalta tai kartalta. Tehdyn valinnan perusteella kuvien yhteyteen tallennetaan kuvattavan asian tunniste sekä muita tietoja. Tunnisteet joita käytämme tässä kuvien sitomiseen kohteisiinsa ovat Wikidata, RKY ja muinaisjäännösrekisteri -tunnisteet.

Seuraavaksi siitä miten tämän toteutimme.

Wikidata ja SPARQL

Käytännössä koko systeemi toimii tavalla tai toisella Wikidatan päällä johon olemme tallentaneet tiedot kuvattavista kohteista. Tämän jälkeen loimme Wikipediaan luettelot kuvattavista kohteista siten, että listasimme SPARQL-kyselykielellä ne kohteet, joilla on joko RKY- tai muinaisjäännösrekisteritunniste TAI ne ovat tunnisteen sisältävien Wikidata-kohteiden osia.

Tallennetut tiedot ovat tämänkaltaisia:

Wikidatasta kohteet haetaan seuraavankaltaisella SPARQL-kyselyllä:

 #Wiki Loves Monuments Finland
 SELECT ?item ?itemLabel ?rkyid ?mjid ?coord ?image
 WHERE
 {
 { ?item wdt:P361 ?rky . ?rky wdt:P4009 ?rkyid . }
 UNION
 { ?item wdt:P4009 ?rkyid . }
 UNION
 { ?item wdt:P4106 ?mjid. }
 UNION
 { ?item wdt:P361 ?mj . ?mj wdt:P4106 ?mjid . }
 OPTIONAL { ?item wdt:P625 ?coord }
 OPTIONAL { ?item wdt:P18 ?image }
 SERVICE wikibase:label { bd:serviceParam wikibase:language "fi". }
 }

Voit kokeilla kyselyä linkistä https://tinyurl.com/wlm-fi-sparql1

Linkistä avautuvalla sivulla kysely ajetaan klikkaamalla vasemman alakulman “play”-kolmiota. Tuloksen tultua kolmion alapuolella olevasta hampurilaismenusta voi valita miten tulokset näytetään. Tulostusmuodoista myös “map” ja “image grid” ovat tälle haulle käyttökelpoisia.

Wikipedian luettelot

Wikipedian luetteloihin tiedot siirtyvät siten, että ListeriaBot tallentaa luettelot Wikipediaan kerran tai kaksi päivässä. Wikipedian kannalta luettelo on siis samanlaista wikikoodia kuin mitä ihmiset kirjoittavat eikä luettelo päivity dynaamisesti kuin pieneltä osin.

Tässä on esimerkki luettelosta. Sivun wikikoodista näkee koko SPARQL-kyselyn. Esimerkissä käytetyn rivi-mallineen tulostuksen toteuttaa tämä moduuli.

Mobiilikartta

Karttakäyttöliittymässä kohteet hakevan SPARQL-kyselyn näkee  kun valitsee kartan oikeassa yläkulmassa olevasta hampurilaismenusta kohdan SPARQL-suodatin. Kartta saa sen kartalle johtavan linkin mukana.

Luetteloiden lisäksi meillä on käytössä erillinen Wikishootme-sivusta muokattu mobiilikartta. Teknisesti tämä on Leaflet-karttakirjastoa ja OpenStreetMap-karttaa käyttävä karttasivu. Kartalla näkyvät kohteet haetaan tällä SPARQL-kyselyllä.

Commons-tallennus

Sekä Wikipedian luettelot, että mobiilikartta tallentavat kuvan siten, että ne avaavat Wikimedia Commonsin  tallennuskampanjan sopivilla url-parametreilla. Välitettävät parametrit ovat käytetty kampanja, kuvausteksti, koordinaatit, Wikidata-tunniste ja Commonsin luokat. Tallennuksen jälkeen Wikidata-tunnistetta käytetään siihen, että sen avulla haetaan kuvan tietoihin RKY- tai muinaisjäännösrekisteritunnisteet.

Mikä ei mennyt kuin Strömsössä?

Koska teemme tätä ensimmäistä kertaa, niin vastaan tuli luonnollisesti myös odottamattomia asioita.

Yksi sellainen oli, että vaikka Wikipedian moduulien avulla on mahdollista hakea asioita dynaamisesti, niin joko luetteloiden koko kasvoi yli mediawikin kokorajoituksen tai sitten sen päivittämiseen kului järjestelmältä liikaa aikaa. Kummassakin tapauksessa mediawiki jätti osan sivusta näyttämättä.

Tämän seurauksena väliaikaisratkaisuna tallensimme mahdollisimman suuren osan sisällöstä valmiiksi muotoiltuna ja jouduimme yksinkertaistamaan karttoja tai Helsingin tapauksessa jättämällä karttojen tilalle pelkät linkit.

Toinen seikka mihin emme olleet varautuneet oli se, että tiedon lisääminen Wikidataan ei pelkästään riitä vaan jos kohteiden rajoihin halutaan viitata kartalla, niin myös OpenStreetMap:ssa pitää olla tieto viitatun kohteen Wikidata-tunnisteesta. (Esimerkki: Seminaarinmäen rakennukset -kartta ja rakennus OpenStreetMap:ssa)

Suurimmassa osassa kuvauskohteista tällä ei ollut väliä, mutta OpenStreetMapissa olevia tunnisteita oltaisiin tarvittu silloin kun oltaisiin haluttu näyttää kuvauskohteena olevia teitä ja jokia. Siten näiden tunnisteiden kirjaaminen OSM-kartalle on vielä edessä.

Linkkejä

 

Wikimedia Hackathon 2017

Kuvaaja: Shrini, lisenssi: CC BY 2.0

Kirjoittelen tähän muistiinpanoja viikonloppuna pidetystä Wikimedia Foundationin Wienin hackathonista. Tapahtuma oli Wikimedia Foundationin vuosittainen Keski-Euroopaassa pidettävä tekniikkatapaaminen. Tänä vuonna tapahtumaan osallistui noin 260 henkilöä. Näistä kolmannes oli säätiöllä töissä, 27% eri paikallisyhdistysten kautta tulleita ja 40% muita. Yleensä näissä tekniikkatapaamisissa on ollut jokin, jos ei ohjelmaan kirjoitettu, niin ainakin havaittavissa oleva teema jota on edistetty.

Tänä vuonna teema oli tekniikan sijaan mentoroinnin kokeileminen. Tässä eri aihealueisiin perehtyneet henkilöt saivat seuraansa muutaman aiheesta kiinnostuneen ja he opastivat viikonloppuna ajan näitä aiheeseen liittyen ja antoivat konkreettisia tehtäviä. Samalla mentorit tutustuttivat henkilöitä muihin pitkään kehittäjinä olleisiin henkilöihin. Mentoroitavat puolestaan tuntuivat olevan teknisesti taitavia ja osa myös kokeneita wikipedistejä, mutta ensikertaa käymässä Wikimedian tapahtumassa.

Kuvaaja Claudia.Garad, Lisenssi CC BY-SA 4.0

Mentoroitavien tekemät asiat liittyivät vaikkapa muutoksen tekemiseen Mediawikin koodissa, tämän muutoksen viemisen edelleen versionhallintaan ja sieltä käyttöön. Tällöin opeteltavia asioita olivat käytetty tikettijärjestelmä, versionhallinta ja kyseessä olevan ohjelmiston kehitykseen kuuluvat toimintatavat. Samassa huoneessa minun kanssani yöpyi kaksi henkilöä, joista ensimmäinen oli ukrainalainen ohjelmistokehittäjä. Hän mentoroitavana osallistui projektiin, jossa välitettiin pikaviestimellä kirjoitettu viesti Wikipedian sivulle.

Toinen puolestaan oli mentorina projektissa, joka kehitti lisäosaa Wikipedian uutiskirjeiden hallinnointiin. Tällä hetkellä uutiskirjeet välitetään bottien avulla normaaleina muokkauksina. Lisäosassa puolestaan käyttäjä saisi vain ilmoituksen uuden uutiskirjeen ilmestymisestä ja pystyisi lisäosalla hallinnoimaan tilauksiaan.

Itse pidin Wikipediassa nimimerkillä Nemo bis muokkaavan käyttäjän kanssa merkityt versiot -lisäosaa koskevan keskustelutilaisuuden, jossa pohdittiin lisäosan ongelmia eri wikeissä ja ratkaisuja niihin. Yksi ehdotetuista ratkaisuista oli, että pitkiä arviointiviiveitä voitaisiin yrittää lyhentää hyväksymällä automaattisesti ORES-järjestelmän hyviksi pisteyttämiä muokkauksia. ORES on siis säätiön koneoppimiseen perustuva palvelu josta voidaan pyytää numeerisia arvioita muokkauksen tai artikkelin laadusta. Kokeilin tätä myös käytännössä suomenkielisessä Wikipediassa toimivalla SeulojaBot:lla ja lukuunottamatta spämmilinkkien lisäämisen tunnistamista se tuntui toimivan. Lisäksi esittelin kulttuurillisen metadatan jalostukseen käytettävää GLAMPipe-työkalua. Kolmas tekemäni asia liittyi ProveIt-pienoisohjelmaan, jolla visuaalisen muokkaimen tavoin voi muokata viitteitä lomakemuotoisena. Nyt suomenkielisen Wikipedian pienoisohjelmissa on testattavana siitä versio, joka tukee verkkoviitteiden automaattista täydennystä.

Ehkä mielenkiintoisin vastaan tullut projekti oli pienoisohjelma, jolla voi piirtää Commonsissa karttoja. Tämä tuntui toimivan niin hyvin, että toivon sen päätyvän Commonsin vakio-ominaisuudeksi. Toinen asia josta en ollut tiennyt oli Wikidatan dokumentointiprojektin yhteydessä löytämäni ohje, siitä miten Wikidatan SPARQL-rajapinta tukee nykyään myös federoituja, toisille palvelimille välitettyjä, kyselyitä. Ohje on aika minimaalinen eikä tullut tilaisuuden aikana laajennetuksi.

Hackathonin lopuksi osallistujat saivat kertoa mitä olivat tehneet. Esitellyt projektit löytyvät täältä.

— Zache / Kimmo Virtanen

Kutsu Wikimedia Suomen kevätkokoukseen

Wikimedia Suomi ry:n kevätkokous pidetään maanantaina 30.5.2016 klo. 18.00 Open Knowledge Finlandin toimistossa, osoitteessa Caloniuksenkatu 9 D 64, 00100 Helsinki. Tilaisuuteen voi osallistua myös etäyhteydellä. Tässä linkki Hangout-etäosallistumiseen: https://hangouts.google.com/hangouts/_/pvezv4ckchpwvetu6yhxxucn2ea

Sääntömääräisen kokousohjelman lisäksi esitetään yhdistyksen hallituksen laajentamista. Hallitus esittää uudeksi hallituksen jäseneksi Maija Ekosaarta. Jos sinulla on kokoukseen liittyen jotain kysyttävää, voit laittaa sähköpostia puheenjohtajalle (heikki.kastemaa AT saunalahti.fi).

Kokouksen jälkeen keskustellaan aiheesta maisemanvapaus eli Freedom of Panorama. Tarkoituksena on saada selvitys Ruotsin Wikimedian suhtautumisesta ja tilanteesta julkisten taideteosten kuvien julkaisemisessa.

Ja sen jälkeen jatkoille voi osallistua myös jossain läheisessä kuppilassa Open Knowledge Finlandin samanaikaisesti pidettävän vuosikokouksen osallistujien kanssa.

1. Kokouksen avaus.
2. Valitaan kokouksen puheenjohtaja, sihteeri, kaksi pöytäkirjantarkastajaa ja tarvittaessa kaksi ääntenlaskijaa.
3. Todetaan kokouksen laillisuus ja päätösvaltaisuus.
4. Hyväksytään kokouksen työjärjestys.
5. Esitetään tilinpäätös ja toiminnantarkastajien/tilintarkastajien lausunto.
6. Päätetään tilinpäätöksen vahvistamisesta ja vastuuvapauden myöntämisestä hallitukselle ja muille vastuuvelvollisille.
7. Päätetään hallituksen täydentämisestä.
8. Käsitellään muut mahdolliset asiat.
9. Päätetään kokous.

Tervetuloa ja tapaamisiin!
Heikki Kastemaa,
puheenjohtaja, Wikimedia Suomi ry
puh. 050 356 3827

Wikiresearch-työpaja

Niklas kertoo tulevasta käännöstyöpajasta.

Niklas kertoo tulevasta käännöstyöpajasta.

Olen käymässä  Wikimaniassa ja osallistuin eilen Wiki Research Hackaton -työpajaan jonka sisältönä oli esitellä analysointityökaluja joilla voi tutkia Wikipedian sisältöä. Esitellyistä työkaluista varsinkin Quarry oli hyvin mielenkiintoinen, koska se madaltaa raakaan tietokantadataan pääsyn osaamiskynnystä oleellisesti.

Ensimmäinen puhuja oli EpochFail eli Aaron Halfaker. Halfaker on tunnettu Wikipedian käyttäjämäärien kehittymistä koskevista tutkimuksistaan. Työpajassa hän esitteli millaisilla työkaluilla hän analysoi Wikipediaa. Käytännössä miten voidaan käsitellä 50GB+ kokoisia Wikipedian dumppeja. Linkit hänen käyttämiinsä työkaluihin löytyvät täältä.

YuviPanda kertoo Quarry-työkalusta

YuviPanda kertoo Quarry-työkalusta

Toisena YuviPanda kertoi Quarry nimisestä työkalusta jolla voi tehdä selaimesta käsin SQL-hakuja Wikimedia Foundationin tietokantoihin. Teknisesti www-lomakkeelle kirjoitetut SQL-komennot ajetaan Wikimedia Labsissa ja lomake palauttaa tuloksen html tai csv-muodossa. Työkalulla pystyy tekemään samat asiat kuin sielläkin eli tietokantojen väliset liitokset ovat mahdollisia. Rajoituksina kyselyissä on 10 minuutin aikaraja sekä text-taulun puuttuminen. Lisäksi käyttöön tarvitaan käyttäjätunnus johonkin Wikimedia Foundationin Wikiin.

Alla muutamia esimerkkejä hauista

Aaron Halfake pistää videoyhteyden asetukset kuntoon Contropedian esittelijän aloittaessa

Aaron Halfaker pistää videoyhteyden asetukset kuntoon Contropedian esittelijän aloittaessa

Kolmantena esiteltiin Contropedia (demo), joka visualisoi Wikipediassa tapahtuvia kiistoja. Työkalu kehitettiin osana tutkimusta jossa seurattiin ilmastonmuutokseen liittyvää keskustelua.

Esitykset löytyvät videoituna täältä ja alla on suorat linkit videon sisällä eri henkilöiden esityksiin.

Kimmo Virtanen aka Zache