Ig Nobel-palkintojen Bibliometrinen analyysi

yleiskatsaus

Ig Nobel-palkinnot jaetaan vuosittain Harvardin yliopistossa Annals of Improbable Researchin järjestämässä tilaisuudessa. Palkintojen tarkoituksena on ” juhlia epätavallisia, kunnioittaa mielikuvituksellisia-ja kannustaa ihmisiä kiinnostumaan tieteestä, lääketieteestä ja teknologiasta.”(http://www.improbable.com/ig/) Ig Nobel-palkintojen keskeinen teema on kunnioittaa saavutuksia, jotka ”ensin saavat ihmiset nauramaan, sitten saavat heidät ajattelemaan” (M. Abrahams, 2002. Ig Nobel Awards: The Annals of Improbable Research. Orion, Lontoo). Vuosina 1991-2015 on jaettu yli 250 Ig Nobel-palkintoa yli 600 saajalle.

IG: n Nobel-palkinnot nimenomaan leikittelevät käsityksille tieteen ja tiedemiesten hulluudesta ja luovat näin tehdessään paljon huvitusta. Ig Nobel-palkinto on kuitenkin yksi niistä tavoista, joiden avulla tiedeyhteisö voi löytää luovia ja viihdyttäviä tapoja edistää kiinnostusta ja opetusta tieteestä sekä selittää, miten Hassu uteliaisuuttaan ohjaava tutkimus voi itse asiassa olla oivaltavaa ja hyödyllistä.

tämä projekti sisältää työtä, joka ei ainoastaan luotaa Ig Nobel-palkittujen ominaisuuksia, vaan myös tutkii, mitä voidaan havaita palkituista aiheista ja kirjailijoista, niiden taustalla olevista ”vakavista” tutkimustarkoituksista sekä niiden vaikutuksista apurahoihin, tutkimuksen tukijoihin ja laajempaan yleisöön.

osallistujia

  • Philip Shapira (Manchesterin yliopisto; Georgia Institute of Technology)
  • Jan Youtie (Georgia Institute of Technology)
  • Seokkyun Woo (Georgia Institute of Technology)
  • Yin Li (Georgia Institute of Technology)
  • Sergey Kolesnikov (Arizona State University)
  • Gennady Beljakov (University of Manchester)
  • Samira Ranaei (Lappeenrannan teknillinen yliopisto)
  • David hu (Georgia Institute of Technology)
  • Marc Abrahams (Ig Nobel Awards, Annals of improbable Research)
  • Abdullah Gök (University of Manchester)
  • Chao Li (Manchesterin yliopisto)
  • Yanchao Li (Manchesterin yliopisto)
  • Fatemah Salehi (Manchesterin yliopisto)
  • Milana Shapira

Valkoiset kirjat

  • IG Nobels – kuka voittaa mitä ja miksi? (Shapira, Gök, Chao Li, Beljakov, Salehi, Woo, Kolesnikov, Yanchao Li, Youtie).
  • Edistääkö Huumori Tiedettä? Evidence from Ig Nobel Prizes (Woo, Yin Li)
  • Topic analysis of Ig Nobel prizations (Ranaei)
  • Pride or Prejudice: How Research Organizations respect to Recipiency of Ig Nobel prize? (Beljakov, Kolesnikov)

White Paper Summaries

The IG Nobels-kuka voittaa mitä ja miksi? (Shapira, Gök, Chao Li, Beljakov, Salehi, Woo, Kolesnikov, Yanchao Li, Youtie).

Ig Nobel-palkinto ” kunnioittaa eksentrisesti innovatiivisia mieliä ja heidän ainutlaatuisia pyrkimyksiään tieteissä, taiteissa ja humanistisissa tieteissä.”(Abrahams, 2006). Ig Nobel-palkinnot on jaettu vuosittain vuodesta 1991 lähtien Nobel-palkintojen saajien toimesta Harvardin yliopiston tilaisuudessa, jonka järjestää Annals of Improbable Research. Ig: n Nobel-palkinnon saajien kunniaksi laaditaan joka vuosi eklektinen sekoitus laudaatioita, muun muassa siitä, miten mitataan purukumin eri makujen pureskelusta johtuvia aivoaaltoja (biologia, 1997), miten vaikeudet tunnistaa oma epäpätevyys johtaa liioiteltuihin arvioihin (Psykologia, 2000), sammakon levitointi magneeteilla (fysiikka, 2000 ), sen osoittaminen, että rotat eivät joskus erota Japania takaperin puhuvaa ja Hollantia takaperin puhuvaa ihmistä (kielitiede, 2007), ja kemiallisen reseptin keksiminen munan osittaiseksi keittämiseksi (kemia, 2015). Tällaisiin palkintoihin johtava työ on tyypillisesti vertaisarvioitua tiedettä, jota usein vasta myöhemmin arvostetaan myös hauskaksi.

Ig Nobel-palkinnoista ja useista niihin liittyvistä muuttujista koostuvan tietokokonaisuuden kehittämisen jälkeen tarkastelemme 253 Ig Nobel-palkintoa, jotka on myönnetty 595 saajalle vuosina 1992-2015 (päivitämme vuoteen 2016). Raportoimme tässä joitakin alustavia kuvailevia havaintoja. Palkinnot jaetaan yksittäisille henkilöille (esimerkiksi papereiden yksin kirjoittajille), yhden lehden useille kirjoittajille, kahdelle tai useammalle lehdelle ja niiden tekijöille sekä järjestöille. Yleisin järjestely on yhden palkinnon saava moniääninen paperi, johon kuului 62% palkinnon saajista. Kaksikymmentä prosenttia saajista on mukana palkintojen jakamisessa kahden lehden kesken. Vastaanottajista kuusitoista prosenttia on yksineläjiä. Järjestöjen osuus palkinnon saajista oli 3%. Tiettynä vuonna palkintoja jaetaan yhdeksästä 13: een. Aloja, joilla nämä palkinnot myönnetään, voivat vaihdella, mutta useimmiten kemian, lääketieteen ja fysiikan (25 vuotta kukin). Rauhanpalkinnot ovat seuraavaksi yleisimpiä 23 vuoden iässä, ja niiden jälkeen tulevat biologia (21 vuotta), kirjallisuus (21 vuotta) ja taloustiede (20 vuotta). Noin puolet vuosista oli psykologian (12 vuotta) ja kansanterveyden (10 vuotta) palkintoja. Harvinaisempia olivat matematiikan (7 vuotta), ravitsemuksen (6 vuotta), tekniikan (5 vuotta) ja taiteen (3 vuotta) palkinnot. Kymmenen lisäkategoriaa tarjottiin kahden vuoden aikana ja 29 kategoriaa tarjottiin yksikäsitteisesti vain yhden vuoden ajaksi.

ryhmittelemällä nämä kategoriat laajoihin aloihin käyttäen OECD: n tieteen ja teknologian alojen kurinpidollisia koodeja näemme, että 38% palkinnoista myönnetään luonnontieteissä, 20% lääketieteessä ja terveydenhuollossa, 16% yhteiskuntatieteissä, 11% humanistisissa tieteissä, 20% Rauhanponnistelujen tunnustamisessa ja 18% tekniikan ja teknologian alalla. Suurin muutos ajan myötä ajankohtaispiireissä on lääketieteellisiin liittyvien palkintojen nousu viimeisimmällä kaudella. Suurin osa, mutta ei kaikki, palkinnoista myönnetään tieteelliselle työlle. Seitsemänkymmentäneljä prosenttia viittaa akateemiseen paperiin, kun taas loput viittaavat uutisartikkeleihin (9%), kirjoihin (7%), patentteihin (5%), raportteihin (3%) tai muihin asiakirjoihin (esim.esineet, raportit, Opinnäytetyöt, Elokuvat, toimeksiannot tai ohjelmistot). Tieteellisistä julkaisuista on yhä useammin tulossa tämän palkinnon ensisijainen väline. Vuosina 1991-1999 60 prosenttia IG: n Nobel-laudoituksista viittaa tieteellisiin julkaisuihin. Vuosina 2000-2007 71 prosenttia tieteellisistä julkaisuista. Vuosina 2008-2015 88% tieteellisistä julkaisuista. Maakunnittain palkinnon saajien joukossa on 55 maata. Suurin osa vastaanottajista tulee päiväntasaajan pohjoispuolella sijaitsevista maista, joskin edustus on Latinalaisessa Amerikassa ja Afrikassa. Eniten vastaanottajia on Euroopassa ja Amerikoissa. Näiden kahden alueen osuus ensimmäisistä kirjoittajista on 77 prosenttia ja kaikista kirjoittajista 73 prosenttia. Eniten saajia on Yhdysvalloissa, 200, 34 prosenttia kaikista vastaanottajista, Yhdistyneessä kuningaskunnassa, 81 tai 14 prosenttia kaikista vastaanottajista, ja Japanissa, 67, 12 prosenttia kaikista vastaanottajista. Kun otetaan huomioon ensimmäisen nimetyn palkinnon saajan maat, Yhdysvalloissa on eniten 32 prosenttia, Britanniassa toisena 12 prosenttia ja Japanissa kolmantena 11 prosenttia.

Edistääkö Huumori Tiedettä? Ig Nobel-palkintojen (Woo, Yin Li) todistusaineisto

tämä paperi auttaa ymmärtämään, miten yksilöt, kannustimet ja instituutiot voivat vaikuttaa tieteellisen kehityksen suuntaan tarkastelemalla kannustimien ja palkintojen muodossa olevien instituutioiden vaikutuksia tieteelliseen kehitykseen. Lehti keskittyy Ig Nobel-palkintoihin, koska toisin kuin useimmat tieteelliset palkinnot, Ig Nobel-palkinnot myönnetään ei-akateemisista ansioista, ts. humorousness in research subjects, independent the awardee ’ s scientific accessions or influences in the field. Silti Ig Nobel-palkintojen vastaanottaminen kiinnittää huomiota laajaan tiedeyhteisöön, laajentaa palkintojen saajan mainetta ja mahdollisesti antaa lisäpontta tutkimusalueelle. Tässä suhteessa käsitteellistämme Ig Nobel-palkinnot shokkeina tieteellisille alakentille, joissa wining scientists julkaisi. Paperi käyttää avainsanoihin perustuvaa menetelmää rajaamaan näiden tieteenalojen rajat sen sijaan, että se perustuisi yhteistoimintaan, yhteistoimintaan tai tutkijoiden sosiaalisiin verkostoihin. Tämä avainsanamenetelmä nojaa vahvasti PubMed Related Citations Algorithm (Pmra) – menetelmään, joka tunnistaa saman tutkimuksen ajankohtaisen alueen artikkelit vertaamalla yksityiskohtaisia avainsanatietoja sekä näiden avainsanojen suhteellisia frekvenssejä. Pmra-menetelmällä rakennamme tietokannan tieteellisistä alakentistä, jotka sisältävät Ig Nobel-palkintoja saaneita ja Pubmediin indeksoituja papereita.

keräämme palkitun Ig Nobelin tiedot vuosilta 1991-2016. Ig Nobelin verkkosivuilla on yksityiskohtaista tietoa jokaisesta palkinnosta, mukaan lukien voittajien nimet, heidän palkintopalkintonsa, palkintoaiheet, heidän alkuperämaansa ja yhteytensä, ja mikä tärkeintä, heidän palkintoihinsa liittyvät akateemiset julkaisut. Keräämme kaikki IG Nobelin verkkosivuilla annetut palkintotiedot ja täydennämme lisätiedoilla palkintojen saajien ominaisuuksista. Tämä antaa meille yhteensä 267 palkintoa ja 629 ainutlaatuista palkintoa, joissa nämä voittajat vaihtelevat yksittäisestä voittajasta tutkimusryhmään tai koko organisaatioon. 267 palkinnosta 158 palkintoa liittyi ainakin yhteen akateemiseen julkaisuun, mikä ei ole yllättävää ottaen huomioon, että osa palkinnoista valitaan puhtaasti humoristisen luonteen eikä akateemisen panoksen perusteella. Näistä 158 palkinnosta tunnistamme 188 ainutlaatuista akateemista julkaisua. Alikenttien rajaamiseksi rajoitamme näytejulkaisumme 108 julkaisuun, jotka PubMed on indeksoinut. Kunkin alakentän papereita on keskimäärin noin 90. Sitten täsmäämme kaikki paperit Web of Science ja haettu niiden citation tietoa.

analysoimme julkaisujen määrää, kuka osallistuu ja mistä suurvaikutteinen tutkimus tulee alakentillä ennen ja jälkeen Ig Nobel-palkintojen. Erityisesti seuraamme Ig Nobel-palkittujen ja heidän yhteistyökumppaneidensa sekä muiden kuin yhteistyökumppaneiden julkaisutoimintaa ja mittaamme yhteistyökumppaneiden ja ei-yhteistyökumppaneiden suhteellista panosta ja vaikutusta lainausten perusteella. Hyödynnämme IG Nobelin pitkäjänteisyyttä ja monitieteisyyttä osoittaaksemme eri alojen dynamiikan eroja ajan mittaan. Tuloksemme luotettavuus näkyy vertaamalla vastaavaan otokseen ”tylsistä” tieteenaloista eli kentistä, joilla on samanlaiset ominaisuudet, mutta jotka eivät saaneet Ig Nobel-palkintoa.

tarkkailemalla Ig Nobel-palkintojen vaikutusta tieteellisiin alakentiin pystyimme kuvaamaan mikrodynamiikkaa tieteellisessä evoluutiossa. Tällä tuloksella on poliittisia vaikutuksia mahdollisiin vaihtoehtoihin vaikuttaa tieteenalojen suuntaan palkintojen ja kannustimien avulla. Tuloksemme viittaavat myös siihen, että ei-aineelliset kannustimet, jotka tarjoavat tutkijoille huomiota ja vaikutteita, kuten Ig Nobel-palkinnot, saattavat toimia yhtä hyvin kuin aineelliset kannustimet.

Ig Nobel prizationsin (Ranaei) aiheanalyysi

joka vuosi vuodesta 1991 lähtien Annals of Improbable Research jakaa ”Ig Nobel” – palkintoja eri aloilla ilmeisen triviaaleista tieteellisistä saavutuksista, jotka ”ensin naurattavat ja sitten ajattelevat”. Tuore psykologian alan palkinto vuonna 2016 annettiin tutkimukselle nimeltä ”Juniorista senioriin Pinocchio”, jossa kysyttiin tuhansilta valehtelijoilta, kuinka usein he valehtelivat ja pitäisikö uskoa näitä vastauksia. Toisin sanoen kirjoittajat tutkivat ihmisten valehtelutaitoja yksilön koko eliniän ajan. Silti tällaiset humoristiset tutkimuspaperit vaikuttavat tieteenaloihin, jotka perustuvat todistusaineistoon, kuten lainausten määrän laskemiseen. Ig: n Nobel-palkinnon saajan papereissa olevasta huumorista huolimatta ne välittävät perusteltuja viestejä. Tämä tutkimus on motivoitunut tutkimaan Ig Nobel-palkinnon korostamia tieteen ominaisuuksia ja tutkii palkinnon saajan papereiden sisältöä. Paperi käyttää koneoppimismenetelmiin perustuvia probabilistisia aihemalleja, jotka poimivat dokumenttikokoelmista taustalla olevia ”aiheita” tutkiakseen, missä määrin IG: n Nobel-palkitussa tutkimuksessa on taustalla olevia malleja. Suosittu aihemallinnusalgoritmi on latentti Dirichlet ’ n allokaatio (Lda), joka on generatiivinen probabilistinen malli, sovelletaan tässä. Lda toimii tehokkaammin polysemian ja synonyymin erottamisessa, koska se sisältää probabilistisia malleja sekä asiakirja-että sanatasolla. LDA: n kaksitasoinen analyysi tekee siitä ylivertaisen muihin malleihin, kuten latentti semanttinen indeksointi (LSI) tai probabilistinen latentti semanttinen indeksointi (PLSI). Oletus LDA-aihemallien takana on, että dokumentit ovat aiheiden sekoitus; algoritmi pyrkii havaitsemaan nämä taustalla olevat piilevät aiheet dokumenttikokoelmassa. Aihe koetaan jakautumisena sanavarastoon.

analyysi perustuu Ig Nobelin verkkosivuilta (http://www.improbable.com/ig/voittajat/) vuosina 1991-2016 kerättyihin 262 tutkielman laudatuksiin. Sanoja Pidetään proksina, jotka kuvaavat aineistosta esiin nousevia aiheita. Esittelytarkoitukseen valitaan kymmenen aihetta 35: stä. Esimerkiksi ”aihe 1 on banaaninnahasta”, ”aihe 3 on lentokonekaappaajien ansastusmenetelmistä”, ”aihe 4 kuvaa luultavasti wasabista tehtyä herätyskelloa”, ” aihe 9 esiintyy lantakuoriaisten ja Linnunradan välisenä suhteena!”Aiheeseen 9 liittyvän dokumentin manuaalinen seulonta osoittaa paperin olleen kadonneista lantakuoriaisista, jotka voivat löytää oikean radan Linnunradan avulla. Aihealueet 19, 32 ja 21 käsittelevät yleisemmin taloutta, elämää ja laittomia huumeita. Aihe 17 kuvaa suhdetta aviomiehen alusvaatteiden ja uskottomuuden välillä. Sana kalastaja on myös tässä aiheessa, kuvastaa semanttinen suhde ”aviomies”ja ” mies”. Tämä viittaa siihen, että mieshahmoja käsittelevät dokumentit saattavat liittyä tähän aiheeseen. Yhteenvetona voidaan todeta, että aiheet viittaavat erottuvaan rooliin arkielämän sisältöulottuvuuksissa, kuten eläinten käyttäytymisessä, laittomassa/riskialttiissa käyttäytymisessä sekä elämän ja kuoleman toiminnassa IG Nobelin ylistämässä tutkimuksessa.

tällä tutkimuksella on rajoituksensa. Esitetty tulos on tulos kokeilusta pienellä aineistolla mitäänsanomattomia palkinnon saajan laudaatioita, jotka ovat hyvin lyhyitä lauseita. Pienen aineiston kokeilu osoittaa lupaavia, tulkittavia aiheita ja poisti 262 asiakirjan manuaalisen arvioinnin taakan aiheen havaitsemiseksi.

Pride or Prejudice:How Research Organizations response to Recipiency of Ig Nobel? (Beljakov, Kolesnikov)

tutkimuksesta on kiistelty pitkään, eikä sillä näytä olevan selvää käytännön hyötyä, varsinkin jos se on julkisesti rahoitettua. Julkiset ja päättäjät pitävät tällaista tutkimusta ”tuhlaavaisena tieteenä”, vaikka lukuisat historialliset kertomukset” puhtaasta tieteestä ” on liitetty sovelluksiin vuosikymmeniä löydön tekemisen jälkeen. Tässä asiakirjassa keskitytään siihen, miten tutkimusorganisaatiot kokevat tämäntyyppisen tieteen, jota tutkijat tekevät näiden organisaatioiden kanssa. Jotkut heistä voivat tunnistaa mahdollisen tulevan arvon, kun taas toiset voivat nähdä sen maineeseen kohdistuvana uhkana tai jopa uhkana siitä, että heidän julkista rahoitustaan leikataan tämän seurauksena, varsinkin jos heitä syytetään ”tuhlaavaisesta tieteestä”. Tuore esimerkki tällaisista riskeistä on Yhdysvaltain senaattori Jeff Flake-authored 2016 report on twenty public-funded studies that he found ”hard-to-justify;” one of these studies was the recipient of the Ig Nobel prize. Toinen merkittävä esimerkki tapahtui vuonna 1995, kun Britannian hallituksen Tieteellinen pääneuvonantaja Sir Robert May pyysi IG: n Nobel-komiteaa lopettamaan Yhdistyneen kuningaskunnan tutkijoiden sisällyttämisen palkinnonsaajiksi sen jälkeen, kun palkinnon saaneen työn rahoituslähteistä oli kiistelty julkisesti. Nämä kiistat eivät estäneet tutkijoita ottamasta vastaan palkintoja, mutta ne saattoivat vaikuttaa järjestöjen halukkuuteen osallistua palkinnoista tiedottamiseen.

tässä työssä tarkastellaan sitä, miten yliopistot ja tutkimusorganisaatiot päättävät reagoida siihen, että palkinnonsaajat saavat palkinnon. Tunnustavatko he sen ylpeinä tutkijoidensa merkittäväksi saavutukseksi ja käyttävätkö he sitä tilaisuutena välittää yleisölle huolellisesti tällaisen tutkimuksen motivaatiota ja mahdollisia hyötyjä? Vai jättävätkö he sen vain huomiotta toivoen, että se unohdetaan nopeasti? Vai ryhtyvätkö he toimiin estääkseen tämäntyyppistä tutkimusta tapahtumasta kattonsa alla. Lehden mukaan näihin kysymyksiin liittyvät päätökset riippuvat kahdesta tekijästä: Ig Nobel-palkinnon saaneen työn tieteellisestä arvosta ja tunnustamisesta sekä mahdollisesta yleisön reaktiosta tutkimukseen palkinnon seurauksena.

tutkiaksemme Ig: n Nobel-palkinnon saajien kanssa tekemisissä olevien instituutioiden reaktioita olemme keränneet jokaisesta palkinnosta tiedot tieteellisistä julkaisuista, joihin viitataan palkinnon verkkosivuilla. Me operationalisoimme näiden julkaisujen tieteelliset ansiot Field-Weighted Citation Impact (FWCI) – ja Citation Benchmarking-mittareilla, jotka asettavat artikkelin viittausvaikutuksen muihin samanikäisiin ja saman alan julkaisuihin. Molemmat mittarit sisältyvät Scopus bibliometriseen tietokantaan. Toinen tekijä-Julkinen reaktio-on proxied useita sosiaalisen median mainintoja Twitterissä, myös saatavilla joukossa mittareita tarjoamia Scopus. Rajoitamme analyysimme 62: een vuonna 2008 ja myöhemmin myönnettyyn Ig Nobel-palkintoon, johtuen Twitterin käyttäjäkunnan aktiivisuudesta riippuvaisen sosiaalisen median datan saatavuudesta. Ottamalla käyttöön kaksittain matriisi lähestymistapa, asetamme nämä julkaisut pitkin kahta ulottuvuutta mukaan määrä viittauksia ja Twitter mainitsee (tai ”viraalisuus”). Luokittelemme ne neljään ryhmään: ”clever and fun” (highly cited/highly virusal), ”clever” (highly cited/low virusal), ” fun ”(low cited/highly virusal), ”nother” (Low cited/low virusal).

tutkimme tämän luokittelun vuorovaikutusta IG Nobelin kolmannen ulottuvuuden kanssa – IG Nobelin palkinnon maininnat lehdistötiedotteissa, uutissivuilla ja muissa viestintälajeissa tutkimusorganisaatioiden verkkosivuilla, joihin viitataan palkinnon saajien kytköksinä IG Nobelin verkkosivuilla. Löysimme 130 artikkeli-kuuluminen paria (koska jotkut laitokset saivat Ig Nobel-palkinnon useammin kuin kerran) meidän näyte 62 artikkeleita. Käyttämällä tätä lähestymistapaa tunnistamme, miten tutkimusorganisaatiot vastaavat tämäntyyppiseen tunnustamiseen: riippumatta siitä, kehuvatko he saavutusta, pitävät matalaa profiilia/ovat välinpitämättömiä tai käyttävät muita strategioita. Kaiken kaikkiaan 56% järjestöistä tunnusti palkinnon vastaanottamisen jossain muodossa. Eniten tunnustusta (65%) saa ”nokkelista” artikkeleista, mikä viittaa siihen, että se on instituutioille ”turvallisin” tapa hyödyntää palkinnosta saatua julkisuutta. Tällöin he voivat helposti hylätä mahdolliset väitteet ”tuhlailevasta tieteestä” vetoamalla taustalla olevien julkaisujen korkeisiin viittausvaikutuksiin. ”Fun” – ja” nother ” – alat saivat institutionaalisen tunnustuksen 56%: ssa ja 52%: ssa palkinnoista. Yllättäen pienin tunnustus-vain 48% – löytyy ”hauskasta ja näppärästä” artikkeleista, joita on vain kahdeksassa julkaisussa. Kuitenkin tarkastelemalla tunnistuskuvioita eri organisaatioissa löydämme myös eksogeenisia tekijöitä. Esimerkiksi ranskalaisten instituutioiden sivustoilta löytyy hyvin vähän mainintoja Ig Nobel-palkinnoista, jotka ovat hyvin edustettuina sekä koko Ig Nobel-palkittujen joukossa että ”hauska ja nokkela” – ryhmässä. Huomaamme myös, että Yhdysvaltain, Kanadan ja Alankomaiden instituutiot suhtautuvat paljon avoimemmin Ig Nobelin palkinnon saamiseen. Tällainen maakohtainen vaihtelu viittaa institutionaalisen ympäristön voimakkaaseen vaikutukseen ja vaatii lisäselvityksiä.

Vastaa

Sähköpostiosoitettasi ei julkaista.