In case you haven’t already noticed, I like working on performance issues and performance improvements. Performance is a thing where you have to consider the whole stack: the speed of the server, efficient algorithms, server side caching, bandwidth and latency, client side caching and client side code. Here is a short recap of what has been done for translatewiki.net lately and some ideas for the future.

Recent improvements

Server level. A month ago translatewiki.net got a new server with more memory and faster processors. The main benefit is that we can handle more simultaneous users and background tasks without them slowing each other down. At the same time, we upgraded many of the programs to newer versions. The switch from MySQL to MariaDB is the most important one. We haven’t tested it for our use case, but the Wikimedia Foundation found that the switch had overall positive impact on performance.

Web server level. In the beginning of November I configured our nginx web server to enable support for the SPDY protocol. This should greatly reduce latency when browsing over HTTPS. We are considering to switch to HTTPS by default. While tweaking nginx, I also fixed a few settings that relate on the compression and expiry times of JavaScript, SVG images and font assets when delivered to users. I used AWStats to see if our daily bandwidth usage decreased. It has not decreased significantly, but there is a lot of variation between days that make interpreting the data difficult. PageSpeed was used to ensure that caching headers are optimal and WebPagetest to confirm that pages load faster on different browsers in different places.

Application level. The Language Engineering team has recently worked a lot on the performance of Universal Language Selector (ULS) and Translate extensions. A short summary of the things which were done:

• Reduce the amount of JavaScript and CSS delivered to the browser.
• Delay the loading of JavaScript and CSS as much as possible (for example till the user opens ULS).
• Optimize JPG, SVG and PNG images to the last byte with tools like jpegoptim, optipng.
• Optimize the JavaScript to avoid slow actions (for example repaint events and dom changes). We used Chrome’s JavaScript profiler as well as the experimental tool “show potential scroll bottlenecks” to identify issues and confirm the fixes (thanks Ori).

In addition I fixed a major performance issue in one of the Translate API modules by replacing an inefficient algorithm with a faster one. While investigating that issue, I also noticed that ReplacementArray-strtr was taking 20% or so of MediaWiki run time. There is a less known PHP module FastStringSearch, which was not installed on the new server. Installing that module made a big difference on the MediaWiki profiling table: ReplacementArray-fss is now taking only about 0.20% of MediaWiki run time.

Finally, a thing called module local storage was enabled on Wikimedia wikis few days ago (the title of this post was taken from that discussion). As is usual for translatewiki.net, we were already beta testing that feature a few weeks before it went live on Wikimedia wikis.

Future plans

It is hard to plan the future for further performance improvements, as the bottlenecks and the places where you can make the most difference for the least effort change constantly, together with the technology and your content. I believe that HHVM, a JIT PHP virtual machine, is likely to be the next step which will make a significant difference. It is however not a straightforward thing to jump from a normal PHP intepreter to HHVM, so I will be keeping a close eye on how my colleagues at the Wikimedia Foundation are progressing with the adoption of HHVM.

Another relatively small thing on the horizon is better compression of inline SVG images in CSS style sheets, by avoiding unnecessary base64 encoding. Or something else might happen even before it.

Finally, I’d like to highlight that while the application-level improvements automatically benefit third party users, there really isn’t any coherent documentation on how to improve performance of a MediaWiki site at all levels. Configuring localisation cache, nginx and/or Varnish, tweaking MySQL or MariaDB and installing Memcached or Redis should be part of any capable sysadmin’s skills; but even just tailoring them for MediaWiki, let alone knowing which PHP modules to install, is likely not known by many. For example, I wouldn’t be surprised if there were very few or even no sites using the FastStringSearch module outside of Wikimedia and translatewiki.net.

LibreOfficen Base on täysin varusteltu tietokantaohjelma, joka on suunniteltu täyttämään monenlaisten käyttäjien tarpeet.

LibreOffice on avoimeen lähdekoodiin perustuva ilmainen toimisto-ohjelmisto, joka sisältää tekstinkäsittelyohjelman (Writer), taulukkolaskentaohjelman (Calc), esitysgrafiikkaohjelman (Impress), tietokantaohjelman (Base), vektorigrafiikan tuottamiseen tarkoitetun piirto-ohjelman (Draw) sekä matemaattisten kaavojen kirjoittamiseen tarkoitetun ohjelman (Math). Writer ja Impress on valotettu jo aiemmin, nyt on vuorossa Base. Base on vapaa tietokantaohjelma, saman tapainen kuin kaupallinen Microsoft Access. Basella voi luoda ja muokata tietokantoja. Base toimii myös edustaohjelmana muille tietokantaohjelmille kuten MariaDB, MySQL ja PostgreSQL. Basessa on velhot, joiden avulla on helppo tehdä raportteja tietokannasta. Henkilökohtaisessa tietokantakäytössä riittää Basen oma HSQL-tietokantamoottori, joka tallentaa tiedot suoraan Base-tiedostoon. Lisäksi voit tallentaa ja lukea tietoja dBase-tiedostoista, jotka toimivat myös monissa muissa vastaavissa ohjelmistoissa.

Tehokäyttäjiä ja yrityksiä kiinnostaa mahdollisuus käyttää ulkoisia tietokantoja. Base tukee suoraan yleisimpiä tietokantaohjelmistoja: MySQL, Adadas D, MS Access ja PostgreSQL. Lisäksi JDBC- ja ODBC-ajureiden avulla voi käyttää lähes mitä tahansa muutakin olemassa olevaa tietokantaa.

LibreOffice on käännetty suomen lisäksi yli 30 kielelle, ja se on asennettavissa kaikkiin yleisesti käytössä oleviin käyttöjärjestelmiin, joita ovat Microsoft Windows, Mac OS X (PPC ja Intel) ja Linux (Debian, Ubuntu, Fedora, Mandriva, Suse jne).

Windowsille on saatavilla myös mukana kulkeva versio LibreOfficesta PortableApps.com-muodossa. Voit kuljettaa asiakirjoja ja ohjelmistoa USB-tikulla tai säilyttää niitä verkossa. Lisää tietoa löydät osoitteesta Portableabbs.com.

Linuxissa oikoluku ja tavutus toimivat parhaiten käytettäessä käyttöjärjestelmän mukana tulevaa LibreOfficea. Esimerkiksi uusimmissa Ubuntuissa Voikkoon perustuva oikoluku ja tavutus ovat käytettävissä heti käyttöjärjestelmän asennuksen jälkeen, jos asennuksen yhteydessä on valittu asennettavaksi suomen kielen tuki.

Debian Wheezyssä jouduin asentamaan paketin libmyodbc jotta MySQL-tietokantayhteys toimi. Lisäksi LibreOfficen Java-asetuksissa piti valita käytettävä Java. Sitten sain käytettyä aiemmin etäpalvelimelle tekemääni MySQL-tietokantaa.

Ohjeita löytyy netistä, esimerkiksi miten laskentataulukosta (eli Calc) saadaan tehtyä tietokanta, jossa kenttien nimeksi tulee laskentataulukon sarakkeiden nimet. Tämä on kätevää, jos on pitänyt kortistoa taulukkolaskimella ja projekti on kasvanut liikaa. Silloin on raporttien tuottaminen työlästä ja ylipäätään työskentely tämän "tietokannan" kanssa hankalaa.

Basen tietokantaa voi SQL -kielellä muokata, tehdä hakuja tai tuottaa raportteja.

LibreOfficen kehitystyötä koordinoi riippumaton The Document Foundation -säätiö. LibreOfficen kehittely aloitettiin OpenOfficen versiosta 3.2. LibreOfficen ensimmäinen vakaa versio 3.3.0 julkaistiin 25. tammikuuta 2011. Uusin versio 4.1.3 julkaistiin 1. marraskuuta 2013. The Document -säätiön tavoitteena on julkaista uusi LibreOffice puolen vuoden välein ja aikanaan ajoittaa julkaisu tärkeimpien vapaan koodin projektien maaliskuu/syyskuu aikatauluun.

Kotisivu

http://www.libreoffice.org/features/base/

Lisenssi

GNU LGPLv3

Toimii seuraavilla alustoilla

FreeBSD, Linux, Mac OS X, Solaris, Unix, Windows

Asennus

Linux-jakeluissa tulee jakelun omista pakettivarastoista. Windowsille Base on saatavilla myös VALO-CD:ltä. Muiden käyttöjärjestelmien käyttäjät joutunevat noutamaan asennustiedoston kotisivulta.

VALO-CD

LibreOffice Base löytyy myös VALO-CD-kokoelmasta.

Käyttöohjeet

Keskeneräinen englanninkielinen käsikirja

Suomenkielinen ohje

Youtube video tietokannan luonnista

Kätevä ohjelappu pikanäppäimistä

Suomenkielinen luento Basen käytöstä

• Velholla saa tehtyä tietokannan
• LibreOffice ja erityisesti Base tarvitsee toimivan Javan
• Taulut, kyselyt, lomakkeet (tiedon syötöön) ja raportit saa luotua velholla
• Yhteys olemassa olevaan tietokantaan luodaan sekin velholla
• Linuxissa JDBC MySQL-yhteyksiin etäpalvelimeen
• Tietokannan tiedot
• Käyttäjä ja salasana
• Valmis
• Taulun suunnittelua velholla
• Esimerkkitauluja voi käyttää pohjana, valitaan niistä halutut kentät
• Valitut kentät saa haluamaansa järjestykseen
• Kun taulu on tehty, siihen voi lisätä tietueita
• Raportti luodaan samaan tapaan, siihen saa tulostumaan haluamansa kentät
• Raportin luonti valmis
• Tulostettu raportti. Sen saa paperillekin.

Teksti: Taleman
kuvakaappaukset: Taleman

The message index is a crucial component of Translate, so I made an experiment by implementing a trie store for the message index to optimize it. The short story is that I could not get it fast enough for practical use easily. Continue for full story.

Pet projects

For context, in our development team each developer has time for experimentation, outside of the planned development sprint tasks. During that time the developer can try out new technologies, fix issues that are important to them personally or just do something fun and interesting. We call these pet projects and they let us do some cool things.

For example, the insertables I described in my previous blog post are something I did as a pet project. Insertables were actually part of the original translation UX (TUX) design specifications, but they were not implemented because of other priorities. I decided to implement them because users (not managers) were asking for it. I wasn’t convinced initially, but when I saw users translating with tablets I changed my mind. Insertables were a good pet project because they were relatively small and fun a thing to do.

This is all I have to say about pet projects – the non technical readers can skip the rest of this post, where I go into the details of this pet project.

Message index

I probably have introduced the message index in my earlier posts, but let me do it again quickly. I’ll use an example for this. Let’s assume we have a small software called Greeter. It has a localisation file like this:

# l10n/en/greetings.properties
greeting.noon = Good day
greeting.morning = Good morning
greeting.evening = Good evening
greeting.night = Good night

When this kind of file is set up with the Translate extension (for instance in translatewiki.net), each string is stored as a wiki page. Each translation is a separate page, too.

translatewiki.net/wiki/Greeter:greeting.noon/en -> “Good day”
translatewiki.net/wiki/Greeter:greeting.noon/fi -> “Hyvää päivää”

The bolded parts are called page titles in MediaWiki. The message index can be defined simply as a map from the page title of each known message (without the language code) to the message group it belongs to. If we printed it out it would look something like this:

1244:greeting-noon => [greeter]
1244:greeting-morning => [greeter]
1244:greeting-evening => [greeter]
1244:greeting-night => [greeter]

So, every time someone adds a new message for translation, we need to update the message index. Every time someone makes a translation, we need to query the message index. The user is waiting, so both of these actions need to be fast, while using a reasonable amount of memory.

Implementations problems

When we get to the order of 50 000 or even more known messages, creation and accessing of the message index starts to get slow in PHP, even though it’s basically just a lot of strings, and string processing should be fast, right? Not so in PHP, where holding the message index as an array of arrays takes tens of megabytes in memory. An array in php is kind of a mix of hashtable and linked list. It uses more memory for extra features and versatility.. In the case of message index we would gladly like to trade some features for reduced memory usage.

There are many aspects in message index optimization, but so far I haven’t found a solution without downsides. If the whole index was small enough, it could be kept in memory, making things faster; but currently it can only be stored in various kinds of databases, that allow querying the index one title at the time.

Currently at translatewiki.net we are using CDB files, which are immutable databases stored on a file on the file system. This is okay for our use case: the index is accessed from disk; only when the data changes, you have to build the whole thing from scratch and you have to worry about memory usage and speed. The current problem we have with this approach is that it takes a lot of memory to recreate it, and the few second running time is on the borderline of acceptable speed for having user to wait for it. There isn’t too much room for growth.

To reach the current state, I’ve tried using references to store the group names to avoid repeating them and storing the resulting array in a serialized file. I’ve tried storing the whole structure in a database table, which works well to certain amount of messages. This time I’m going to try something else. The idea is to save space by considering that the message keys share a lot of substrings, for instance the messages of a MediaWiki extension having all keys prefixed with the extension’s name. I decided to use tree structures to experiment.

Trees and tries

Disclaimer: I haven’t studied algorithms in depth so I’m just trying to apply what I know.

We can represent all the relationships between message names and their groups as a set of mostly similar strings which may share common prefixes. I could have used a tree, but I decided to use a trie. A trie is a tree where consecutive nodes which only have one child are merged together. Here is an example of how the message index above would look like in a trie (first image), compared to the full tree (second image). As you can see, the trie is more compact compared to the tree because it has less nodes and branches. The trie is also more compact than an array as the common prefixes can be stored only once and we are not using any hashes which are used in arrays. Click for full size.

To create a message index using tries, I started by googling if there are any algorithms already implemented in PHP for constructing tries. I could not find any, so I just converted into PHP a Python script (which was likely converted from Java). Then I implemented a custom binary format that could be stored in a file and a custom lookup that would use the data loaded from the file into a memory.
I tried many options for optimizing the creation of the trie while minimizing the storage consumption.

One of the curious things was that, when inserting a new string to the trie, it is faster to loop over all the current children of the node comparing the first letter of the child against the first letter of the string we are inserting, rather than to use binary search to find the correct insertion point. The latter would mean keeping the list of children sorted and doing less comparisons by using binary search when doing lookups and insertions. I assume this is because inserting at the end of the array is fast, but inserting in the middle of the array (to keep it sorted) is slow because (my guess) PHP either recreates the array or updating the linked list pointers is slow for some other reason.

For the storage format I tried various kinds of indexes of strings to store the substrings only once, but all the pointers to the strings and child nodes also take a lot of space (4 bytes per pointer, where 4 bytes can also store four characters assuming ascii keys). I’m sure more space savings could be gained by experimenting with alignments so that smaller pointers could be used. Maybe it would be possible borrow some of the algorithms designed to optimize finite state automata – I believe those are much better than what I can do on my own.

Here are some numbers (approximate because I ran out of time to measure properly) on how it compares to the CDB message index solution:

Property	CDB	Trie
Size on disk	6 MiB	1.5 MiB (0.5 compressed with gzip)
Time to create	1 second	7 seconds

For now I declare this pet project as something that cannot be used. Maybe some day I will get back to it and try make it good enough for real use, but now I already have other interesting pet projects in my mind. If I get suggestions from you how to reach practical solutions, I will of course try them out sooner. I just want to mention that there a many things that could still be explored: QuickHash, constant hash database or finding ways to store group information so that message index is not needed at all.

JSXGraph on JavaScript-kirjasto interaktiivisten geometristen konstruktioiden tekemiseen www-sivuille.

JSXGraph on monipuolinen geometriakirjasto JavaScript-kielelle. Sillä on mahdollista piirtää erilaisia geometrisia konstruktioita ja tehdä niistä interaktiivisia. Kuvien eri elementit voiva riippua toisistaan, jolloin esimerkiksi ympyrän keskipisteen siirtäminen vaikuttaa ympyrään ja kaikkiin muihin siitä riippuviin kuvioihin. JSXGraphilla voidaan siis tehdä vastaavia kuvia kuin esimerkiksi GeoGebralla. Toisin kuin GeoGebrassa, JSXGraphilla ei ole graafista käyttöliittymää kuvien piirtämiseen, mutta toisaalta ohjelmointikirjastona sen käyttömahdollisuudet eivät rajoitu vain käyttäjän tekemään piirtämiseen vaan sitä voidaan käyttää vaikka verkon kautta tulevan tilastodatan havainnollistamiseen.

JSXGraphissa on käytettävissä lukuisia geometrisia elementtejä, kuten pisteitä, suoria, janoja, ympyröitä, leikkauspisteitä, kulmia, normaaleja ja niin edelleen. Konstruktioiden rakentaminen näitä käyttämällä onnistuu pienen harjoittelun jälkeen melko vaivattomasti. JSXGraphin kotisivuilla on sen käytöstä useita eritasoisia kokeiltavissa olevia esimerkkejä lähdekoodeineen. Kuvien piirtämiseen JSXGraph käyttää oletuksena SVG-piirtoa, jota käytännössä kaikki ajantasaiset www-selaimet tukevat jo luonnostaan. Vaihtoehtoisina renderöintikoneistoina ovat käytössä canvas ja vml.

Samankaltaisuus GeoGebran piirto-ominaisuuksien kanssa näkyy myös siinä, että JSXGraphille löytyy GeogebraReader.js, jolla onnistuu monien GeoGebran ggb-tiedostojen näyttäminen suoraan selaimessa ilman GeoGebran muuten käyttämää Java-lisäosaa. Hieman jo vanha esimerkkisivu näyttää rinnakkain saman ggb-tiedoston sekä JSXGraphilla että aidolla GeoGebralla. GeoGebran lisäksi JSXGraphilla on mahdollista näyttää myös GEONExTin, Intergeon sekä Cinderellan tiedostomuotoja tarvittavilla lisäosilla. JSXGraph sekä sen lisäosat ovat ladattavissa JSXGraphin kotisivuilta. Niitä voi linkittää käytettäväksi www-sivuilla suoraan myös cdnjs.com-palvelusta.

Geometristen kuvioiden piirtämistä on mahdollista tehdä JSXGraphin kanssa käyttäen JessieScript-kieltä, jolla geometrinen konstruktio on melko intuitiivista kuvata tekstinä. Tuki JessieScriptin käytölle on ladattava erillisellä js-tiedostolla.

Geometristen piirtoelementtien lisäksi JSXGraphilla on mahdollista piirtää myös esimerkiksi erilaisia funktioiden kuvaajia ja vaikka niiden Riemann-summien porraskuvioita. Myös kilpikonnagrafiikan piirtämiseen JSXGraph sisältää valmiit työkalut. Ohjelmointitaitoiselle JSXGraph on erittäin monipuolinen piirtokirjasto, jolla on helppoa tehdä vaikka matematiikan, fysiikan ja ohjelmoinnin opetuskäyttöön erilaisia sovelluksia.

Esimerkki GeoGebralla piirretystä ja JSXGraphilla näytetystä interaktiivisesta kuvasta.

Kotisivu

http://jsxgraph.uni-bayreuth.de/wp/

https://github.com/jsxgraph/jsxgraph

Lisenssi

GNU LGPL tai MIT

Toimii seuraavilla alustoilla

Selaimet

Asennus

Kirjasto koostuu JavaScript-tiedostosta sekä css-tiedostosta, jotka voi ladata itselleen JSXGraphin kotisivuilta. Vaihtoehtoisesti kirjastoa voi käyttää verkosta ladattavana palveluna esimerkiksi osoitteesta: http://cdnjs.com/libraries/jsxgraph/

Käyttöohjeet

Esimerkkejä

Referenssikortti (pdf)

JessieScriptin ohjeet

• Esimerkki: Viisi hiirellä raahattavaa pistettä ja niiden kautta piirretty käyrä.
• Eulerin suora havainnollistettuna JSXGraphilla interaktiivisesti.
• Interaktiivinen geometrinen kuva.
• JSXGraphilla voi lukea GEONExT-muotoisen tiedoston ja näyttää sen.
• Myös GeoGebra-tiedostojen näyttäminen onnistuu tiettyyn rajaan saakka.

Teksti: Pesasa
Kuvakaappaukset: Pesasa

BitCoin — the decentralized digital currency — has been making a lot of headlines lately. Much of this is driven by the current investment boom around it that has raised the exchange rates over the 1000 USD mark. But really, looking at BitCoin as a medium for currency or asset speculation is a bad idea. Instead, we should see it purely as a medium of exchange.

Not a great holder of value

Much of the press stories about BitCoin see it as a speculative investment free of currency manipulation by central banks. By its nature, it is a deflationary currency, given that the global supply of BitCoins is capped. As long as there is interest in BitCoin, it means the prices are bound to go up. But at the same time, this is a threat to the currency. Deflation disincentivizes people from spending their money, as tomorrow the value is likely to be higher.

This is a big difference to fiat currencies where central banks generally act to ensure that there is a little bit of inflation, giving people incentives to spend, invest, and keep the economy running.

Traditional currencies are given a value by the fact that there is a government requiring taxes to be paid in them. This creates a demand in the currency, as people have to acquire units of that currency somehow, usually by selling goods and services. So, the value of a currency is built on the power of a state to tax its subjects in that currency.

The other traditional holder of value, gold, also differs from BitCoins in the sense that at least you can make some useful things out of it.

In contrast, the value of BitCoin without an economy backing it up is exactly zero. Without an active network of miners, and business transactions that create a demand for them, there is not much you could do with a BitCoin.

Given this setting, BitCoin as a investment mechanism resembles a ponzi scheme where people make speculative investments in them in hopes of being able to pass them on to the next fool when the prices go up.

This is obviously not sustainable in the long term. But luckily there are things you can do with BitCoin that still make them interesting if you deal with them as a medium of exchange and not a long-term holder of value.

Great tool for conducting transactions

Now that we've established that BitCoins are not the best thing to put your life savings into, or to stash under your mattress, what is it exactly that makes them interesting?

Mobile money

BitCoin is a way of making transactions quickly, safely, and without middlemen. A lot of the articles written about it compare it to gold, but in my view a much closer comparison is M-Pesa, the operator-driven mobile payment network that powers over 30% of the Kenyan economy.

M-Pesa on a phone, by Pixel Ballads

When you see people paying with their mobile phones in a African street market, you know they've leapfrogged us in technology.

BitCoin has the exactly same advantages as M-Pesa: you can send it to anywhere with minimal costs and delays, you can keep it on your phone, and anybody can ask for a payment through it. Unlike M-Pesa, BitCoin is truly decentralized and doesn't rely on a mobile operator to act as the "central bank".

Unlike M-Pesa, BitCoin currently requires an internet-connected smartphone with a wallet application. This limits its usefulness in the world outside of the rich countries (though cheap Android phones are changing the situation). It would be a huge boost for mobile commerce with BitCoins if there was a service that enabled paying and requesting BitCoin over SMS.

The one to make BitCoin work over SMS will be rich

Last summer I was talking with Joerg Patzer, the owner of Room 77, a restaurant in Berlin that has been one of the early adopters of BitCoin. At the time about 10% of the his sales happened in BitCoin, and the number has been constantly growing since. He told that he even pays some of his suppliers in BitCoin, and only converts some of it to euros, solely because you can't pay taxes in BitCoin.

Patzer buys the beer for Room 77 from the nearby Rollberg brewery, owned and run by qualified brew and malt meister Wilko Bereit. He pays for the barrels with Bitcoins

Joerg also told me an interesting case where there was a group of tourists having a dinner in his restaurant. A friend of theirs that wasn't able to make the trip insisted on paying the bill remotely from Israel. This is something that would be hard to do with the traditional credit cards or currencies. Paying in BitCoin is quite straightforward:

He taps the amount he owes Room 77 into the virtual Bitcoin wallet on his Android phone and, aligning it with a code on the bar's device, presses a button to process the payment. A theatrical "kerching" sound follows and Gallas is grinning from ear to ear. "It could hardly be easier," he insisted.

Requesting a payment using BitCoin Wallet for Android

Global currency for the internet

Map of global BitCoin nodes

Requesting BitCoins is as easy as providing a URL. This could be presented as a link on the web, or shared to mobile devices via QR Codes. For example, clicking this link on a device with a BitCoin wallet would enable you to send me BitCoins worth around 0.1 EUR (on today's exchange rates). No need for dealing with payment gateways or complicated protocols.

Ease of paying, no middle men, minimal transaction fees, and no risk of chargebacks make a lot of interesting business scenarios possible online. Consider for example micropayments for online content. This is something that would make online publishing viable without the current ad-driven models, but has been held back by the risks and costs associated with credit card payments. Wider adoption of BitCoin would suddenly make this a very realistic way of asking for money for the things you do online.

Other clever uses

Since BitCoins can be exchanged in miniscule amounts, and there is a public record kept on each transaction, they enable all kinds of new use cases.

One such service that I ran into yesterday is Proof of Existence, a tool for storing the fact that you were in possession of a document at a given time, and that it hasn't been revised since based on microtransactions stored in the BitCoin block chain. This is a mechanism known as trusted timestamping that could be useful for things we currently utilize notaries for. The Hacker News thread on this listed some interesting use cases, like verifying scientific priority on new inventions, i.e. that you had written a document describing a new invention at a given time even if you publish it only later.

We could also use BitCoin for solving the spam problem. Emails could be "stamped" with a BitCoin microtransaction, and email servers could be configured to reject messages that don't have a valid payment attached to them. This would enable bringing decentralization back to the internet as we could again use distributed systems like email and XMPP without having to resort to the walled gardens like Facebook to keep them spammers away.

Another interesting approach was to use BitCoin transactions for making bets.

How to get started

A good way to get started with BitCoin is to read Wired's BitCoin survival guide or the materials available on BitCoins.com. Install a BitCoin wallet application on your mobile device. Then get some BitCoin either by buying locally, from an online exchange or by selling goods or services for BitCoin.

This is all you need to get going. Now you just need to find a way to spend them, for example in online shops, by buying domains, or in shops and restaurants that accept them, like many do in my neighborhood.

Disclaimer: I'm a programmer, not an economist. There are better people to take investment advice from. I do hold a little bit of BitCoin, giving me some vested interest in the matter. Not the kind of amount that would make it an investment, but just the right amount for being able to buy a few nice dinners, especially at the Berlin prices. Generally, I try to keep the amount I have in BTC low enough to be equivalent of what I might be comfortable with carrying in cash.

And then for something completely different, I've my hands on Jolla now, and it's beautiful!



A quick dmesg of course is among first things to do...

[    0.000000] Booting Linux on physical CPU 0
[    0.000000] Initializing cgroup subsys cpu
[    0.000000] Linux version 3.4.0.20131115.2 (abuild@es-17-21) (gcc version 4.6.4 20130412 (Mer 4.6.4-1) (Linaro GCC 4.6-2013.05) ) #1 SMP PREEMPT Mon Nov 18 03:00:49 UTC 2013
[    0.000000] CPU: ARMv7 Processor [511f04d4] revision 4 (ARMv7), cr=10c5387d
[    0.000000] CPU: PIPT / VIPT nonaliasing data cache, PIPT instruction cache
[    0.000000] Machine: QCT MSM8930 CDP
... click for the complete file ...

And what it has eaten: Qt 5.1!

...

qt5-qtconcurrent-5.1.0+git27-1.9.4.armv7hl
qt5-qtcore-5.1.0+git27-1.9.4.armv7hl
qt5-qtdbus-5.1.0+git27-1.9.4.armv7hl
qt5-qtdeclarative-5.1.0+git24-1.10.2.armv7hl
... click for the complete file ...

It was a very nice launch party, thanks to everyone involved.






Update: a few more at my Google+ Jolla launch party gallery

Background

I upgraded from Linux 3.8 to 3.11 among with newer Mesa, X.Org and Intel driver recently and I found a small workaround was needed because of upstream changes.

The upstream change was the Add "Automatic" mode for "Broadcast RGB" property, and defaulting to the Automatic. This is a sensible default, since many (most?) TVs default to the more limited 16-235, and continuing to default to Full from the driver side would mean wrong colors on the TV. I've set my screen to support the full 0-255 range available to not cut the amount of available shades of colors down.

Unfortunately it seems the Automatic setting does not work for my HDMI input, ie blacks become grey since the driver still outputs the more limited range. Maybe there could be something to improve on the driver side, but I'd guess it's more about my 2008 Sony TV actually having a mode that the standard suggests limited range for. I remember the TV did default to limited range, so maybe the EDID data from TV does not change when setting the RGB range to Full.

I hope the Automatic setting works to offer full range on newer screens and the modes they have, but that's probably up to the manufacturers and standards.

Below is an illustration of the correct setting on my Haswell CPU. When the Broadcast RGB is left to its default Automatic setting, the above image is displayed. When set to Full, the image below with deeper blacks is seen instead. I used manual settings on my camera so it's the same exposure.

Workaround

For me the workaround has evolved to the following so far. Create a /etc/X11/Xsession.d/95fullrgb file:
 

if [ "$(/usr/bin/xrandr -q --prop | grep 'Broadcast RGB: Full' | wc -l)" = "0" ] ; then
/usr/bin/xrandr --output HDMI3 --set "Broadcast RGB" "Full"
fi

And since I'm using lightdm, adding the following to /etc/lightdm/lightdm.conf means the flicker only happens once during bootup:

display-setup-script=/etc/X11/Xsession.d/95fullrgb

Important: when using the LightDM setting, enable executable bits (chmod +x) to /etc/X11/Xsession.d/95fullrgb for it to work. Obviously also check your output, for me it was HDMI3.

If there is no situation where it'd set back to "Limited 16:235" setting on its own, the display manager script should be enough and having it in /etc/X11/Xsession.d is redundant and slows login time down. I think for me it maybe went from 2 seconds to 3 seconds since executing xrandr query is not cheap.

Misc

Note that unrelated to Full range usage, the Limited range at the moment behaves incorrectly on Haswell until the patch in bug #71769 is accepted. That means, the blacks are grey in Limited mode even if the screen is also set to Limited.

I'd prefer there would be a kernel parameter for the Broadcast RGB setting, although my Haswell machine does boot so fast I don't get to see too many seconds of wrong colors...

Chromium on nopea avoimen lähdekoodin www-selain ja sitä tekevä projekti.
Chromium on Googlen johtama projekti, jonka tuottamasta avoimesta lähdekoodista Google muodostaa oman Google Chrome -selaimensa. Alun perin tarkoituksena oli, että projektin nimi olisi Chromium ja sen tuloksena oleva www-selain olisi nimeltään Chrome, mutta monet kolmannet osapuolet, kuten Linux-jakeluiden valmistajat, ovat paketoineet myös lähdekoodista käännettyä selainta nimellä Chromium.

Avoin Chromium toimii suurimmalta osin täsmälleen samoin kuin sen suljettu versio Chrome. Sen käyttöliittymä on selkeän minimalistinen antaen pääosan välilehdille, osoite- ja hakukentälle (Omnibox) sekä itse www-sivun sisällön näyttävälle alueelle. Kaikki valikkotoiminnot on koottu yhden valikkonappulan taakse. Selain on varsin nopea ja varmatoiminen. Se käyttää html-sivun näyttämiseen WebKit-moottorista edelleen kehitettyä Blink-moottoria. JavaSriptin suorittamiseen käytetään Googlen kehittämää nopeaa V8-JavaScript-moottoria. Chromiumissa kukin välilehti toimii omana prosessinaan, mikä tarkoittaa sitä, että yhden välilehden tai esimerkiksi sillä toimivan Flash-lisäosan kaatuminen ei vaikuta muihin välilehtiin tai koko selaimeen. Tämän ansiosta myöskään hitaasti toimiva tai muuten raskas www-sivusto ei hidasta tai jumiuta koko selainta. Lisäksi vähän Chromiumin jakeluversiosta riippuen sivujen renderöinnistä vastuussa olevat prosessit toimivat niin kutsutuissa hiekkalaatikoissa. Hiekkalaatikoiminen lisää selaimen tietoturvallisuutta, sillä hiekkalaatikossa toimivan prosessin ei ole mahdollista päästä käsiksi esimerkiksi tietokoneen tiedostojärjestelmään taikka toisten välilehtien tietoihin.

Chromiumin ulkoasua voi muokata samoilla teemoilla kuin Chrome-selaimen ulkoasua. Käytettävissä on myös sama sovelluskauppa kuin Googlen brändillä varustetussa Chromessa. Mediatiedostomuodoista Chromium tukee oletuksena vain avoimia tiedostomuotoja (Ogg Vorbix, Ogg Theora ja WebM), mutta suljetuille mediatiedostomuodoille on mahdollista asentaa tuki ulkoisina koodekkeina. Chromium on myös erinomainen työkalu web-kehittäjälle, sillä se sisältää hyvät välineet web-sivun rakenteen ja JavaScriptin analysointiin ja testaamiseen.

Chromium- ja Chrome-selainten suurimmat erot ovat:

• Chromen Google-brändäys
• Chromiumin logo on siniharmaa. Chromen logo on "Google-värikäs"
• Chromium on avointa lähdekoodia. Chrome on suljettu ja pyytää käyttäjää hyväksymään ohjelmistolisenssin.
• Chromiumista puuttuu Chromen sisäänrakennettu pdf-katselin. Sen sijaan käytetään järjestelmään asennettua erillista pdf-katselinta.
• Chromiumista puuttuu Chromeen integroitu Adoben Flash-soitin, mutta siinä voidaan käyttää tavallista Flash-lisäosaa.
• Chromiumista puuttuu Chromen sisäänrakennettu tulostus- ja esikatselujärjestelmä. Chromium käyttää alla olevan käyttöjärjestelmän normaalia tulostusjärjestelmää.
• Chromiumista puuttuu Chromen sisäänrakennettu tuki suljetuille mediatiedostomuodoille (AAC, MP3, H.264), mutta tuki myös näille on saatavilla ulkopuolisina koodekkeina.
• Chromium ei hae Chromen tapaan automaattisia päivityksiä, mutta varsinkin Linux-järjestelmissä tämä ominaisuus korvautuu keskitetyllä paketinhallinnalla.
• Chromiumista puuttuu myös Chromen tarjoama mahdollisuus Googlen käyttäjäseurannalle ja kaatumisraporttien lähettämiseen Googlelle.

Chromium-selain on saatavissa usealle alustalle: BSD-järjestelmät, Linux, Mac OS X, Windows ja Android. Näille alustoille Chromium on ladattavissa Chromium-projektin virallisena joka yö käännettävänä versiona. Suurimmalle osalle Linux-jakeluista Chromium löytyy myös suoraan niiden paketinhallinnasta. Esimerkiksi Ubuntussa Chromium saa tätä kautta myös päivitykset versiosta toiseen.

Kotisivu

http://www.chromium.org/

http://download-chromium.appspot.com/

Lisenssi

BSD-lisenssi sekä lisäksi komponentteja useilla sallivilla lisensseillä: MIT, GNU LGPL, MPL, MPL/GNU GPL/GNU LGPL-kolmoislisenssi

Toimii seuraavilla alustoilla

FreeBSD, OpenBSD, NetBSD, Linux, Mac OS X, Windows ja Android

Asennus

Chromiumin voi ladata "Nightly build"-pakettina osoitteesta http://download-chromium.appspot.com/ tai asentaa Linux-järjestelmiin suoraan paketinhallinnan kautta.

• Chromium selain vasta käynnistettynä.
• Chromium Viikon VALO -sivustolla.
• Chromiumin valikko
• Ubuntun Chromiumin versiotiedot
• Chromiumin asetukset
• Chromiumissa toimivat samat teemat kuin Chromessakin.
• "Lone Tree"-teema valittuna.
• Chromiumin työkaluista on hyötyä web-kehittäjälle.

Teksti: Pesasa
Kuvakaappaukset: Pesasa

Gettext shows its age both in developer and translator friendliness. What’s wrong with the old known localisation file formats which Google and Mozilla among others are so keen to replace? I don’t have a full answer to that. Gettext is clearly quite inflexible compared to Mozilla’s file format (which is almost a programming language) and it does not support many of the new features in Google’s resource bundles.

My general recommendation is: use the file format best supported by your i18n framework. If you can choose, prefer key based formats. Only try new file formats if you need the new features, because tool support for them is not as good. There is also no clarity which of the new file formats will “win” the fight and become popular.

When making something new, it is good to look back. The motivation why I wrote this post initially was my annoyances writing a tool which supports this format, but the context I’m going to give is completely different. It has been waiting as draft to be published for a long time because it lacked context where it makes sense. Maybe this also helps people, who are wondering what localisation file format they should use.

Enough of the general thoughts. But let’s start this evaluation with the good things:
Can support plural for many languages. The plural syntax is flexible enough to cover at least most if not all of world’s languages.
Fuzzy translations. It has a standard way to mark outdated translations, which is a necessity for this format which does not identify strings.
Tool support. Gettext can be used in many programming languages and there are plenty of tools for translators.

And then the things I don’t like:
Strings have no identifiers. This is my biggest annoyance with Gettext. Strings are identified by their contents, which means that fixing a typo in the source invalidates all translations. It also makes it impossible to keep any track of history. This causes another problem: Identical strings are collapsed by default. This is especially annoying since in English words like Open (action) and Open (state) are the same but in other languages they are different. This effectively prevents proper translations, unless a message context is provided, but here lies another problem: Not all implementations support passing context. Last time I checked this was the case at least in Python.
And one nasty corner case for tool makers is that empty context is different from no context. If you don’t handle this right you will be producing invalid Gettext files.
I listed plural support above as a plus, but it is not without its problems. One string can only have plural forms depending on one variable. This forces the developers to use lego sentences when there is more than one number, or force the translators to make ungrammatical translations. Not to mention that, in Arabic and other languages where there can be five or even more forms, you need to repeat the whole string as many times with small changes. Lots of overhead updating and proofreading that, as opposed to an inline syntax where you only mark the differences. To be fair, with an inline syntax it might hard to see how each plural form looks in full, but there are solutions to that.
There is no standard way to present authorship information except for last translator. The file header is essentially free form text, making it hard to process and update that information programmatically. To be fair, this is the case for almost all i18n file formats I’ve seen.
The comments for individual strings are funky. There are different kinds of comments that start with “#,” “#|”, not documented anywhere as far as I know, and the order of different kinds of comments matters! Do it wrong and you’ll have a file that some tools refuse to use. Not to mention that developers can also leave comments for the translators, in addition to the context parameter (so there are two ways!): the translators might or might not see them depending on the tool they use and on what is propagated from the pot file to the po file. It is quite a hassle to keep these comments in sync and repeated in all the translation files.

I’m curious to hear whether you would like to see more of these evaluations and perhaps a comparison of the formats. If there isn’t much interest I likely won’t do more.

Quill on Android-alustalla toimiva, erityisesti kosketuskynällä käytettävä muistio.
Quill on tarkoitettu käsin kirjoitettujen muistiinpanojen tekemiseen ja piirtämiseen Android-tableteilla ja jonkinlaisella kosketuskynällä. Käyttö toki onnistuu myös sormella, mutta sormi on tyypillisesti liian paksu ja epätarkka tällaiseen käyttöön. Quillin tavoitteena on olla nopeasti käyttäjän syötteeseen reagoiva ja puhtaasti vektorigrafiikkaa käyttävä ohjelma. Hieman vanhemmalla laitteella tässäkin ohjelmassa tosin tuntuu piirron yhteydessä hieman hitautta, mutta uudemmilla laitteilla kirjoittaminen on sulavaa, kuten näkyy esittelyvideosta, jossa laitteena on Lenovon Thinkpad Tablet.

Ohjelma tukee joidenkin laitteiden mukana tulevaa aktiivista paineen tunnistavaa kynää, jolloin voidaan käyttää ohjelman "Fountain Pen"-työkalua, jolla suuremmalla painamisella tulee paksumpi ja tummempi piirrosjälki. Tällaisia laitteita ovat ainakin Lenovon ThinkPad Tablet, HTC:n Jetstream ja Flyer sekä Samsungin Galaxy Note. Muilla laitteilla täytyy tyytyä piirtojälkeen, jonka paksuus on vakio ja joka täytyy valita valikosta.

Ohjelma toimii muistikirjan tavoin ja siinä voi yhteen tiedostoon kirjoittaa ja piirtää useampia sivuja. Sivujen taustaksi voi valikosta valita erilaisia taustakuvia, joita ovat esimerkiksi muutama erilainen vaakaviivoitus, ruutupaperi, nuottiviivasto sekä tyhjä valkoinen paperi. Kullekin sivulle voi valita toisistaan riippumatta eri taustan. Ohjelmalla voi tehdä useita rinnakkaisia muistikirjoja, joiden välillä voi siirtyä helposti.

Työskentelyn edetessä ohjelma tallentaa kaiken varalta varmuuskopioita, jotta työn jälki ei mene hukkaan yllättävässäkään virhetilanteessa. Valmiin muistikirjan voi automaattisen tallennuksen lisäksi myös viedä (export) yksi- tai useampisivuiseksi pdf-tiedostoksi taikka kunkin sivun erikseen png-kuvaksi. Muistikirjan sivuille voi merkitä erilaisia tunnisteita (tageja), joilla sivuja voi niputtaa samaan joukkoon kuuluviksi. Tunnisteita voi hyödyntää esimerkiksi vietäessä muistikirjaa pdf-tiedostoksi, jolloin vietäviksi sivuiksi voidaan valita vain tietyllä tunnisteella merkityt sivut.

Koska kaikki ohjelmalla tehty jälki on vektorigrafiikkaa, voidaan tuotosta zoomata lähemmäs tarkkuuden kärsimättä. Esimerkiksi piirrettäessä voidaan zoomata yksityiskohtaan ja piirtää se tarkasti suuremmassa näkymässä ja tämän jälkeen palata kokonaisnäkymään. Ohjelmassa on erikseen tila, jolla voi suojata näytön alareunan kämmenen kosketuksilta, jolloin piirtäessä ei tarvitse olla aivan niin varovainen. Piirtojäljen lisäksi muistikirjan sivuille voi lisätä viivaintyökalulla muokattavia suoria viivoja sekä kuvatiedostoja. Kuvat lisätään joko laitteella valmiiksi olevista tiedostoista taikka ottamalla valokuvan laitteen kameralla.

Ohjelman pariksi löytyy myös työpöytäohjelma, jolla onnistuu Quillin .quill-tiedostojen katseleminen sekä muuntaminen svg-, pdf- ja ps-tiedostoiksi.

Kotisivu

http://code.google.com/p/android-quill/

https://github.com/vbraun/QuillDesktop (Työpöytäohjelma)

Lisenssi

GNU GPL

Toimii seuraavilla alustoilla

Android

Asennus

Ohjelma löytyy sekä Googlen Play-kaupasta että F-Droid-ohjelmavarastosta. Työpöytäapuohjelma on saatavilla Githubista.

Videoita

Piirtämistä Quillilla

Piirrosjälkeä Quillilla

Muistiinpanoja ja piirtämistä

• Quillin piirtoalusta tyhjänä ja oletustilassa.
• Vähän käsin kirjoitettua tekstiä ja vasemman alanurkan punaisesta ikonista tuleva työkaluvalikko.
• Kuvan lisääminen tapahtuu joko olemassa olevista tiedostoista (Gallery) tai ottamalla laitteella kuvan (Photo).
• Sivulle laitettua kuvaa voi siirrellä ja sen kokoa voi muuttaa.
• Sivuille on useita vaihtoehtoisia taustakuvioita. Viivatyökalulla voi piirtää suoria viivoja, joita voi muokata myös jälkikäteen.
• Ohjelmalla on mahdollista vaikka kirjoittaa nuotteja nuottiviivastotaustakuvalle.
• Myös pelkkä piirtäminen onnistuu.
• Valmiit muistiinpanot tai piirrokset voi tallentaa png-muotoisiksi kuviksi tai myös useampisivuisiksi pdf-tiedostoiksi.
• Pdf-tiedostoksi tallennettu kolmesivuinen muistikirja avattuna Adoben readerissa.

Teksti: Pesasa
Kuvakaappaukset: Pesasa

As the readers of this blog know, I've been working on a Flow-Based Programming implementation for JavaScript in the form of the NoFlo project. The idea of FBP in nutshell is to separate the control flow of software from the actual implementation. Developers build reusable "black box" components that are then connected with each other through a graph that you can define either visually or textually.

FBP has been around for quite a while, having been invented by J. Paul Morrison in the 60s, but is now becoming more and more relevant thanks to the need for talking to multiple asynchronous APIs and different devices. While NoFlo has been stable enough for production use for about two years now, we ran a successful Kickstarter earlier this fall to push the development tools to a new level.

I attended the FSCONS conference last weekend, and gave a NoFlo talk. Since quite a few GNOME regulars were there as well, we ended up chatting about how NoFlo and FBP could be utilized in the desktop environment. I'm writing this to Planet GNOME to introduce some of those ideas.

The video from my talk isn't online yet, but you can watch a video from the talk I gave at c-base couple of months ago:

<iframe allowfullscreen="allowfullscreen" frameborder="0" height="281" mozallowfullscreen="mozallowfullscreen" src="http://player.vimeo.com/video/72065207?color=ffffff" webkitallowfullscreen="webkitallowfullscreen" width="500"></iframe>

NoFlo on gjs

An interesting development that happened this fall was that NoFlo was ported to the gjs JavaScript engine by Lionel Landwerlin. This allows us to take the ideas of Flow-Based Programming and connect them with the desktop. GNOME is an excellent candidate for this, given that JavaScript is a first-class citizen on the development platform, meaning that with the right set of components your FBP programs could integrate with all the relevant parts of the GNOME ecosystem.

Lionel posted a screencast of window management with Clutter coordinated by NoFlo:

<iframe allowfullscreen="allowfullscreen" frameborder="0" height="315" src="http://www.youtube.com/embed/p7NYgqG0CQ8" width="560"></iframe>

This is of course only the first steps, but shows a little bit of the potential. While NoFlo's low overhead could mean making actual GNOME applications with it, the initial sweet spot for the integration would be:

• Having a fast UI prototyping tool in GNOME, a bit like how Quartz Composer is used on the Apple platforms
• Allowing users to automate parts of their desktop workflow through simple FBP programs

Vinod Khosla summarized the significance of this quite well:

An author can write a book, a musician a song, a painter a painting. Most UI designers cannot realize their creation

Zeeshan also wrote about similar ideas for GNOME in his Pentu project proposal two years ago.

Bringing the GNOME platform to NoFlo

The big part of enabling flow-based GNOME development would be to provide NoFlo components for the various APIs in the GNOME ecosystem. This could be done manually, but quite possibly we could automate at least parts of the process by some smart GObject Introspection hacking.

This would be quite similar to how we integrated the Polymer Web Components with NoFlo.

As I'm currently quite busy on the NoFlo Development Environment, I won't be able to do this personally. But this sort of work would be the perfect fit for something like OPW or GSoC. I'd be happy to mentor that effort.

The NoFlo Development Environment

We're building a quite nice graphical editor and debugger for flow-based programs. You can see the current state in a UI walkthrough I posted last month.

The NoFlo UI is a web application that could be brought to the desktop by running it inside a webview. To control the NoFlo runtime inside gjs we would also need a GNOME library for dealing with WebSockets, as that is the way we talk with non-browser runtimes like Node.js or the microflo environment for Arduino programming.

By supporting the NoFlo network protocol on gjs we could easily start, stop, modify, and monitor FBP programs running inside GNOME.

In the long run it would also be possible to build a native flow-based editor as well. After all, since the data model and runtime interactions are standardized, there is no reason why multiple different tools couldn't interact with the same NoFlo graphs.

To find out more about NoFlo, visit the website, read the code on GitHub, or read the various press stories that appeared during the Kickstarter.

While I'm currently working outside of the desktop context, having been around GNOME since early 2000s I'm still following the project with interest. Having NoFlo there would be a great way to revitalize this connection.

Birdfont on vapaa työkalu kirjasintyyppien (eli fonttien) suunnitteluun.
Birdfontilla onnistuu oman kirjasintyypin tekeminen suhteellisen helposti. Työtä toki vaaditaan, kun jokaisen kirjaimen, numeron tai muun kirjasintyyppiin tarvittavan merkin ulkoasu pitää piirtää erikseen, mutta itse piirtäminen on suhteellisen helppoa. Merkit piirretään suljetuilla bezier-käyrillä, jotka koostuvat käyrän pisteistä ja kulmien pyöristyksistä.

Kirjasinten piirtämistä helpottaa esimerkiksi mahdollisuus laittaa piirtoalueen taustalle malliksi jokin kuva. Esimerkiksi käsin kirjoitetun kirjasimen voi suunnitella kirjoittamalla kirjaimet ensin käsin paperille, skannaamalla nämä sähköiseksi kuvaksi ja käyttämällä kuvaa taustana, jonka päälle piirretään varsinaiset kirjasimet. Toinen piirtämistä helpottava ominaisuus on joukko erilaisia apuviivoja ja pisteiden kohdistamiseen käytettävä ruudukko. Näiden avulla on helppoa tehdä kirjasimista säännöllisiä ja symmetrisiä.

Ohjelmaan on mahdollista tuoda myös valmiita kuvioita svg-muotoisina tiedostoina esimerkiksi Inkscapesta. Ohjelman "export"-toiminto tallentaa kirjasintyypin kolmena erityyppisenä fonttitiedostona: eot-, svg- ja ttf-muodoissa.

Birdfont tukee myös kirjasintyyppien välistystä (kerning), eli eri kirjasimien välisten etäisyyksien määrittämistä kirjainparikohtaisesti. Esimerkiksi 'A'- ja 'V'-kirjaimien viemän tilan voi tällä menetelmällä sallia menevän hieman ristiin.

Ohjelman lisenssijärjestely vaikuttaa hieman erikoiselta, sillä Birdfontia tarjotaan sen kotisivuilla kolmella eri tavalla:

1. Lähdekoodipakettina, jonka lisenssinä on GPL (ja muutama kääntämiseen tarvittava tiedosto MIT-lisenssillä)
2. Freewareksi sanotut ilmaiset binäärimuotoiset ajettavat versiot, joilla saa tehdä SIL-Open Font Lisenssin mukaan lisensoituja kirjasintyyppejä
3. Maksullinen versio kaupallisten fonttien tekemiseen

Käytännössä asetetuilla rajoituksilla on vaikutusta lähinnä Windows-alustalle, sillä muihin tuettuihin järjestelmiin ohjelman asentaminen suoraan GPL-lisenssillä tarjotusta lähdekoodipaketista ei ole kovin vaikea seuraamalla README-tiedoston ohjeita. Testitilanteessa tosin asennusskripti kopioi käytettävät kirjastotiedostot hakemistoon /usr/lib64 toimivan /usr/lib -hakemiston sijaan ja tämä jouduttiin korjaamaan käsin. Ohjelman lähdekoodit ovat saatavilla myös Gitorius-lähdekoodivarastosta.

Ubuntu-pohjaisiin järjestelmiin ohjelman voi asentaa helpommin myös tekijöiden tarjoamasta ppa-pakettilähteestä. OpenBSD-alustalle ohjelma on tarjolla suoraan sen omista lähteistä. (graphics/birdfont)

Kotisivu

http://birdfont.org/

Lähdekoodit: https://gitorious.org/birdfont/birdfont

Lisenssi

GNU GPL v.3 (ja muutama käännöstyökalu MIT-lisenssillä)

Toimii seuraavilla alustoilla

Windows, Mac OS X, Linux, OpenBSD

Asennus

Lisenssiltään rajoitetummat suoritettavat versiot Windows- ja Mac OS X -alustoille löytyvät ohjelman kotisivuilta. Ubuntu-pohjaisiin järjestelmiin voi käyttää tekijöiden tarjoamaa ppa-lähdettä. OpenBSD-järjestelmiin ohjelma on asennettavissa sen omista lähteistä. Varmasti vapaan version voi asentaa suhteellisen helposti myös suoraan lähdekoodeista niiden mukana tulevan README-tiedoston ohjeita seuraamalla.

Käyttöohjeet

Ohjelman kotisivuilla on joukko hyödyllisiä tutoriaaleja, joista osa on varustettu opastavalla videolla.

Tutoriaali ja videot: http://birdfont.org/doku/doku.php/tutorials

• Vasta aloitettu BirdFont-projekti.
• Yleisnäkymä, josta näkyy kukin muokattavissa oleva merkki.
• Yksittäisen merkin muokkausta. Taustalla mallina toimiva kuva.
• Kirjasimen kerning-asetukset. Kuvassa A- ja V- merkit sekä A- ja W-merkit menevät hieman limittäin.
• Kerning-parit taulukkona.
• Esikatselutila on html-sivu, joka tallennetaan samaan hakemistoon tallennetun fonttiprojektin kanssa. Tiedostoa voi muokata tekstieditorilla sisältämään sopivampaa tekstiä.
• Kirjasintyypin kuvaus ja metatiedot.
• Ohjelmasta True Type -fonttitiedostoksi viedyn keskeneräisen kirjasintyypin tarkastelu kirjasintyyppien asennukseen tarkoitetulla ohjelmalla.

Teksti: Pesasa
Kuvakaappaukset: Pesasa

Wow, September was a busy month. As you probably know, our NoFlo Development Environment Kickstarter succeeded with 115% funding. Thanks everybody!

Since then we've been busy hacking on the user interface and other parts of NoFlo to deliver the flow-based programming experience the community deserves. This post gives an overview on some of that.

Managing your graphs

Here is how the NoFlo Development Environment looks like today, in this case editing the graph that runs a battery level instrument connected to an AR.Drone:

All the basics of graph editing are there. You can drag and drop to make connections between ports of the different nodes, and rearrange them. When dragging we emphasise the ports that are compatible with whatever you're connecting. Ports that are not available or are of a wrong type fade out:

When you click a node you can see what component is running it, as well as edit possible Initial Information Packets to be sent to it when the graph is started:

Clicking a connection gives you a card showing the data passing through that connection in real time:

Adding new nodes can be done by dragging a component out from the library:

As is usual with modern software, there is no save button anywhere. Instead, we constantly store the changes to your browser's LocalStorage ensuring that you never lose content. Eventually we'll give you tools to commit the changes up to version control too.

Keyboard control

While the NoFlo Development Environment should work very nicely with tablets and other touchscreen devices, it is likely that many developers will still be using devices with a physical keyboard. For this, we're adding a bunch of keyboard shortcuts for faster graph editing.

The UI also features a search box where you can query things inside your graphs and the available components:

In addition to textual queries, the search widget allows written commands, a feature that was inspired by Mozilla Ubiquity:

On compatible browsers you can even edit your graph by talking, though at times the results may be more funny than useful:

Talking to different FBP runtimes

NoFlo works on both Node.js and web browsers. Since a big part of the development environment is being able to inspect and modify live NoFlo graphs, we needed a way for the UI to talk to both environments. To make this easier, we defined a network protocol for FBP runtimes.

This protocol allows transmitting graph and component information across the network, as well as controlling the execution of FBP graphs and seeing what happens with them. With client-side graphs we isolate the runtime to an iframe, and with server-side we talk over WebSockets.

The runtime protocol allows us to start and stop network execution. For client-side graphs you even get a nice preview:

Here is a simple server-side graph that just reads a file and outputs its contents. You can see how we even get the output of console.log back to the UI:

Error handling is also provided. You get notifications on any errors that happen with your graphs, as well as things like lost connection to a server-side NoFlo runtime:

An interesting side effect of having a network protocol is that it doesn't really matter to the UI whether it talks to NoFlo or to any other FBP system, as long as they are able to talk the same protocol. Various flow-based programming environments for other languages have expressed interest in our development environment, and by providing the protocol they can do this easily.

The first FBP environment to get there was Jon Nordby's MicroFlo, a flow-based programming system for microcontrollers like Arduino. Imagine controlling hardware in a flow-based manner! Jon already programmed his fridge this way.

GoFlow, the flow-based library for the Go programming language is also planning to add support, as is the cape environment for Python.

Relevant repositories

NoFlo is open source, and so is the development environment we're building. If you want to stay up to date on our progress, these are the GitHub repositories to follow:

• noflo/noflo-ui - the client-side development environment
• meemoo/dataflow - our graph editing widget
• noflo/noflo-ui-server - Node.js server for serving the UI and running server-side NoFlo processes

Trying it out

If you just want to play with some client-side graphs, the easiest way to use the NoFlo Development Environment is to open it in your browser. Try tweaking the clock demo for instance.

This is a snapshot of the UI that we update every now and then. For the cutting edge version, just install from git and build locally. However, we're actively changing things all the time at this point, so the UI might be incomplete or some things might not work at times.

What happens next?

Right now our main areas of focus are:

• Better touch interaction (ticket)
• Persistent cards for keeping inspectors you need open all the time (ticket)
• Managing whole NoFlo projects instead of single, isolated graphs (ticket)

The last one is quite important, as that will open the way for implementing highly useful features like component editing in the UI, subgraph creation, and integration with version control services.

On technical level, big part right now is move to graphs and Web Components. The NoFlo user interface is based on the graph editing tools we inherited from Forrest's Meemoo project, but we're moving more and more of the UI logic itself into graphs managed and run by NoFlo. It is kind of cool to start getting to the stage where we can use the tool to build itself!

Wikipedian perustaja Jimmy Wales oli viime viikolla Suomessa puhumassa sosiaalisesta mediasta Nordic Business Forumissa Jyväskylässä. En ollut itse seminaarissa, mutta seurasin Jimmy Walesin lehdistötilaisuutta netissä ja varsinaista esitystä Twitterissä, jossa ilahduttavan moni oli liveraportoimassa. Lehdistötilaisuuden raportoin tuoreeltaan omassa blogissani ja nyt ajattelin kertoa siitä, mitä esitys käsitteli.

Jimmy aloitti varoittamalla sosiaalisen median asiantuntijoista, joiden mielestä kaikkien pitää olla somessa.  Mutta kuka nyt haluaa seurata esimerkiksi hammaslääkäriään Twitterissä?

Niitä, jotka haaveilevat uuden nettiyhteisön perustamisesta hän neuvoi seuraavasti: palvelun pitää olla hyödyllinen ensimmäisestä päivästä lähtien ja siihen pitää liittyä tarina, johon ihmiset voivat samaistua ja jonka he haluavat myös jakaa.

Wikipedian tulevaisuudesta hän kertoi mm. seuraavaa:

• visuaalista muokkainta kehitetään sprinteissä joka viikko, sitä halutaan kehittää, sillä sen avulla toivotaan lisää ei-niin-teknisiä muokkaajia
• uusiin kieliversioihin panostetaan, etenkin kehittyvissä maissa on vielä paljon tehtävää
• niidenkin, jotka käyttävät nettiä vain kännykällä täytyy pystyä muokkaamaan Wikipediaa, eli mobiilikäyttöliittymää ollaan parantamassa
• Wikipedian ulkoasua ei sen sijaan olla radikaalisti muuttamassa – miksi korjata jotain, joka ei ole rikki?

Arvaatko muuten, mitä Jimmy Walesin takahuonevaatimukset olivat? Hän tahtoi salmiakkia, lakua, glögiä ja karjalanpiirakkaa. Ja ennen Jyväskylään tuloaan hän oli lukenut Wikipediasta Jyväskylä-artikkelin ja käynyt tutustumassa Alvar Aallon suunnittelemiin rakennuksiin. Perjantaina hän aikoi tavata Rovion ihmisiä, sillä hän tunnustautui Angry Birds -faniksi .

Jos haluat lukea lisää Jimmyn Suomen vierailusta kurkkaa Pinterest-tauluumme, johon keräämme myös mm. Wikipedia-aiheisia uutisia.

Insertables are a new tool to easily copy some text from the source language to your translation with one click.

Have you ever translated anything with the Translate extension? Did it contain markup like this?

[http://very.long.url/here link description]
{{GENDER:$1|he|she}} posted $2 on $3

If so, then you know what this is about. Have you ever translated anything with the Translate extension while using a tablet or another device without a physical keyboard? If so, then you likely know why this interesting.

When you translate text written in wiki markup, or software interface strings, you will encounter the examples above, and many more parts which you need to copy verbatim while translating. These parts contain special characters like braces, dollar signs, brackets, pipes and so on. These characters are cumbersome to type on non-English keyboards, where they have been moved to more difficult to reach key combinations in favour of local characters – if they exist in the layout at all. If they don’t exist in the keyboard layout, you need to switch keyboard layouts just to type few characters and then switch it back.

Does this sound cumbersome? Many translators in fact do not do that, but instead they copy and paste the text from the source text. On tablets however, copy and paste itself is a cumbersome thing. Insertables are a solution to this usability issue.

We can automatically identify a part of the translatable text which has the following properties: it should not be changed and it is difficult to type. We can then present these parts of strings as buttons near the translation. Clicking or pressing that button inserts the text into the translation. These buttons complement the insert source text button and are optional to use, like all translation helpers we provide.

As of now, we only detect a few types of these insertables: plural, grammar magic words, and variables in MediaWiki style ($1). Read more on Translate documentation for how to contribute more insertables.

Software Freedom Day (Avointen ohjelmien päivä) on kansainvälinen tapahtuma, jota vietetään 286 tapahtumalla ympäri maailmaa tänä vuonna. Päivän tarkoitus on lisätä avoimen lähdekoodin ohjelmistojen tunnettuutta.

Mikä avoin ohjelma?

Avoimella ohjelmalla tarkoitetaan ohjelmaa, jonka lisenssi takaa käyttäjille neljä perusvapautta:

1. käyttää ohjelmaa rajoituksetta
2. tutkia ohjelman toimintaa (lähdekoodista)
3. muokata ohjelmaa ja tehdä uusia versioita
4. jakaa ohjelmaa edelleen kenelle tahansa

Tunnettuja avoimen lähdekoodin ohjelmistoja ovat mm. Android-käyttöjärjestelmä, Firefox- ja Chromium-nettiselaimet, VLC-mediasoitin ja LibreOffice-toimisto-ohjelmisto. Tutkimusten mukaan, laajasta käytöstä huolimatta, kuitenkin vasta kolmasosa suomalaisista tietää mitä avoin lähdekoodi on.

Tapahtumalla halutaan nostaa ihmisten tietoisuuteen ohjelmistojen alkuperät, kehitysmallit sekä tekijöiden ja kehittäjien intressit. Tapahtumat järjestäjät uskovat, että avoimet ohjelmat ovat sekä eettisesti että teknisesti parempi vaihtoehto kuin suljetut ohjelmat.

Avoin lähdekoodi on myös taloudellisesti merkittävä asia. Esimerkiksi tunnetut verkkopalvelut kuten Google, Facebook ja Twitter toimivat avoimen lähdekoodin palvelinohjelmistojen avulla, eikä palveluita olisi syntynyt ilman avoimia ohjelmistoja.

Avoin lähdekoodi on erityisen ajankohtaista siksi, että se on ainoa keino suojautua vakoilukäyttöön tehtyjä takaporteja vastaan. Lähdekoodin avoimuus mahdollistaa ohjelman toiminnan yksityiskohtaisen tutkimisen.

Varsinkin Suomessa avoimen lähdekoodin tulisi olla tunnettua, onhan moni avointen ohjelmistojen pääkehittäjä suomalainen. Esimerkkeinä mainitaakoon Linus Torvalds, Michael “Monty” Widenius ja Timo Sirainen.

Suomessa kokoonnutaan Helsingissä

Suomessa tapahtumaa vietetään nimellä Avointen ohjelmien päivä, joka on kaikelle yleisölle avoin ja ilmainen tilaisuus torstaina 19.9. klo 17:30 alkaen Helsingissä.

Avointen ohjelmien päivän tilaisuus alkaa esittelyllä mitä avoimet ohjelmat ovat ja mistä niitä löytää. Tämän jälkeen tapahtuma jatkuu asennustyöpajana, jossa paikalla olevat asiantuntijat auttavat ohjelmien asennuksessa yleisön omiin tietokoneisiin. Tarjolla on sekä Ubuntu-asennuksia, että myös muita Linux-jakeluja sekä myös VALO-ohjelmia Windowsiin ja Maciin. Tilaisuus on helpoin tapa tutustua ja päästä käyttämään avoimia ohjelmia.

Tarkempi ohjelma ja ilmoittautumislomake löytyvät COSS.fi:n verkkosivuilta.

Tilaisuuden järjestää yhteistyössä Euroopan vapaiden ohjelmistojen säätiön (FSFE) Suomen tiimi sekä Suomen avointen tietojärjestelmien keskus COSS ry.

Suomen tapahtuman sivut: http://coss.fi/tapahtumat/avoimien-ohjelmien-paiva-2013-software-freedom-day-2013/

Kansainvälisen tapahtuman sivut: http://www.softwarefreedomday.org/

Liity COSSin jäseneksi

Jos haluat tukea tätä sekä muuta toimintaa avoimen lähdekoodin edistämiseksi Suomessa, liity COSSin jäseneksi osoitteessa coss.fi/liity

The Parrot AR.Drone is quite a lot of fun, and also quite hackable. We recently got one, and the first thing to do was to connect the excellent Node.js ar-drone module with the NoFlo flow-based programming framework.

While quite a lot of work remains, it was already very satisfying to see how the drone was able to fly patterns based on the NoFlo graphs we created.

This will obviously be more interesting when we have the rest of the motion commands implemented, and can start reading the output of the various sensors on the drone to make it react to its environment. Also interesting would be to connect this to the various other NoFlo libraries so that the Drone could be controlled by other protocols, or could react to things happening in other web services.

You can see some example flows in Susanna's droning project.

NoFlo and flying robots. What could go wrong? Just a little hint from back in April:

The NoFlo Kickstarter reached 100% of the funding goal this morning! Now that things are going smoothly there, I can focus more on this and other examples. Stay tuned!

J. Paul Morrison invented Flow-Based Programming while at IBM in 1969.

I ran into the concept in 2011 while trying to figure out a better way to create software. I read his canonical book on the subject, and decided to try and implement it in JavaScript. Thus, NoFlo got started.

It has been an honor to have Paul as a mentor in the process. In late June 2013 we flew to Toronto to meet him. What resulted was quite a thorough code review of NoFlo's FBP implementation, and a video interview. The interview with Paul is finally online. Enjoy!

<iframe allowfullscreen="allowfullscreen" frameborder="0" height="281" mozallowfullscreen="mozallowfullscreen" src="http://player.vimeo.com/video/72238422?color=ffffff" webkitallowfullscreen="webkitallowfullscreen" width="500"></iframe>

If you want to meet Paul in person, the next opportunity will be in the Toronto Flow-Based Programming meetup on September 11th. On the same week we also have my NoFlo talk in Zurich on the 10th, and Forrest's talk in Berlin on the 14th.

In other news, the NoFlo Kickstarter campaign just hit 96%. Please help us get it funded so we can bring better flow-based tools to designers and programmers everywhere!

The Wikimaps project was involved in a chain of international events. First in series was State of the Map Baltics organized in Tartu, Estonia. The series continued to Wikimania in Hong Kong ja finally the project was part of a code sprint organized to celebrate the 9th birthday of OpenStreetMap.

In Tartu

Together with the Baltic mappers we arranged a workshop on historical maps of Tartu. The Estonian National Archives, the National Library and Tartu University provided us with the old maps. They depict the city of Tartu over the years 1892–1986. All maps used in the workshop are now available in hi-res in Wikimedia Commons.

Tartu’s history is multifaceted: The fortress, that was known as Tarbatu in the first centuries AD, was renamed Yuryev when Yaroslav the Wise, the Grand Prince of Kiev renamed it after his Christian name Yuri. Conquerors and names kept changing since. In the end of the 13th century Tartu was a member of the Hanseatic League under the name Dorpat. For the Swedish rulers Tartu was known as Dorpat, as well as for the Polish ones. The Estonian name Tartu was adopted since Estonia detached from Russia in 1918. This was good material for our workshop.

OpenStreetMap actives from Estonia, Finland, Russia, Belarus and Poland were gathered in the main building of the Tartu University. OpenStreetMap Foundation representatives from western Europe attended also.

We started the workshop early Sunday morning. I presented the maps and the challenges

• Who would use old maps?
• How could the historical maps be used?
• Comments on a specific section of the Wikimaps plan

We worked with a tight schedule in five groups. Attentive sounds of discussion filled the space. Two of the groups managed to get their thoughts on paper.

The first group discussed the properties that are to be collected from a map. As an example, when a mapper traces the Tartu Town Hall, there is no way of knowing the start_date, the construction year of the building – only that it existed at the given date. Or maybe the map is not truthful. In one of the maps from the Soviet era the geographic features had been falsified.

We discussed routing and calculating travel times along historical itineraries. Routes emerge and disappear: bridges are bombed, railway tracks removed and a cycling track is built in place, new highways are built.

The proposal for mapping Paris of the Musketeers triggered more ideas of placing literature on a map: Pubs of Joyce’s Ulysses, Sherlock Holmes’ London, Robin Hood in Nottingham and mapping the land of Kalevala, the national epic of Finland. Biographies of historical figures could be placed on a map in Wikipedia.

In Hong Kong

Later the same week hundreds of wikipedians gathered in Hong Kong for Wikimania from all over the world. During the event the participants in the multitude of Wikimedia projects can exchange experiences and tighten their collaboration. On the other hand it is an opportunity for the Wikimedia Foundation staff to discuss developing the environment together with the volunteers. For Wikimaps it was an chance to show what we have done and start establishing the project.

Round table discussion

The first thing done in Hong Kong was organizing a round table discussion about geodata in Wikimedia. Particiapants were people from Wikimedia projects that use geodata as well as people from the Wikimedia Foundation.

• Maarten Dammers presented the Geographicus map donation he has helped to upload in the Commons.
• Barbara Fischer presented a work in progress for a time-based animated map of Römisches Limes representing the erection and disappearance of Roman fortresses in Central Europe. The German Wikimedia organized an interesting event Wikidata trifft Archäologie 2013 this spring that gathered together the people working with definitions of place in the Ancient world.
• Hugo Lopez is starting a project where maps for Wikipedia articles could be created from GIS data dynamically.
• Daniel Kinzler explained the state of geodata in Wikidata.
• Wikimaps presented briefly.
• Tim Alder ja Daniel Schwen were present. They have been creating connections between Wikimedia and OpenStreetMap over the years. WikiMiniAtlas, OSM-Gadget, Geohack and WIWOSM have been made by them.

We discussed the needs of the projects and created a document.

Presentation

By the end of the week Susanna presented Wikimaps together with Maarten Dammers. Maarten is a volunteer of great projects in the Wikimedia Commons and he has originally proposed a project by the name Wikimaps.

We presented the Wikimaps Warper that has been customized for Wikimedia Commons by it’s original developer Tim Waters. It is now possible to georeference images in the Wikimedia Commons. The maps that have been georeferenced, can in turn be used in Open Historical Map for mapping historical features with OpenStreetMap tools.

OpenStreetMap Birthday Sprint

With all we had done and presented over the course of the week, we were part of the OpenStreetMap code sprint. 12 hour time zone difference made it impossible for us to do things together, simultaneously. The maps of Tartu had travelled from archives in Tartu via Hong Kong to an event in the US.

Links

• Wikimaps
• Wikimaps Tartu–Hong Kong. Here you can try out georeferencing and mapping yourself.
• Wikimaps presentation, Hong Kong
• Tartu maps in Wikimedia Commons
• Jerry Clough writes about the Tartu workshop in his blog
• Pekka Sarkola writes about the workshop in his blog (in Finnish)
• Open Historical Map
• OpenStreetMap Birthday Sprint

Suomessa on nykyisin kymmeniä organisaatioita jotka työskentelevät ‘avoimuuden’ parissa jollain alueella (avoimen tiedon, lähdekoodin, demokratian, kulttuuriperinnön, jne). Avoimuuden neuvottelukunnan tavoitteena on lisätä yhteydenpitoa ja yhteistyötä näiden organisaatioiden välillä.

Tervetuloa avoimuuden neuvottelukunnan ensimmäiseen tapaamiseen!

Ensimmäisessä tapaamisessa jokaisella organisaatiolla on mahdollisuus pitää lyhyt puheenvuoro (‘lightning talk’). Esitykset striimataan verkkoon jonne ne jäävät myös jatkossa arkistoon. Puheenvuorojen jälkeen on varattu aikaa yhteiselle keskustelulle & iltaa voidaan jatkaa Kaapelitehtaan Hima & Salissa.

AIKA

Maanantai 2.9.2013, klo 14-17 (omakustanteinen lounas klo 13-14)

PAIKKA

Frame-säätiö, Kaapelitehdas, 4. kerros

AIKATAULU

klo 13-14 Omakustanteinen lounas (Hima & Sali, Kaapelitehdas)
klo 14-15 Avoimuuden neuvottelukunnan tapaaminen: lyhyet lighting talkit (1 per organisaatio) sekä yhteistä keskustelua (Frame-säätiön kokoushuone, Kaapelitehdas 4. kerros)
klo 17- Vapaamuotoiset jatkot (Hima & Sali, Kaapelitehdas)

Ensimmäisen tapaamisen käytännön järjestelyistä vastaa Juha Huuskonen (Otavan Opisto/OKFFI), jh (at) juhahuuskonen.fi, +358 40 570 96 17. Tapaamisen puheenjohtajana toimii Antti Poikola (Otavan Opisto/OKFFI).

ILMOITTAUTUMINEN & LISÄTIEDOT

Ilmoittaudu tapaamiseen lisäämällä nimesi Etherpad-sivulle (jossa on myös lisätietoja tapahtumasta):

http://new.okfnpad.org/p/avoimuuden_neuvottelukunta_tapaaminen_syyskuu_2013

AVOIMUUDEN NEUVOTTELUKUNTA

Avoimuuden neuvottelukunnan käynnistämistä ovat olleet valmistelemassa seuraavat tahot: Avoin ministeriö, COSS, Creative Commons Finland, Forum Virium Helsinki, OKFFI, Otavan Opisto, Sitra, Verkkodemokratiaseura ja Wikimedia Suomi. Tapaamisia on tarkoitus järjestää jatkossa 2 kertaa vuodessa.

Avoimuuden neuvottelukunta Wikimedian sivuilla: http://fi.wikimedia.org/wiki/Avoimuuden_neuvottelukunta

- See more at: http://fi.okfn.org/2013/08/23/avoimuuden-neuvottelukunnan-1-tapaaminen/#sthash.DbhAwWxX.dpuf

Wikimaps-projekti oli mukana useiden kansainvälisten tapahtuminen ketjussa. Sarjan aloitti State of the Map Baltics Tartossa. Se jatkui Wikimaniaan Hong Kongissa ja lopuksi projekti oli osa Yhdysvalloissa järjestettyä OpenStreetMapin 9. syntymäpäivän kunniaksi järjestettyä ohjelmointisprinttiä.

Tartossa

Järjestimme OpenStreetMapin Balttian alueen aktiivien kanssa työpajan Tarton vanhoista kartoista. Saimme vanhoja karttoja käyttöömme Viron Kansalliskirjastosta, Kansallisarkistosta ja Tarton yliopiston kirjastosta. Kartat kuvaavat Tarton kaupunkia vuosina 1892–1986. Kaikki työpajassa käytetyt kartat ovat nyt saatavissa korkearesoluutioisina Wikimedia Commonsissa.

Tarton historia on monisäikeinen: Ajanlaskun alkupuolella Tarbatuna tunnettu linnoitus sai uuden nimen Jurjev Kiovan ruhtinas Jaroslav I:n nimetessä sen oman nimensä mukaan vuonna 1030. Valloittajat ja nimet ovat vaihtuneet siitä lähtien. Tartto kuului 1200-luvun lopulta Hansaliittoon nimellä Dorpat. Ruotsalaisvalloittajille Tartto oli myös Dorpat, samoin puolalaisille. Vironkielistä nimeä Tartua, suomeksi Tarttoa, alettiin käyttää pääsääntöisesti vuodesta 1918 alkaen Viron irrotessa venäläisvallasta. Tässä oli hyvää aineistoa työpajaamme varten.

OpenStreetMapin kartta-aktiiveja kokoontui Tarton yliopiston päärakennukseen Suomen ja isäntämaan lisäksi Venäjältä, Valkovenäjältä ja Puolasta. Mukana oli myös OpenStreetMap-säätiön edustajia läntisestä Euroopasta.

Aloitimme työpajan aikaisin sunnuntaiaamuna. Esittelin kartat ja haasteet

• Kuka vanhoja karttoja haluaisi käyttää?
• Kuinka vanhoja karttoja kannattaisia käyttää?
• Haluaisin kommentoida yhtä Wikimapsin työvaiheista

Osallistujat työskentelivät tiukassa aikataulussa viidessä eri ryhmässä. Keskittynyt keskustelu porisi salissa. Kaksi ryhmistä ehti koostaa kartoista esityksensä paperille.

Ensimmäinen ryhmä keskusteli ominaisuuksista, joita kartan merkinnöistä talletetaan. Esimerkiksi kun kartoittaja jäljentää vuoden 1914 kartalta Tarton raatihuoneen ääriviivat, hän ei silti osaa kertoa, mikä on rakennuksen rakennusvuosi. Ehkä kartta ei olekaan totuudenmukainen. Käsiteltävänä oli neuvostoajan kartta, jossa maantieteellisiä piirteitä oli vääristelty.

Keskusteltiin myös reitittämisestä ja matka-ajan laskemisesta historiallisia kulkureittejä pitkin. Reittejä syntyy ja poistuu: siltoja pommitetaan, rautateitä puretaan ja tilalle syntyy pyörätie, uusia autoteitä rakennetaan.

Ehdotus Muskettisoturien Pariisin kartoittamisesta synnytti useita muitakin ajatuksia kirjallisuuden kartalle sijoittamisesta: Joycen Odysseus ja pubit, Sherlock Holmesin Lontoo, Robin Hood Nottinghamissa ja Kalevala Suomen tanhuvilla. Historiallisten henkilöiden elämäkerrat voisi Wikipediassa sijoittaa kartalle.

Honkongissa

Myöhemmin samalla viikolla Wikimaniaan kokoontui satapäin wikipedistejä maailman kaikilta kolkilta. Tapahtumassa Wikimedian moninaisten projektien osallistujat voivat vaihtaa kokemuksia ja tiivistää yhteistyötään. Toisaalta se on tilaisuus Wikimedia-säätiön väelle ja vapaahtoisille keskustella Wikimedia-ympäristön kehittämisestä. Wikimapsille se oli mahdollisuus näyttää mitä on jo tehty ja istuttaa hanke projektien puutarhaan.

Pyöreän pöydän keskustelu

Järjestimme ensin Wikimaps -pyöreän pöydän keskustelun. Siihen osallistui Wikimediassa paikkatietoa hyödyntäviä projekteja sekä Wikimedia-säätiön edustajia.

• Maarten Dammers esitteli Geographicus-karttalahjoituksen, jonka hän on auttanut siirtämään Commonsiin.
• Barbara Fischer esitteli työn alla olevan Römisches Limes -projektin, jossa roomalaisia linnoituksia esitetään karttapohjaisena animaationa. Saksan Wikimedia järjesti keväällä kiinnostavan Wikidata trifft Archäologie 2013 -tapahtuman, johon kokoontui historiallisen paikkatiedon kansainvälinen kerma.
• Hugo Lopez käynnistää projektia, jossa Wikimedian artikkeleiden karttoja voitaisiin tuottaa datalähtöisesti GIS-aineistosta.
• Daniel Kinzler Wikidatasta kertoi, missä vaiheessa geodatan kanssa ollaan
• Wikimaps esittäytyi pikaisesti
• Paikalla olivat myös Tim Alder ja Daniel Schwen, jotka ovat rakentaneet yhteyksiä Wikimedian ja OpenStreetMapin välille useiden vuosien ajan. WikiMiniAtlas, OSM-Gadget ja  WIWOSM ovat heidän tekemiään.

Keskustelimme yhdessä projektien tarpeista ja teimme siitä yhteisen dokumentin.

Presentaatio

Viikon lähestyessä loppuaan Susanna esitteli Wikimapsin yhdessä Maarten Dammersin kanssa. Maarten on Wikimedia Commonsissa suuria projekteja tehnyt WIkimedian vapaaehtoinen ja hän on alkujaan ehdottanut projektia nimellä Wikimaps.

Esittelimme Tim Watersin Wikimedia Commonsiin muokkaaman Wikimaps Warperin, jonka avulla on nyt mahdollista georeferoida Wkimedia Commonsissa olevia karttoja. Wikimaps Warperilla oikaistuja karttoja voi puolestaan käsitellä Open Historical Map -ympäristössä OSM-työkaluilla.

OpenStreetMap Birthday Sprint

Kaikella sillä, mitä olimme viikon aikana tehneet ja esittäneet, olimme osa OpenStreetMapin koodisprinttiä. 12 tunnin aikaeron takia emme kuitenkaan onnistuneet tekemään asioita yhdessä, yhtä aikaa. Tarton kartat olivat matkanneet tarttolaisesta arkistosta Hong Kongin kautta tapahtumaan Yhdysvalloissa.

Linkkejä

• Wikimaps
• Wikimaps Tartu–Hong Kong. Täällä voit itse kokeilla karttojen oikaisua ja jäljentämistä.
• Wikimaps presentaatio, Hong Kong
• Tarton karttoja Wikimedia Commonsissa
• Jerry Clough kirjoittaa Tarton workshopista blogissaan
• Pekka Sarkola kirjoittaa workshopista blogissaan
• Open Historical Map
• OpenStreetMap Birthday Sprint

Kumpi voittaa 7531-tikkupelin? Miksi?
Säännöt kahdelle pelaajalle.
Alkuasetelma: Tikut ovat riveittäin, ensimmäisellä rivillä 7 tikkua, seuraavalla 5, sitten 3 ja viimeisellä 1.

Vuorollaan pelaaja valitsee yhden rivin ja poistaa siltä haluamansa määrän tikkuja. Kuitenkin ainakin yhden. Halutessaan vaikka kaikki (eikä tietenkään enempää kuin mitä rivillä on).

Häviäjä on se pelaaja joka joutuu ottamaan pelilaudalta viimeisen tikun.

Saanko aloitusvuoron vai haluatko sinä aloittaa pelin? Todista.

Pysähdy tähän miettimään.

Vastaus alkaa:

Otetaan käyttöön merkintätapa, jossa jokainen pelitilanne kuvataan neljällä numeromerkillä. Koska tikkurivien järjestyksellä ei ole merkitystä, sovitaan että numeromerkit ovat aina suurimmasta pienimpään. Eli tila 2100 = 2010 = 2001 = 1200 = 1020 = 0120 = 0210 = 0201 = 0021. Merkitään näitä kaikkia tiloja 2100:lla
Nyt pelin häviämisehto on:

Määritelmä I
Pelaaja häviää jos hänelle tulee tila 1000.
(Reunahuomautus: Jos jättäisimme nollat kokonaan merkitsemättä, tikkurivien määrä aloituksessa voisi olla jokin muukin kuin neljä.)

Tässä seuraa matemaattinen todistus. ‘Lemma’ on siis ‘apulause’. Koodarit voi ajatella sen funktiokutsuna (älä sotke matematiikan funktioihin). Määrittelen aina ensin lemman, ennen kuin käytän sitä, jotta ei varmasti synny kehäpäätelmiä.

Väitän että aloittaja häviää aina (tämä selviää todistuksen lopusta vasta).
Väite: Kaikille (eli ∀) aloittajan siirroille löytyy (eli ∃) vastustajalta vastine, jolla aloittaja häviää.

Lemma 1110: vuorossa oleva pelaaja häviää, jos hänelle tulee tila 1110.
Todistus: Tekee pelaaja minkä tahansa siirron, niin seuraava tila on 1100.
Josta vastustaja palauttaa 1000. Määritelmän mukaan häviää.

Lemma 2200: häviää
Todistus: (Pelaaja voi ottaa jommalta kummalta riviltä joko yhden tai kaksi tikkua.)
Voi päätyä tilaan
a) 2100
Josta vastustaja palauttaa 1000. Määritelmän mukaan häviää.
b) 2000
Josta vastustaja palauttaa 1000. Määritelmän mukaan häviää.

Lemma 2211: häviää
Todistus: Voi päätyä tilaan
a) 2210
Josta vastustaja palauttaa 2200. Lemman 2200 mukaan häviää.
b) 2111
Josta vastustaja palauttaa 1110. Lemman 1110 mukaan häviää.
c) 2110
Josta vastustaja palauttaa 1110. Lemman 1110 mukaan häviää.

Lemma 3210: häviää
Todistus: Voi päätyä tilaan
a) 3200
Josta vastustaja palauttaa 2200. Lemman 2200 mukaan häviää.
b) 3110
Josta vastustaja palauttaa 1110. Lemman 1110 mukaan häviää.
c) 2210
Josta vastustaja palauttaa 2200. Lemman 2200 mukaan häviää.
d) 2110
Josta vastustaja palauttaa 1110. Lemman 1110 mukaan häviää.
e) 2100
Josta vastustaja palauttaa 1000. Määritelmän mukaan häviää.

Lemma 3300: häviää
Todistus: Voi päätyä tilaan
a) 3200
Josta vastustaja palauttaa 2200. Lemman 2200 mukaan häviää.
b) 3100
Josta vastustaja palauttaa 1000. Määritelmän mukaan häviää.
c) 3000
Josta vastustaja palauttaa 1000. Määritelmän mukaan häviää.

Lemma 3311: häviää
Todistus: Voi päätyä tilaan
a) 3310
Josta vastustaja palauttaa 3300. Lemman 3300 mukaan häviää.
b) 3211
Josta vastustaja palauttaa 2211. Lemman 2211 mukaan häviää.
c) 3111
Josta vastustaja palauttaa 1110. Lemman 1110 mukaan häviää.
d) 3110
Josta vastustaja palauttaa 1110. Lemman 1110 mukaan häviää.

Lemma 4400: häviää
Todistus: Voi päätyä tilaan
a) 4300
Josta vastustaja palauttaa 3300. Lemman 3300 mukaan häviää.
b) 4200
Josta vastustaja palauttaa 2200. Lemman 2200 mukaan häviää.
c) 4100
Josta vastustaja palauttaa 1000. Määritelmän mukaan häviää.
d) 4000
Josta vastustaja palauttaa 1000. Määritelmän mukaan häviää.

Lemma 4411: häviää
Todistus: Voi päätyä tilaan
a) 4410
Josta vastustaja palauttaa 4400. Lemman 4400 mukaan häviää.
b) 4311
Josta vastustaja palauttaa 3311. Lemman 3311 mukaan häviää.
c) 4211
Josta vastustaja palauttaa 2211. Lemman 2211 mukaan häviää.
d) 4111
Josta vastustaja palauttaa 1110. Lemman 1110 mukaan häviää.
e) 4110
Josta vastustaja palauttaa 1110. Lemman 1110 mukaan häviää.

Lemma 5500: häviää
Todistus: Voi päätyä tilaan
a) 5400
Josta vastustaja palauttaa 4400. Lemman 4400 mukaan häviää.
b) 5300
Josta vastustaja palauttaa 3300. Lemman 3300 mukaan häviää.
c) 5200
Josta vastustaja palauttaa 2200. Lemman 2200 mukaan häviää.
d) 5100
Josta vastustaja palauttaa 1000. Määritelmän mukaan häviää.
e) 5000
Josta vastustaja palauttaa 1000. Määritelmän mukaan häviää.

Lemma 5410: häviää
Todistus: Voi päätyä tilaan
a) 5400
Josta vastustaja palauttaa 5500. Lemman 5500 mukaan häviää.
b) 5310
Josta vastustaja palauttaa 3210. Lemman 3210 mukaan häviää.
c) 5210
Josta vastustaja palauttaa 3210. Lemman 3210 mukaan häviää.
d) 5110
Josta vastustaja palauttaa 1110. Lemman 1110 mukaan häviää.
e) 5100
Josta vastustaja palauttaa 1000. Määritelmän mukaan häviää.
f) 4410
Josta vastustaja palauttaa 4400. Lemman 4400 mukaan häviää.
g) 4310
Josta vastustaja palauttaa 3210. Lemman 3210 mukaan häviää.
h) 4210
Josta vastustaja palauttaa 3210. Lemman 3210 mukaan häviää.
i) 4110
Josta vastustaja palauttaa 1110. Lemman 1110 mukaan häviää.
j) 4100
Josta vastustaja palauttaa 1000. Määritelmän mukaan häviää.

Lemma 5511: häviää
Todistus: Voi päätyä tilaan
a) 5510
Josta vastustaja palauttaa 5500. Lemman 5500 mukaan häviää.
b) 5411
Josta vastustaja palauttaa 4411. Lemman 4411 mukaan häviää.
c) 5311
Josta vastustaja palauttaa 3311. Lemman 3311 mukaan häviää.
d) 5211
Josta vastustaja palauttaa 2211. Lemman 2211 mukaan häviää.
e) 5111
Josta vastustaja palauttaa 1110. Lemman 1110 mukaan häviää.
f) 5110
Josta vastustaja palauttaa 1110. Lemman 1110 mukaan häviää.

Lemma 6420: häviää
Todistus: Voi päätyä tilaan
a) 6410
Josta vastustaja palauttaa 5410. Lemman 5410 mukaan häviää.
b) 6400
Josta vastustaja palauttaa 4400. Lemman 4400 mukaan häviää.
c) 6320
Josta vastustaja palauttaa 3210. Lemman 3210 mukaan häviää.
d) 6220
Josta vastustaja palauttaa 2200. Lemman 2200 mukaan häviää.
e) 6210
Josta vastustaja palauttaa 3210. Lemman 3210 mukaan häviää.
f) 6200
Josta vastustaja palauttaa 2200. Lemman 2200 mukaan häviää.
g) 5420
Josta vastustaja palauttaa 5410. Lemman 5410 mukaan häviää.
h) 4420
Josta vastustaja palauttaa 4400. Lemman 4400 mukaan häviää.
i) 4320
Josta vastustaja palauttaa 3210. Lemman 3210 mukaan häviää.
j) 4220
Josta vastustaja palauttaa 2200. Lemman 2200 mukaan häviää.
k) 4210
Josta vastustaja palauttaa 3210. Lemman 3210 mukaan häviää.
l) 4200
Josta vastustaja palauttaa 2200. Lemman 2200 mukaan häviää.

Lemma 6431: häviää
Todistus: Voi päätyä tilaan
a) 6430
Josta vastustaja palauttaa 6420. Lemman 6420 mukaan häviää.
b) 6421
Josta vastustaja palauttaa 6420. Lemman 6420 mukaan häviää.
c) 6411
Josta vastustaja palauttaa 4411. Lemman 4411 mukaan häviää.
d) 6410
Josta vastustaja palauttaa 5410. Lemman 5410 mukaan häviää.
e) 6331
Josta vastustaja palauttaa 3311. Lemman 3311 mukaan häviää.
f) 6321
Josta vastustaja palauttaa 3210. Lemman 3210 mukaan häviää.
g) 6311
Josta vastustaja palauttaa 3311. Lemman 3311 mukaan häviää.
h) 6310
Josta vastustaja palauttaa 3210. Lemman 3210 mukaan häviää.
i) 5431
Josta vastustaja palauttaa 5410. Lemman 5410 mukaan häviää.
j) 4431
Josta vastustaja palauttaa 4411. Lemman 4411 mukaan häviää.
k) 4331
Josta vastustaja palauttaa 3311. Lemman 3311 mukaan häviää.
l) 4321
Josta vastustaja palauttaa 3210. Lemman 3210 mukaan häviää.
m) 4311
Josta vastustaja palauttaa 3311. Lemman 3311 mukaan häviää.
n) 4310
Josta vastustaja palauttaa 3210. Lemman 3210 mukaan häviää.

Lemma 6521: häviää
Todistus: Voi päätyä tilaan
a) 6520
Josta vastustaja palauttaa 6420. Lemman 6420 mukaan häviää.
b) 6511
Josta vastustaja palauttaa 5511. Lemman 5511 mukaan häviää.
c) 6510
Josta vastustaja palauttaa 5410. Lemman 5410 mukaan häviää.
d) 6421
Josta vastustaja palauttaa 6420. Lemman 6420 mukaan häviää.
e) 6321
Josta vastustaja palauttaa 3210. Lemman 3210 mukaan häviää.
f) 6221
Josta vastustaja palauttaa 2211. Lemman 2211 mukaan häviää.
g) 6211
Josta vastustaja palauttaa 2211. Lemman 2211 mukaan häviää.
h) 6210
Josta vastustaja palauttaa 3210. Lemman 3210 mukaan häviää.
i) 5521
Josta vastustaja palauttaa 5511. Lemman 5511 mukaan häviää.
j) 5421
Josta vastustaja palauttaa 5410. Lemman 5410 mukaan häviää.
k) 5321
Josta vastustaja palauttaa 3210. Lemman 3210 mukaan häviää.
l) 5221
Josta vastustaja palauttaa 2211. Lemman 2211 mukaan häviää.
m) 5211
Josta vastustaja palauttaa 2211. Lemman 2211 mukaan häviää.
n) 5210
Josta vastustaja palauttaa 3210. Lemman 3210 mukaan häviää.

Lemma 6530: häviää
Todistus: Voi päätyä tilaan
a) 6520
Josta vastustaja palauttaa 6420. Lemman 6420 mukaan häviää.
b) 6510
Josta vastustaja palauttaa 5410. Lemman 5410 mukaan häviää.
c) 6500
Josta vastustaja palauttaa 5500. Lemman 5500 mukaan häviää.
d) 6430
Josta vastustaja palauttaa 6420. Lemman 6420 mukaan häviää.
e) 6330
Josta vastustaja palauttaa 3300. Lemman 3300 mukaan häviää.
f) 6320
Josta vastustaja palauttaa 3210. Lemman 3210 mukaan häviää.
g) 6310
Josta vastustaja palauttaa 3210. Lemman 3210 mukaan häviää.
h) 6300
Josta vastustaja palauttaa 3300. Lemman 3300 mukaan häviää.
i) 5530
Josta vastustaja palauttaa 5500. Lemman 5500 mukaan häviää.
j) 5430
Josta vastustaja palauttaa 5410. Lemman 5410 mukaan häviää.
k) 5330
Josta vastustaja palauttaa 3300. Lemman 3300 mukaan häviää.
l) 5320
Josta vastustaja palauttaa 3210. Lemman 3210 mukaan häviää.
m) 5310
Josta vastustaja palauttaa 3210. Lemman 3210 mukaan häviää.
n) 5300
Josta vastustaja palauttaa 3300. Lemman 3300 mukaan häviää.

VÄITE: Tilanteesta 7531 häviää.
Todistus: Voi päätyä tilaan
a) 7530
Josta vastustaja palauttaa 6530. Lemman 6530 mukaan häviää.
b) 7521
Josta vastustaja palauttaa 6521. Lemman 6521 mukaan häviää.
c) 7511
Josta vastustaja palauttaa 5511. Lemman 5511 mukaan häviää.
d) 7510
Josta vastustaja palauttaa 5410. Lemman 5410 mukaan häviää.
e) 7431
Josta vastustaja palauttaa 6431. Lemman 6431 mukaan häviää.
f) 7331
Josta vastustaja palauttaa 3311. Lemman 3311 mukaan häviää.
g) 7321
Josta vastustaja palauttaa 3210. Lemman 3210 mukaan häviää.
h) 7311
Josta vastustaja palauttaa 3311. Lemman 3311 mukaan häviää.
i) 7301
Josta vastustaja palauttaa 3210. Lemman 3210 mukaan häviää.
j) 6531
Josta vastustaja palauttaa 6431. Lemman 6431 mukaan häviää.
k) 5531
Josta vastustaja palauttaa 5511. Lemman 5511 mukaan häviää.
l) 5431
Josta vastustaja palauttaa 5410. Lemman 5410 mukaan häviää.
m) 5331
Josta vastustaja palauttaa 5511. Lemman 5511 mukaan häviää.
n) 5321
Josta vastustaja palauttaa 3210. Lemman 3210 mukaan häviää.
o) 5311
Josta vastustaja palauttaa 3311. Lemman 3311 mukaan häviää.
p) 5310
Josta vastustaja palauttaa 3210. Lemman 3210 mukaan häviää.

□

A new Compiz window manager performance update reached Ubuntu 12.04 LTS users last week. This completes the earlier [1] [2] enabling of 'unredirected' (compositing disabled) fullscreen gaming and other applications for performance benefits.

The update has two fixes. The first one fixes a compiz CPU usage regression. The second one enables unredirection also for Intel and Nouveau users using the Mesa 9.0.x stack. That means up-to-date installs from 12.04.2 LTS installation media and anyone with original 12.04 LTS installation who has opted in to the 'quantal' package updates of the kernel, X.Org and mesa ^*)

The new default setting for the unredirection blacklist is shown in the image below (CompizConfig Settings Manager -> General -> OpenGL). It now only blacklists the original Mesa 8.0.x series for nouveau and intel, plus the '9.0' (not a point release).


I did new runs of OpenArena at openbenchmarking.org from a 12.04.2 LTS live USB. For comparison I first had a run with the non-updated Mesa 9.0 from February. I then allowed Ubuntu to upgrade the Mesa to the current 9.0.3, and ran the test with both the previous version of Compiz and the new one released.

12.04.2 LTS    Mesa 9.0   | Mesa 9.0.3 | Mesa 9.0.3
               old Compiz | old Compiz | new Compiz
OpenArena fps    29.63    |   31.90    | 35.03     

Reading into the results, Mesa 9.0.3 seems to have improved the slowdown in the redirected case. That would include normal desktop usage as well. Meanwhile the unredirected performance remains about 10% higher.

*) Packages linux-generic-lts-quantal xserver-xorg-lts-quantal libgl1-mesa-dri-lts-quantal libegl1-mesa-drivers-lts-quantal. 'raring' stack with Mesa 9.1 and kernel 3.8 will be available around the time of 12.04.3 LTS installation media late August.

Article in Finnish

Brages Pressarkiv is a newspaper archive that has been collecting clippings from the Swedish press in Finland since 1910. Brages has collected and arranged the clipping based on time, location, theme or person – since 1990 in digital form. Older clippings are neatly organized in folders or brown envelopes within brown cardboard boxes. Real sense of an archive!

The archive classifies and geolocates all Swedish news material daily: the media houses don’t provide that information. Since cuts in financing the archive has been forced to argue and align the activities to the national preservation tasks for the press.

Wikipediaklinik brought a full house of interested attendants. Mikael Böök, a father figure of open knowledge and Wikipedia in Finland, presented the basic guidelines for Wikipedia editing. Fear not, grab the topics!

Jessica Parland-von Essen, the leading lady of the archive, edited the Swedish article about J. G. Granö, a Finnish geographer. The article is significantly shorter than the same article in Finnish.

This topic was raised in the post event discussion: The need to be informed, if an article does not exist in your own language. This applies especially to minority languages with local topics. One of the participants brought up Manypedia! On the other hand we discussed the possibilities of using Wikidata information for bringing up especially missing articles.

Read more about the event Serendipitet bland arkivhyllorna arranged by Brages Pressarkiv, in Swedish

It has been a busy spring: I have yet to blog about Translate UX and Universal Language Selector projects, which have been my main efforts.
But now something different. In this field you can never stop learning. So I was very pleased when my boss let me participate in a week-long course, where Francis Tyers and Tommi Pirinen taught how to do machine translation with Apertium. Report of the course follows.

From translation memory to machine translation

Before going to the details about the course, I want to share my thoughts about what is the relation between the different translation memory and machine translations techniques we are using to help translators. The three different techniques are:

• Crude translation memory: for example the TTMServer of Translate
• Statistical machine translation: for example Google Translate or Microsoft Translator
• Rule-based machine translation: for example Apertium

In the figure below, I have used two properties to compare them.

• On x-axis is the amount of information that is extracted from the stored data. Here the stored data is usually a corpus of aligned^* translations in two or more languages.
• On y-axis is the amount of external knowledge used by the system. This data is usually dictionaries, rules how words inflect and rules about grammar–or even how to split text into sentences and words.

^* Aligned means that the system knows which parts of the text correspond to each other in the translations. Alignment can be at paragraph level, sentence level or even smaller parts of the text.

A very crude implementation just stores an existing translation and can retrieve it if the very same text is translated again.

TTMServer is a little more sophisticated: it splits the translation into paragraph-sized chunks, and it can retrieve the existing translation even if the new text does not match the old text exactly. This system uses only a little information about the data. Even if all the words exist in it, translated as part of different units (strings), the system still cannot provide any kind of translation. Internally, TTMServer uses some external knowledge on how to split up text into words, in order to speed up translation retrieval.

Statistical machine translation at simplest is just a translation memory which extracts more information about the stored translation data. It gathers a huge database about which words usually occur as translation of the words in the source language. Usually it also stores the context so that in the sentence “walking along the river bank” the term “bank” is not interpreted as a building. Most sophisticated systems can also include knowledge about inflection and grammar to filter out invalid interpretations, or even fix grammatically incorrect forms.

On the right hand side of the figure we have rule-based machine translation systems like Apertium. These systems mainly rely on language dependent information supplied by the maker of the system: bilingual dictionaries, inflection and syntax rules are needed for them to function. Unlike the preceding ones, such systems are always language specific. Creating a machine translation needs a linguist for each language in the system.
Still, even these systems can benefit from statistical methods. While they do not store translation data itself, such data can be analysed and used as input to find the correct way to read ambiguous sentences, or the most common translation of a word in the given context among some alternatives.

The ultimate solution for machine translation is most likely a combination of rules and information extracted from a huge translation corpora.

The course

To create a machine translation system with Apertium, you need to choose a source and target language. I built a system to translate from Kven to Finnish. Kven is very close to Finnish, so it was quite easy to do even though I do not know much Kven. Each student was provided skeleton files and a story in the source language, also translated to the target language by a human translator.

We started by adding words in order of frequency to the lexicon. Lexicon defines part of speech and the inflection paradigms of the words. The paradigms are used to analyze the word forms, and also for generation when translating in the opposite direction. Then we added phonological rules. For example Finnish has a vowel harmony. Because of that, many word endings (cases) have two forms, depending on the word – for example koirassa (in the dog), but hiiressä (in the mouse).

As a third step, we created a bilingual dictionary in a form that is suitable for machines (read: XML). At this point we started seeing some words in the target language. Of course we also had to add the lexicon for the target language, if nobody else had done it already.

Finally we started adding rules.
We added rules to disambiguate sentences with multiple readings. For example, in the sentence “The door is open” we added a rule that open is an adjective rather than a verb, because the sentence already has a verb.
We added rules to convert the grammar. For example Finnish cases are usually replaced with prepositions in English. We might also need to add words: “sataa” needs an explicit subject in English, “it rains”.

At the end we compared the translation produced by our system with the translation made by the human translator. We briefly considered two ways to evaluate the quality of the translation.
First, we can use something like edit distance for words (instead of characters) to count how many insertion, deletions or substitutions are needed to change the machine translation to human translation. Otherwise, we can count how many words the human translator needs to change when copy editing the machine translation.
Machine translation systems start to be useful when you need to fix only one word out of six or more words in the translation.

The future

A little while ago Erik asked how the Wikimedia Foundation could support machine translation, which is now mostly in hands of big commercial entities (though the European Union is also building something) and needs an open source alternative.

We do not have lot of translation corpora like Google. We do have lots of text in different languages, but it is not the same content in all languages and it’s not aligned. Exceptions are translatewiki.net and other places where translations are done with the Translate extension. As a side note I think that translatewiki.net contains one of the most multilingual parallel translation corpora under a free license.

Given that we have lots of people in the Wikimedia movement who are multilingual and interested in languages, I think we should cooperate with an existing open source machine translation system (like Apertium) in a way that allows our users to enhance that system. Doing more translations increases the data stored in a translation memory making it more useful. In a similar fashion, doing more translations with machine translation system should make it better.

Apertium has already been in use on the Nynorsk Wikipedia. Bokmål and nynorsk are closely related languages: the kind of situation where Apertium excels.

One thing I have been thinking is that, now that the Wikimedia Language Engineering team is planning to build tools to help translate Wikipedia articles into other languages, we could closely integrate it with Apertium. We could provide an easy way for translators to add missing words and report unintelligible sentences.

I don’t expect most of our translators to actually write and correct rules, so someone should manage that on Apertium side. But at least word collection could be mostly automated; I bet someone has tried and will try to use Wiktionary data too.

As a first step, Wikimedia Foundation could set up their own Apertium instance as a web service for our needs (existing instances are too unstable). The translate extension, for example, can query such a web service to provide translation suggestions.

If you're running an Android device with GNU userland Linux in a chroot and need a full network access over USB cable (so that you can use your laptop/desktop machine's network connection from the device), here's a quick primer on how it can be set up.

When doing Openmoko hacking, one always first plugged in the USB cable and forwarded network, or like I did later forwarded network over Bluetooth. It was mostly because the WiFi was quite unstable with many of the kernels.

I recently found out myself using a chroot on a Nexus 4 without working WiFi, so instead of my usual WiFi usage I needed network over USB... trivial, of course, except that there's Android on the way and I'm a Android newbie. Thanks to ZDmitry on Freenode, I got the bits for the Android part so I got it working.

On device, have eg. data/usb.sh with the following contents.

#!/system/xbin/sh
CHROOT="/data/chroot"

ip addr add 192.168.137.2/30 dev usb0
ip link set usb0 up
ip route delete default
ip route add default via 192.168.137.1;
setprop net.dns1 8.8.8.8
echo 'nameserver 8.8.8.8' >> $CHROOT/run/resolvconf/resolv.conf

On the host, execute the following:

adb shell setprop sys.usb.config rndis,adb
adb shell data/usb.sh
sudo ifconfig usb0 192.168.137.1
sudo iptables -A POSTROUTING -t nat -j MASQUERADE -s 192.168.137.0/24
echo 1 | sudo tee /proc/sys/net/ipv4/ip_forward 
sudo iptables -P FORWARD ACCEPT

This works at least with Ubuntu saucy chroot. The main difference in some other distro might be whether the resolv.conf has moved to /run or not. You should be now all set up to browse / apt-get stuff from the device again.

Update: Clarified that this is to forward the desktop/laptop's network connection to the device so that network is accessible from the device over USB.
Update2, 09/2013: It's also possible to get working on the newer flipped images. Remove the "$CHROOT" from nameserver echoing and it should be fine. With small testing it got somehow reset after a while at which point another run of data/usb.sh on the device restored connection.

Packages

I quite like the current status of Qt 5 in Debian and Ubuntu (the links are to the qtbase packages, there are ca. 15 other modules as well). Despite Qt 5 being bleeding edge and Ubuntu having had the need to use it before even the first stable release came out in December, the co-operation with Debian has gone well. Debian is now having the first Qt 5 uploads done to experimental and later on to unstable. My work contributed to pkg-kde git on the modules has been welcomed, and even though more work has been done there by others, there haven't been drastic changes that would cause too big transition problems on the Ubuntu side. It has of course helped to ask others what they want, like the whole usage of qtchooser. Now with Qt 5.0.2 I've been able to mostly re-sync all newer changes / fixes to my packaging from Debian to Ubuntu and vice versa.

There will remain some delta, as pkg-kde plans to ask for a complete transition to qtchooser so that all Qt using packages would declare the Qt version either by QT_SELECT environment variable (preferable) or a package dependency (qt5-default or qt4-default). As a temporary change related to that, Debian will have a debhelper modification that defaults QT_SELECT to qt4 for the duration of the transition. Meanwhile, Ubuntu already shipped the 13.04 release with Qt 5, and a shortcut was taken there instead to prevent any Qt 4 package breakage. However, after the transition period in Debian is over, that small delta can again be removed.

I will also need to continue pushing any useful packaging I do to Debian. I pushed qtimageformats and qtdoc last week, but I know I'm still behind with some "possibly interesting" git snapshot modules like qtsensors and qtpim.

Patches

More delta exists in the form of multiple patches related to the recent Ubuntu Touch efforts. I do not think they are of immediate interest to Debian – let's start packaging Qt 5 apps to Debian first. However, about all of those patches have already been upstreamed to be part of Qt 5.1 or Qt 5.2, or will be later on. Some already were for 5.0.2.

A couple of months ago Ubuntu did have some patches hanging around with no clear author information. This was a result of the heated preparation for the Ubuntu Touch launches, and the fact that patches flew (too) quickly in place into various PPA:s. I started hunting down the authors, and the situation turned out to be better than I thought. About half of the patches were already upstreamed, and work on properly upstreaming the other ones was swiftly started after my initial contact. Proper DEP3 fields do help understanding the overall situation. There are now 10 Canonical individuals in the upstream group of contributors, and in the last week's sprint it turned out more people will be joining them to upstream their future patches.

Nowadays about all the requests I get for including patches from developers are stuff that was already upstreamed, like the XEmbed support in qtbase. This is how it should be.

One big patch still being Ubuntu only is the Unity appmenu support. There was a temporary solution for 13.04 that forward-ported the Qt 4 way of doing it. This will be however removed from the first 13.10 ('saucy') upload, as it's not upstreamable (the old way of supporting Unity appmenus was deliberately dropped from Qt 5). A re-implementation via QPA plugin support is on its way, but it may be that the development version users will be without appmenu support for some duration. Another big patch is related to qtwebkit's device pixel ratio, which will need to be fixed. Apart from these two areas of work that need to be followed through, patches situation is quite nice as mentioned.

Conclusion

Free software will do world domination, and I'm happy to be part of it.

Ubuntua kehittävän Canonicalin ja Dellin yhteistyönä tehty Dell XPS 13 Ubuntu Edition on nyt julkaistu uudistettuna versiona, ja se on saatavilla myös Suomesta. Kannettava on saman tyylinen kuin MacBook Air 13, mutta se on sentin kapeampi ilman että näyttö tai näppäimistö olisi pienempi, ja moni asia on tehty paremmin, kuten esimerkiksi käyttöjärjestelmä

Nopean testauksen perusteella laite on erittäin hyvä. Nopea Intel i7-prosessori, 8 GB RAM-muistia ja 256 SSD-levy tekee kannettavasta erittäin nopean. Pohjasta löytyy tuuletin mutta se ei tavallisesti lainkaan pyöri, joten kannettava on käytännössä äänetön. Akkukesto on käytöstä riippuen 5-10 tuntia, ja virtalähdekin on niin pieni että se on kätevä kantaa mukana.

Laitteiston Linux-ajurit ovat luonnollisesti erinomaiset ja kaikki toimii kuten esiasennetulta Linux-kannettavalta voi olettaakin. Monet yksityiskohdat kuten taustavalaistu näppäimistö sekä kannettavanan sammutettunakin ollessa toimiva virrallinen USB-portti ja akun varaustason ilmaisin antavat muutenkin laadukkaan oloiselle alumiinista ja kevlarista tehdylle laitteelle lisäpisteitä. Paras ominaisuus on ehkä kuitenkin teräväpiirtonäyttö jonka resoluution on 1920×1080 pikseliä.

Dell XPS 13 Ubuntu Edition ja muita esiasennettuja Ubuntu-koneita voi ostaa tällä hetkellä vain yhdeltä Dellin jälleenmyyjältä suoraan www.teraset.net/linux.php, ja tarjouksen pyytämällä sen voi ostaa myös Pirkanmaan Konttorikone Oy:ltä tai jos on yritysasiakas, myös suoraan Delliltä. Laitetta ei ollut tilattavissa esim. Jimm’s PC:stä tai Gigantista edes tarjousta pyytämällä, mutta toivottavasti näin hyvä laite tulee laajemmin tarjolle.

Lisää valokuva ja yksityiskohtainen esittely löytyy Seravon blogista (englanniksi).

Usually it's easy to get things working with Qt (http://qt-project.org), but recently I encoutered an issue when trying to implement simple component derived from QGraphicsWidget. My initial idea was to use QGraphicsItem, so I made this little class:

class TestItem : public QGraphicsItem
{
public:
        TestItem(QGraphicsItem *parent=0) : QGraphicsItem(parent) {}
        void paint(QPainter *painter, const QStyleOptionGraphicsItem *option, QWidget *widget = 0);
        virtual QRectF boundingRect () const;

protected:
        virtual void mousePressEvent(QGraphicsSceneMouseEvent *event);
        virtual void mouseReleaseEvent(QGraphicsSceneMouseEvent *event);
};

void TestItem::mousePressEvent(QGraphicsSceneMouseEvent *event)
{
        qDebug() << __PRETTY_FUNCTION__ << "press";
}

void TestItem::mouseReleaseEvent(QGraphicsSceneMouseEvent *event)
{
        qDebug() << __PRETTY_FUNCTION__ <<  "release";
}

void TestItem::paint(QPainter *painter, const QStyleOptionGraphicsItem *option, QWidget *widget)
{
        Q_UNUSED(option)
        Q_UNUSED(widget)
        painter->fillRect(boundingRect(), QColor(255,0,0,100));
}

QRectF TestItem::boundingRect () const
{
        return QRectF(-100, -40, 100, 40);
}

Everything was working like expected, but in order to use a QGraphicsLayout, I wanted to derive that class from QGraphicsWidget. The naive way was to make minimal changes:

class TestWid : public QGraphicsWidget
{
        Q_OBJECT
public:
        TestWid(QGraphicsItem *parent=0) : QGraphicsWidget(parent) { }
        void paint(QPainter *painter, const QStyleOptionGraphicsItem *option, QWidget *widget = 0);
        virtual QRectF boundingRect () const;

protected:
        virtual void mousePressEvent(QGraphicsSceneMouseEvent *event);
        virtual void mouseReleaseEvent(QGraphicsSceneMouseEvent *event);
};

void TestWid::mousePressEvent(QGraphicsSceneMouseEvent *event)
{
        qDebug() << __PRETTY_FUNCTION__ <<  "press";
}

void TestWid::mouseReleaseEvent(QGraphicsSceneMouseEvent *event)
{
        qDebug() << __PRETTY_FUNCTION__ <<  "release";
}

void TestWid::paint(QPainter *painter, const QStyleOptionGraphicsItem *option, QWidget *widget)
{
        Q_UNUSED(option)
        Q_UNUSED(widget)
        painter->fillRect(boundingRect(), QColor(0,0,255,100));
}

QRectF TestWid::boundingRect () const
{
        return QRectF(-100, -40, 100, 40);
}

Pretty straightforward, isn't it? It showed and painted things like expected, but I didn't get any mouse events. Wait what?

I spent hours just trying out things and googling this problem. I knew I had this very same issue earlier but didn't remember how I solved it. Until I figured out a very crucial thing, in case of QGraphicsWidget you must NOT implement boundingRect(). Instead use setGeometry for the object.

So the needed changes was to remote the boundingRect() method, and to call setGeometry in TestWid constructor:

setGeometry(QRectF(-100, -40, 100, 40));

After these very tiny little changes I finally got everthing working. That all thing made me really frustrated. Solving this issue didn't cause good feeling, I was just feeling stupid. Sometimes programming is a great waste of time.

Esiasennettuja, tuettuja Ubuntu-tietokoneita on myyty maailmalla jo kauan, erityisesti idässä päin miljoonia. Ubuntu-kumppaneita ovat Dell, Lenovo, Asus ja nykyään HP. Myös Euroopan maissa ainakin Dell ja Asus ovat käyneet kauppaa, mutta Suomessa merkkitietokoneiden Ubuntu-tarjonta on ollut vähissä.

Ostin 2,5 vuotta sitten Dell Latitude 2110 -miniläppärin Ubuntulla, mutta välissä on ollut kausia jolloin ainakaan Dell Suomen sivujen perusteella Ubuntua ei ole ollut valittavissa. Tarjontaa on kuitenkin viime aikoina taas ilmaantunut, eikä edes ihan tavallista tarjontaa.

Ansaitusti ensimmäisenä tulee mainita terävintä kärkeä oleva ultrabook “Dell XPS 13 developer edition” (tarkemmat tiedot katso PDF tällä sivulla), joka tosin muista Euroopan maista poiketen on tilattavissa Suomessa vain puhelimitse. XPS 13:n rinnalla kalpenee aika lailla kaikki kilpailevat ultrabookit – tarjolla on 13.3″ Full HD -näyttö IPS-tekniikalla ja Gorilla Glassilla, 8GB muistia, 256GB SSD-levy ja tietenkin laitteelle räätälöity Ubuntu 12.04 LTS.

Hieman tavallisempaa läppäritarjontaa edustaa Terasetin 15.6″-tuumaisella näytöllä varustettu Dell Vostro 2520. Se tarjoaa 2,2GHz i3-2228M -suorittimen, 4GB muistia, 320GB perinteisen kiintolevyn ja kaiken mitä nykyaikaiselta peruskannettavalta tarvitaan. Myös Vostron mukana toimitetaan Ubuntu 12.04 LTS.

Päivitys: Kuten kommenteissa on mainittu, moni muukin Dellin jälleenmyyjä kuten Pohjolan tietotekniikka, Data Group Hyvinkää, Tietokonekauppa.fi ja Jimm’s myyvät Dell-kannettavia ja -työasemia Ubuntu 12.04:llä nykyään.

Timo Jyrinki

 

Ubuntu Touch -julkistuksien saama vauhdikas lähtö ovat kiristämässä tahtia myös muualla.

Ubuntu puhelimille julkistettiin tammikuun alussa, ja sai paljon lehtipalstatilaa ollen strategisesti sijoitettu viikkoa ennen CES-messuja. Silloin vielä ainoastaan esiteltiin ohjelmistoa vanhemmalla Samsung Galaxy Nexus -puhelimella.

Ubuntu tableteille julkistettiin reilu viikko sitten, jonka jälkeen sekä puhelimien että tablettien lähdekoodi avattiin maailmalle. Tämän jälkeen kehittäjäyhteisön suosio on räjähtänyt, sillä Canonicalin tarjoamien Samsung Galaxy Nexus-, LG Nexus 4-, Asus Nexus 7- ja Samsung Nexus 10 -laitteiden (2 puhelinta ja 2 tablettia) Ubuntu-esiversioiden lisäksi yhteisö on työstänyt runsaasti muitakin. Daniel Holbachin Ubuntu Touch -laitesovitusaloitteen, kirjoitettujen sovitusohjeiden ja XDA-foorumeiden avulla Ubuntua on sovitettu jo useille kymmenille puhelimille ja tableteille. Huom: Vaikka laitteita voi käyttää Ubuntulla ja käyttöliittymä on jo nyt hieno ja toimiva, kaikki tämä on tarkoitettu vain ohjelmistokehittäjille / innokkaille harrastajille. On oletettavaa, että jo asennuksen kommervenkkien takia tavallisille käyttäjille sopii parhaiten se, että Ubuntu-tuotteita ilmestyisi kaupan hyllylle ensi vuoden vaihteessa.

Ubuntu Touch kokonaisuutena saavutti suurta huomioita Barcelonan Mobile World Congress -tapahtumassa, saaden muun muassa CNET:n “Best of MWC” -palkinnon ohittaen täpärästi Firefox OS:n. MWC:ssähän oli tunnetusti myös suomalaisväriä Jollan muodossa, ja siellä nähtiin mielenkiintoinen “ystävät & haastajat samassa pöydässä” -keskustelu, jossa keskustelivat Canonicalin Mark Shuttleworth, Mozillan Mitchell Baker ja Jollan Marc Dillon. Näiden lisäksi haastajia markkinoillahan ovat Samsungin ja Intelin Tizen sekä BlackBerry (entinen RIM). Sekä Jolla, Ubuntu että BlackBerry käyttävät MeeGostakin tuttua Qt:ta pohjana käyttöliittymilleen, vaikka alemman tason tekniset ratkaisut eroavatkin. Ubuntu on meille tuttu Ubuntu-jakelu, Jolla käyttää MeeGon jatkajaa Meriä, ja Blackberry ei käytä Linuxia lainkaan vaan omaa QNX-käyttöjärjestelmäänsä.

Ikään kuin tässä ei olisi riittävästi pureskeltavaa, Ubuntu Developer Summitin tiimoilta kerrottiin fridge.ubuntu.com:ssa ja Jono Baconin toimesta, että tapahtumaa aletaan järjestää useammin, kerran kolmessa kuukaudessa, ja se siirtyy ainakin alustavasti kokonaan Internetiin. Linkkien kautta löytyy pidemmät perustelut siitä, miten tämä auttaa yhteisöä osallistumaan ja toisaalta minkälaisia ongelmia saattaa tulla.

Viimeisenä todellisena pommina, josta keskustellaan jo nyt runsaasti, ja lisää ensi viikon UDS:ssä, Canonicalin Rick Spencer nosti esille aiempien “jatkuvan julkaisun” suunnitelmien käynnistämisen saman tien eikä vasta 14.04 LTS:n jälkeen. Tämä tarkoittaisi puolivuosittais-Ubuntujen korvaamista jatkuvasti päivittyvällä Ubuntulla, josta kahden vuoden välein tavalliseen tapaan tuotettaisiin pitkäaikaisesti tuettu LTS-julkaisu. Suurin mullistus liittyy puolitoista vuotta sitten aloitettuun päivittäisen laadunvalvonnan parantamiseen, jonka tarkoituksena on tuoda kehitysversion käytettävyys samalle tasolle kuin mitä puolivuosittaisjulkaisuissa. Rickin mukaan Ubuntu ”Raring Ringtail” on jo tänä päivänä yhtä käytettävä kuin Ubuntu 12.10 oli julkaisuhetkellä, vaikka epäilyksiä ja soraääniäkin on ymmärrettävästi.

Kaikesta päätellen tätä “rolling releasea” ollaan vahvasti ajamassa, eikä toistaiseksi ainakaan ole löytynyt mitään lopullista lykkäystä vaativaa ongelmaa. Paljon on kuitenkin tekemistä, ja osa Ubuntu sisarprojekteista on ymmällään. Kubuntu ihmettelee, miten KDE-päivitykset tulisi jatkossa jakaa. Mythbuntu taas sattumalta siirtyi “vain LTS” -linjaan jo 12.04 LTS:n yhteydessä, ja tekevät oman PPA-kanavan kautta oman tonttinsa päivityksiä. Sekä tavallisina päivityksinä että PPA:iden kautta epäilemättä tullaan näkemään entistä enemmän uusia ohjelmistoja LTS-julkaisuille.

Tämä viimeinen asia sopii hyvin Ubuntu Suomen linjalle, sillä olemme jo pitkään suositelleet kaikille tavallisille käyttäjille pitkäaikaisesti tuettua LTS-julkaisua. Uutuutena 12.04 LTS:ssä on puolivuosittain päivittyvä laitetuki uuden asennuslevyn muodossa – jos nyt asentaa tuoreen 12.04.2 LTS:n, laitetuki vastaa Ubuntu 12.10:n laitetukea, eli toimii myös uudemmilla kaupasta ostetuilla koneilla.

Timo Jyrinki

 

Siivosin työhuoneeni kirjahyllyn. Paljon kirjoja meni roskiin, mutta muutama jäi jaettavaksi. Joukossa on todellisia ohjelmoinnin klassikoitakin. Lähettäkää sähköpostia, jos kiinnostutte kirjasta tai useammastakin.

http://goo.gl/IhHqX

 

Kerroimme jo aiemmin Steamin tulosta Ubuntuun, mutta nyt Valve on joululahjana avannut beta-testauksen kaikille.

Lisätiedot: Linux Beta Access (steamcommunity.com)

Muissa peliuutisissa myös The Humble Indie Bundle #7 on tullut saataville kahden viikon ajaksi, ja tälläkin kertaa pelit ovat ostoksen jälkeen ladattavissa Ubuntun sovellusvalikoiman kautta.

Viimeisenä joulu-uutisena myöhäinen maininta tutusta Ubuntu Suomen Joulupata-potista. Mainostusta olisi varmasti voinut hoitaa aiemminkin

Recently I got a Intel Ivy Bridge based laptop. Generally I'm quite satisfied with it. Of course installed latest Ubuntu on it. First problem was EFI boot and BIOS had no other options. Best way to work around it was to use EFI aware grub2. I wanted to keep the preinstalled Windows 7 there for couple of things, so needed dual boot.

After digging around this German links was most relevant and helpful: http://thinkpad-forum.de/threads/123262-EFI-Grub2-Multiboot-HowTo.

In the end all I needed to do was to install Grub2 to EFI boot parition (/dev/sda1 on my case) and create the grub.efi binary under that. Then just copy /boot/grub/grub.cfg under it as well. On BIOS set up new boot label to boot \EFI\grub\grub.efi

After using the system couple of days found out random crashes. The system totally hanged. Finally traced the problem to HD4000 graphics driver: http://partiallysanedeveloper.blogspot.fi/2012/05/ivy-bridge-hd4000-linux-freeze.html

Needed to update Kernel. But which one? After multiple tries, I took the "latest" and "shiniest" one: http://kernel.ubuntu.com/~kernel-ppa/mainline/v3.4-precise/. With that kernel I got almost all the functionality and stability I needed.

However one BIG problem: headphones. I got sound normally from the speakers but after plugging in the headphones I got nothing. This problem seems to be on almost all the kernels I tried. Then I somehow figured out a important thing related to this. When I boot with headphone plugged in I got no sound from them. When I boot WITHOUT headphones plugged then they work just fine. Of course I debugged this problem all the time with the headphones plugged in and newer noticed this could be some weird detection problem. Since I kind of found solution for this I didn't bother to google it down. And of course Canonical does not provide support for unsupported kernels. If I remember correctly with the original Ubuntu 12.04 kernel this worked, but the HD4000 problem is on my scale bigger one than remember to boot without plugging anything to the 3.5" jack....

Of course my hopes are on 12.10 and don't want to dig it deeper, just wanted to inform you about this one.

I have not blogged for a while, now that I am on summer holiday and got a new laptop I finally have something to blog about. I got a Thinkpad T430 and installed a Samsung SSD 830 myself. The 830 is not actually the best choice for a Linux user because you can only download firmware updates with a Windows tool. The tool does let you make a bootable FreeDOS USB disk with which you can apply the update, so you can use a Windows system to download the update and apply it just fine on a Linux system. The reason I got this SSD is that it is 7 mm in height and fits into the T430 without removing any spacers.

I installed Fedora 17 on the laptop and selected drive encryption in the Anaconda installer. I used ext4 and did not use LVM, I do not think it would be of much use on a laptop. After the installation I discovered that Fedora 17 does not enable SSD TRIM/discard automatically. That is probably a good default, apparently all SSDs do not support it. When you have ext4 partitions encrypted with LUKS as Anaconda does it, you need to change two files and regenerate your initramfs to enable TRIM.

First, edit your /etc/fstab and add discard to each ext4 mount. Here is an example of my root mount:
/dev/mapper/luks-secret-id-here / ext4 defaults,discard 1 1

Second, edit your /etc/crypttab and add allow-discards to each line to allow the dmcrypt layer to pass TRIM requests to the disk. Here is an example:
luks-secret-id-here UUID=uuid-here none allow-discards

You need at least dracut-018-78.git20120622.fc17 for this to work, which you should already have on an up-to-date Fedora 17.

Third, regenerate your initramfs by doing dracut -f. You may want to take a backup of the old initramfs file in /boot but then again, real hackers do not make backups .

Fourth, reboot and check with cryptsetup status luks-secret-id-here and mount that your file systems actually use discard now.

Please note that apparently enabling TRIM on encrypted file systems may reveal unencrypted data.

With Ubuntu not supplying a kernel suitable for the CPU (a Geode GX2 by National Semiconductors, a 486 buzzing at 399MHz clock rate) of my Viglen MPC-L (the one Duncan documented the installation of Xubuntu in 2010), it was time to look for other alternatives. I wasn’t too keen on the idea of using some random repository to get the suitable kernel for newer version of Ubuntu, so Debian was the next best thing that came to mind.

Friday night, right before heading out to pub with friends, I sat on the couch, armed with a laptop, USB keyboard, RGB cable and a USB memory stick. Trial and error reminded me to

1. use bittorrent to download the image since our flaky Belkin-powered Wifi cuts off the connection every few minutes and thus corrupts direct downloads, and
2. do the boot script magic of pnpbios=off noapic acpi=off like with our earlier Xubuntu installation.

In contrast to the experience of installing Xubuntu on the Viglen MPC-L, the Debian installation was easy from here on. The installer seemed to not only detect the needed kernel and install the correct one (Linux wizzle 2.6.32-5-486 #1 Mon Mar 26 04:36:28 UTC 2012 i586 GNU/Linux) but, judging from the success of the first reboot after the installation had finished and a quick look at /boot/grub/grub.cfg, had also set the right boot options automatically. So the basic setup was a *lot* easier than it was with Xubuntu!

Some things that I’ve gotten used to being automatically installed with Ubuntu weren’t pre-installed with Debian and so I had to install them for my usage. Tasksel installed ssh server, but rsync, lshw and ntfs-3g needed to be installed as well which I had gotten used to having in Ubuntu, but installing them wasn’t too much of a chore. As I use my Viglen MPC-L as my main irssi shell nowadays, I had to install of course irssi, but some other stuff needed by it and my other usage patterns… so… after installing apt-file pastebinit zsh fail2ban for my pet peeves, and tmux irssi irssi-scripts libcrypt-blowfish-perl libcrypt-dh-perl libcrypt-openssl-bignum-perl libdbi-perl sqlite3 libdbd-sqlite3-perl I finally have approximately the system I needed.

All in all, the experience was a lot easier than what I had with Xubuntu in September 2010. It definitely surprised me and I kind of hope that this process wasn’t as easy and automated 18 months ago…

I got my Nokia Lumia 800 (Windows 7 -phone) from Nokia, and I consider myself as Linux-developer.

I attached Lumia phone to my computer and nothing happened. Went to discussion forum and learned there are no way to access phone via Linux. End of story (that was not long story).

This is a good old case of RTFM, but since I spent a couple of hours figuring it out, I thought I’d blog about it anyway…

The WhiteSpace package in Emacs allows you to visualize whitespace in your code. The overall settings of the package are controlled with the ‘whitespace-style’ variable. Before Emacs 23 you didn’t need to include the ‘face’ option to make different faces work. However, since Emacs 23 you need to have it set.

Now I can keep obsessing about whitespace with an up-to-date version of Emacs, and maybe publicly posting stuff like this will help me remember to RTFM in the future also :)

The idea for this all started with someone mentioning

it’d be good if there was some magic thing which did some SSH voodoo to get you a shell that the person on the other end could watch

So, I took a quick look around and noticed that Screen can already do multiuser sessions, which do exactly this. However, controlling the session requires writing commands to screen, which is both relatively complex for beginners and relatively slow if the remote user is typing in ‘rm -Rf *’ ;)

So, I created a wizard-like python script, which sets up a multiuser screen session and a simple one button GUI (using PyGTK) for allowing and disallowing the remote user access to the session. It also optionally creates a script which makes it easier for the remote user to attach to the session.

Download

Known issues:

• The helper script creation process for the remote user does not check the user input and runs sudo. Even though the script warns the user, it’s still a potential security risk
• If the script is terminated unexpectedly, the screen session will stay alive, and will need to be closed manually before this script will work again

Resolving the issues?

Fixing the security issue would be just a matter of more work. However, the lingering screens are a whole different problem: I tried to find out a way to get the pid for the screen session, but failed to find a way to do this in python. This would have made the lingering screen sessions less harmful, as all the communication could have been done with <pid>.<session> instead of simply <session>, which it uses now. The subprocess.Popen object contains the pid of the launched process, but the actual screen session is a child of this process, and thus has a different pid. If anyone can point me toward a solution to this, it’d be greatly appreciated!

I finally got the work done, and here’s the result! I moved from Dupal to WordPress, as it feels better for my needs. So far I’ve enjoyed it more than Drupal.

I didn’t keep all of the content from my old site: I recreated most of it and added some new content. I also went through links to my site with Google’s Webmaster Tools, and added redirects to urls which are linked to from other sites (and resurrected one blog post).

It’s been a while since I did any PHP, HTML or CSS. I almost got frustrated for a moment, but after reading this article, things progressed much easier. Thanks to the author, Andrew Tetlaw! I was also inspired by David Robillard’s site, which is mostly based on the Barthelme theme. However, I started out with Automattic’s Toolbox theme, customizing most of it.

If you find something that looks or feels strange, please comment!

Jouluhan on hyvää aikaa lahjoittaa rahaa hyväntekeväisyyteen, eikös juu. Tässä pari vinkkiä niille jotka haluavat helposti PayPalilla osallistua hyvän tekoon.

Wikipedia

Kukapa ei tietäisi Wikipediaa, mutta tietääkö kaikki, että sen takana on aika pieni säätiö. Esim Googlella on noin miljoona palvelinkonetta, Wikipedialla 679. Esim Yahoolla työskentelee 13000 työntekijää, Wikipedialla 95.

https://wikimediafoundation.org/wiki/Donate

 

---

 

Free Software Foundation

Säätiön nimessä oleva ‘free’ ei tarkoita ilmaista, vaan ‘vapautta’. Ohjelmiston vapaus tarkoittaa:

-lupa käyttää sitä miten tahansa
-lupa tutkia miten se toimii ja kuinka se on tehty
-lupa muuttaa sen toimintaa (eli korjata tai parantaa sitä)
-lupa kopioida sitä toisille, muutettuna tai muuttamattomana

Free Software on aate, joka kehottaa Sinuakin miettimään: “kuvittele maailma, jossa kaikki ohjelmistot ovat vapaita.” Ovatko Sinun käyttämäsi ohjelmat vapaita?

https://my.fsf.org/donate

You know you're living in the future when Games Workshop pulls a DMCA takedown on a tank model lest people print their own toys instead of buying them at a premium.

Now, this is probably a pretty cut-and-dry case even from a trademark perspective - the file is even named Warhammer 40k Imperial Guard Leman Russ Tank. You don't need to support copyrights to think that's a bit dubious, since it's not, in fact, an official Warhammer 40k model. On the other hand, people are rather unlikely to actually get the wrong impression in that regard, and neither is it a deliberate attempt to fool people, since the creator readily acknowledges the unofficial and unlicensed nature of the work in the description.

On the third hand, what if it was just named a "Tank model compatible with Warhammer 40k (TM)" or something? It is reportedly a "pretty good likeness" of the Warhammer tank, but "not verbatim". Given that copyright monopolies exist, lines will have to be drawn in the sand, and there will be a lot of effort to push that line by large corporations, wielding copyrights as a huge blunt instrument with chilling effects. Thingiverse and similar sites operating under US law practically have to take down any work that is claimed to violate copyrights or face liability, at least until a counterclaim is made by the submitter.

In Finland, I'm not even sure if anything would keep the site safe from liability - around here, if you run a service that people violate copyrights on and get caught, you can pretty much expect to get screwed by the so-called justice system to the point that it's just best to become a welfare leech for the rest of your life since you're not gonna be able to pay off the copyright mafia anyway. But I digress.

Of course, there's safer havens for these kinds of sites to operate still. But apparently, the war between corporations and home manufacturers is on.

Even Ubuntu runs very well on ExoPC (last post), I had promised to return it with MeeGo, so here we go…

Downalod Latest image (meego-tablet-ia32-pinetrail-1.2.0.90.12.20110809.2.img) from http://repo.meego.com/MeeGo/builds/1.2.0.90/1.2.0.90.12.20110809.2/images/meego-tablet-ia32-pinetrail/

Copy to usb-stick and booting ExoPC from stick. Yes,ok,ok,ok,ok and ok. Boot. Ready.

I wanted some challenge, so I decided to compile and run JamMo. Easy as with Ubuntu (upgraded manual). Game uses fixed size window 800×480, so it would be handy to change resolution of ExoPC. Xrandr left black borders to left and right, but touchscreen is still using whole screen (so elements on middle of the screen are accessible normally, but elements near left and right borders are not).

Solution (partial): Add new screen-mode and use it.

run

cvt 840 480

And it gives: “840x480_60.00″   31.25  840 864 944 1048  480 483 493 500 -hsync +vsync

Run (add these to the autorun, they are cleared at every boot):

xrandr --newmode  "840x480_60.00"   31.25  840 864 944 1048  480 483 493 500 -hsync +vsync
xrandr --addmode LVDS1 840x480_60.00

And when you want use that resolution, run

xrandr --output LVDS1 --mode 840x480_60.00

There are still little black, but doesn’t affect usage (width must be multiple of 8, you can test if 848 is better…)

Issues:
*Task switcher is still in old middle of the screen
*Coming back might cause half of the screen be black (this is corrected after screen dim)
*Browser might rotate itself to portrait mode (even it is first started landscaped)

I got Intel’s ExoPC on my hands and tested Ubuntu on it.

ExoPC is laptop with touchscreen and without keyboard, somebody would call it ‘tablet’. It is not ARM, but 32/64 bit x86 (Atom). It has 2GB memory and 64GB SSD ‘hard disk’.

When I got it, tt has (old) MeeGo  (http://wiki.meego.com/Devices/ExoPC), which went broke when I tried upgrade. Because it is ~standard PC there are many Linux for it (e.g Suse: http://www.meegoexperts.com/2011/09/experiences-exopc-kde/ )

I installed Ubuntu 10.04.3 (latest long-term-supported Ubuntu). Touchscreen was not working, so I upgraded it three times: -> 10.10 -> 11.04 -> 11.10. I used USB-keyboard (and also ssh-server), but it seems there are no any default virtual keyboard. It is very cool device with lots of potential.

Hardware buttons:
System Settings -> Keyboard -> Shortcuts
(Or in Gnome: System->Preferences->Keyboard Shortcuts)

There are one button back of the device, power button. It is recognized as ‘PowerOff’
There are one button (proximity sensor?) front of the device, ‘orange magic circle’. It is recognized as ‘Audio media’ (XF86Media or XF86AudioMedia depending on Ubuntu version)

---

Some critics about software:
Multitouch is not working (at least out-of-the-box). I have no time to investigate this more.

 
Screen dims when on battery, even asked to not dim:
https://bugzilla.gnome.org/show_bug.cgi?id=665073

Touchscreen will not be recognized after after some time of use
https://bugs.launchpad.net/ubuntu/+source/xserver-xorg-input-evdev/+bug/897297

Mute/unmute microphone via command line doesn’t work (even toggle is working):
https://bugs.launchpad.net/ubuntu/+source/alsa-utils/+bug/894556

---

Any use for tablets? Maybe musical game for children? How about JamMo?

<iframe class="youtube-player" frameborder="0" height="390" src="http://www.youtube.com/embed/9tVmFOKvfUY?version=3&amp;rel=1&amp;fs=1&amp;showsearch=0&amp;showinfo=1&amp;iv_load_policy=1&amp;wmode=transparent" type="text/html" width="640"></iframe>

 

I attended an event in the spring that ended with a miraculous incident of being given an ExoPC to use. The operating system that it came installed with was a bit painful to use (and I’m not talking about a Microsoft product), so I didn’t find too much use for the device. I flashed it with a new operating system image quite often, only to note that none to few problems were ever fixed in the UI. Since operating system project is pretty much dead now with participants moving to new areas and projects of interest, I decided to bite the bullet and flash my device with the newest Ubuntu.

Installation project requires an USB memory stick made into an installation media with the tools shipped with regular Ubuntu. A keyboard is also nice to have to make installation process feasible in the first place, or at least it makes it much less painful experience. After the system is installed, comes the pain of getting the hardware to play nice. Surprisingly I’ve had no other problems than trying to figure out how to make the device and operating system to realise that I want to scroll or right-click with my fingers instead of a mouse. Almost all the previous instructions I’ve come across involve (at best) Ubuntu 11.04 and a 2.6.x kernel – and the rest fail to give a detailed instruction on how to make the scrolling or right-clicking work with evdev. The whole process is very frustrating, and I still haven’t figured everything out.

Anyway. First thing you notice, especially without the fingerscrolling working, is that the new scrollbars are a royal pain in the hiney. The problem isn’t as bad in places where the problem can be bypassed, like in Chromium with the help of an extension called chromeTouch where the fingerscrolling can be set to work, or in Gnome-shell which actually has a decent sized scrollbar, or uninstalling overlay-scrollbar altogether, which isn’t pretty, but it works.

The second immediate thing that slaps a cold wet towel on the face is – after you’ve unplugged the USB keyboard – is the virtual keyboards. Ubuntu and its default environment Unity use OnBoard as the default on-screen keyboard. OnBoard is a complete keyboard with (almost) all the keys a normal keyboard would have, but it lacks a few features that are needed on a tablet computer: it lacks automation of hiding and unhiding itself. In addition to this annoyance OnBoard had the tendency of swapping the keyboard layout to what I assume to be either US or British instead of the Finnish one I had set as default on the installation. One huge problem with OnBoard is at least in my use that it ends up being underneath the Unity interface, where it’s next to useless.

I tried to install other virtual keyboards, like Maliit and Florence, but instructions and packages on Oneiric are lacking and anyway, I still don’t know how to change the virtual keyboard from OnBoard to something else. However, the virtual keyboard in a normal Gnome 3 session with Gnome-Shell seems to work more like the virtual keyboards should, but alas, it doesn’t seem to recognize the keyboard layout settings at all and thus I’m stuck to non-Finnish keyboard layout.

However among all these problems Ubuntu 11.10 manages to show great potential with both Unity and Gnome 3. Ubuntu messaging menu is nice, once gmnotify has been installed (as I use Chromium application Offline Gmail as my email client), empathy set up, music application of choice filled with music and browser settings synchronized.

I’ve found that the webcam works perfectly and the video call quality is much better than it has been earlier on my laptop where I’ve resorted into using GMails video call feature, because it Just Works. It’s nice to see that pulseaudio delivers and bluetooth audio works 100% with both empathy video calls and stereo music/video content.

Having read of the plans for future Ubuntu releases from blogposts of people who were attending UDS-P in Orlando this past week, I openly welcome our future tablet overlords. Ubuntu on tablets needs love and it’s nice to know it’s coming up. This all bodes well for my plan to take over the world with Ubuntu tablet, screen, emacs and chromium :-)

The Hauppauge WinTV-Nova-TD-500 is a nice dual tuner DVB-T PCI card (well, actually it’s a PCI-USB thing and the system sees it as a USB device). It works out-of-the-box with the upcoming Fedora 16. It needs a firmware, but that’s available by default in the linux-firmware package.

However, when using the Nova-TD-500 with VDR a couple of settings need to be tweaked or the signal will eventually disappear for some reason. The logs (typically /var/log/messages in Fedora) will have something like this in them:
vdr: [pidnumber] PES packet shortened to n bytes (expected: m bytes)
Maybe the drivers or the firmware have a bug which is only triggered by VDR. This problem can be fixed by tweaking VDR’s EPG scanning settings. I’ll post the settings here in case someone is experiencing the same problems. These go into /etc/vdr/setup.conf in Fedora:

EPGBugfixLevel = 0
EPGLinger = 0
EPGScanTimeout = 0

It is my understanding that these settings will disable all EPG scanning which is done in the background and VDR will only scan the EPGs of the channels on the transmitters it is currently tuned to. In Finland, most of the interesting free-to-air channels are on two transmitters and the Nova-TD-500 has two tuners, so in practice this should not cause much problems with outdated EPG data.

Just over four years ago I gave up my volunteer, unpaid role as an administrator of the Finnish Wikipedia. Today, while discussing with a friend, I realised what has been one of the most valuable lessons in both my professional life and hobbies. While I am quite pessimistic in general, I still benefit from these little nuggets of positive insight almost every day when communicating and working with other people.

• Assume Good Faith. “Unless there is clear evidence to the contrary, assume that people who work on the project are trying to help it, not hurt it.” Most people aren’t your enemies. Most people will not try to hurt you. If stupidity is abound, it’s (usually) not meant as a personal attack towards you, nor is it intentional.
• When someone does something that doesn’t immediately make sense, which contradicts your assumptions about the skills and common sense of a person you are dealing with, discuss it with them! Don’t make assumptions based on partial information or details, ask for more info so you don’t need to assume the worst! If something is unclear, asking won’t make things worse.

Pessimists are never disappointed, only positively surprised. But while the world seems like a dark a desolate place and the humanity seems to be doomed, I still have to try to believe in the sensibility of people and that we can make something special for the project we are trying to work for. Ubuntu, Wikipedia, Life… or just your day-to-day job.

I hope none of you have expected me to blog more often. It’s been over a year since I’ve last blogged, and so much has happened since I last did.

I’ve travelled to Cornwall, started a Facebook page that got a huge following in no time, fiddled a bit with CMS Made Simple at work, bought another Nexus One to replace one that broke and after getting the broke one fixed, gave the extra to my sister as a Christmas present, have taught Duncan how to make gravadlax and crimp Carelian pasties, visited Berlin and bought a game. I’ve attended a few geeky events, like Local MeeGo Network meetings of Tampere, Finland, MeeGo Summit also in Tampere, MeeGo Conference in San Francisco, US and OggCamp’11 in Farnham, UK.

I’ve also taken few steps in learning to code in QML, poked around Arduino and bought a new camera, Olympus Pen E-PL1.

What else has happened? Well, among other things, my mother was diagnosed with cholangiocarcinoma right after New Year, and she passed away 30th of June.

Many things that I have taken for granted have changed or gone away forever. Importance of some things have changed as my life is trying to find a new path to run in.

Blogging and some of my Open Source related activities have taken a toll, which I am planning to fix now that I feel like I’m strong enough to use my energy on these hobbies again. Sorry for the hiatus, folks.

Coming up, perhaps in the near future:

• Rants and Raves about Arduino
• Entries about social networking sites
• Camera/Photography jabber
• Mobile phone/Tablet chatter

So, just so you know, I’m alive, and will soon be in an RSS feed reader near you. AGAIN.

The Assembly Summer 2011 demo party / computer festival is happening this weekend in Helsinki, Finland. The Linux/FLOSS booth here is organized together by Finnish Linux User Group, Ubuntu Finland, MeeGo Network Finland and, of course, Fedora. I’m here representing Fedora as a Fedora Ambassador and handing out Fedora DVDs. Here are a couple of pictures of the booth.

The booth is mostly Ubuntu-coloured because most of the people here are members of Ubuntu Finland and Ubuntu in general has a large community in Finland. In addition to live CDs/DVDs, the MeeGo people also brought two tablets running MeeGo (I think they are both ExoPCs) and a few Nokia N950s. They are also handing out MeeGo t-shirts.

People seem to like the new multi-desktop, multi-architecture live DVDs that the European Ambassadors have produced. I think they are a great idea and worth the extra cost compared to the traditional live CDs.

The format of my current website has not worked very well for me, and I'm a bit lazy with bloggy stuff. So, I decided to remake this website. I've already made a new design, and will probably be switching to Wordpress from Drupal because it's a bit simpler. Hope to get the new site up in a few months latest!

Due to a lot of spam recently, I disabled comments.

Recently Wayland have become a hot topic. Canonical has announced that Ubuntu will go to Wayland. Also MeeGo has great interest on it.

Qt has had (experimental) Wayland client support for some time now.

A very new thing is support for Qt as Wayland server. With that one can easily make own Qt based Wayland compositor. This is huge. Since this the only working Wayland compositor has been under wayland-demos. Using Qt for this opens many opportunities.

My vision is that Wayland is the future. And the future might be there sooner than you think...

Our CEO started a blog: http://cannedbypasi.blogspot.com/

He wrote first entry about MeeGo and Qt status.

Shortly: MeeGo is alive and kicking.

Here’s the first post of what seems to be a series of posts now.

acer-wmi

I wrote about acer-wmi being loaded on this netbook to the kernel’s platform-driver-x86 mailing list. That resulted in Chun-Yi Lee writing a patch which adds the S12 to the acer-wmi blacklist. Here’s the bug report.

ideapad-laptop

I did a bit of googling on the ideapad-laptop module and noticed that Ike Panhc had written a series of patches which enable a few more of the Fn keys on the S12. The git repository for those patches is here. Those patches are also in linux-next already.

So, I cloned Linus’ master git tree, applied the acer-wmi patch and then git pulled Ike’s repo. Then I followed these instructions, expect that now Fedora’s sources are in git, so you need to do something like fedpkg co kernel;cd kernel;fedpkg prep and then find the suitable config file for you. Now I have a kernel which works pretty well on this system, except for the scheduling/sleep issue mentioned in the previous post.

I got a Lenovo Ideapad S12 netbook (the version which has Intel’s CPU and GPU) a few months ago. It requires a couple of quirks to work with Linux, I’ll write about them here, in case they’ll be useful to someone else as well.

Wireless

The netbook has a “Broadcom Corporation BCM4312 802.11b/g LP-PHY (rev 01)” wifi chip. It works with the “b43″ open source driver, which is in the kernel. However, I think that it may not actually reach the speeds it should. You could also use the proprietary “wl” kernel module, available in RPM Fusion as “kmod-wl”, but I don’t like to use closed source drivers myself.

The b43 driver needs the proprietary firmware from Broadcom to work with the 4312 chip. Following these instructions should get you the firmware.

Kernel

The kernel needs the “nolapic_timer” parameter to work well with the netbook. If that parameter is not used, it seems like the netbook will easily sleep a bit too deep. Initially people thought that the problem was in the “intel_idle” driver, the whole thing is discussed in this bug report. However, according to my testing, the problem with intel_idle was fixed, but the netbook still has problems, they are just a bit more subtle. The netbook boots fine, but when playing music, the system will easily start playing the same sample over and over again, if the keyboard or the mouse are not being used for a while. Apparently the system enters some sort of sleeping state. I built a vanilla kernel without intel_idle and I’m seeing this problem with it as well.

Then there’s “acer-wmi”. The module gets loaded by the kernel and in older versions it was probably somewhat necessary, because it handled the wifi/bluetooth hardware killswitch. It causes problems with NetworkManager, though. It disables the wifi chip on boot and you have to enable wifi from the NetworkManager applet by hand. Here’s my bug report, which hasn’t gotten any attention, but then again, I may have filed it under the wrong component. Anyway, in the 2.6.37 series of kernels there is the “ideapad_laptop” module, which apparently handles the hardware killswitch, so acer-wmi shouldn’t be needed any more and can be blacklisted.

Scribuksen kehitysversio on päässyt versionumeroon 1.3.9. Tästä versiosta tekee merkittävän, että se on viimeinen kehitysversio ennen uuden vakaan kehityshaaran avaamista. Seuraava vakaa versio tulee suurella todennäköisyydellä olemaan 1.4.0.

• Lataa versio 1.3.9
  • Windowsille ja Mac OS X:lle
  • Debian-repo ja useimmille RPM:ää käyttäville distroille

Kehityksen pääpainona oli vakaus. Versiosta 1.3.8 on korjattu 70 bugia. Joukossa on myös muutama uusi ominaisuus koskien:

• käännösympäristöä
• leikekirjaa
• resursseja ja resurssien hallintaa
• tiedostojen tuontia
• typografiaa
• dokumentaatiota

On taas Joulupatakeräyksen aika. Internetpata osoitteessa http://www.joulupata.fi/ on auennut. Siellä voit antaa lahjoituksesi heikompiosaisten hyväksi. Lue Suomen ja Viron Pelastusarmeijan johtajan vetoomus ”Ainoa, mitä todella omistat on se, minkä olet antanut pois”.

Perinteiset padat näkyvät katukuvassa 16.12.–23.12. (muutama pata on paikallaan vielä jouluaattonakin). Katso lista padoista.

Osallistukaa hyvän asian puolesta ja levittäkää sanaa.

Perinteinen Joulupatakeräys ottaa varaslähdön Helsingissä Narinkkatorin Joulumaailma 2010 -tapahtumassa 11.12.–15.12. Tämän halusin kertoa siksi, että Narinkkatorin padalla on tavattavissa kaupungin mukavin patavahti. Seison padalla:

• la 11.12. klo 11–13 ja 16–18
• ma 13.12. klo 11–13 ja 15–17
• ti 14.12. klo 11–13 ja 15–17
• ke 15.12. klo 15–17

Tervetuloa kaikki tutut ja tuntemattomat moikkaamaan ja vaihtamaan kuulumiset etenkin, jos teillä on rahaa mukana.

I promised my scripts to encrypt the rootfs on my Lenovo Ideapad running MeeGo 1.1. It's currently just a dirty hack but thought it could be nice to share it with you.

My scripts uses cryptoloop. Unfortunately MeeGo 1.1 netbook stock kernel didn't support md_crypt so that was a no go. Of course I could compile the module myself but I wanted out-of-the box solution.

Basic idea is to create custom initrd and use it. My solution needs Live USB stick to boot and do the magic. Also another USB drive is needed to get the current root filesystem in safe while encrypting the partition. I don't know if it's possible to encrypt "in place" meaning to use two loopback devices. However this is the safe solution.

For the busy ones, just boot the MeeGo 1.1 Live USB and grab these files:

http://kaaos.huutonauru.net/meego/netbook_rootfs_crypt/crypt_hd.sh
http://kaaos.huutonauru.net/meego/netbook_rootfs_crypt/mkcryptrd.sh

Then:

chmod a+x crypt_hd.sh mkcryptrd.sh
su
./crypt_hd.sh

And follow the instructions.

The ones who have more time and want to double check everything, please follow instructions at: http://kaaos.huutonauru.net/meego/netbook_rootfs_crypt/README

This solution has at least one drawback. Once the kernel updates you have to recreate the initrd. For that purposes I created a tiny script than can be run after kernel update:

http://kaaos.huutonauru.net/meego/netbook_rootfs_crypt/update_initrd.sh

That script also needs the mkcryptrd.sh script above.

Of course that may break your system at any time, so be warned.

For my Lenovo Ideapad S10-3t and MeeGo 1.1 netbook it worked fine. My test case was to make very fresh installation first from the Live/installation USB. Boot again and setup the cryptoloop from Live USB. After that I could easily boot my crypted MeeGo 1.1. It asks password in very early phase of boot process. After it's written correctly the MeeGo 1.1 system should boot up normally.

This worked for me, and I give no guarantee that this works for you. However you're welcome to send patches and improvements.

UPDATE 29.11.2010:
Some people have reported problems when they have different kernel version than on Live USB. The're unable to boot back to their system. I try to figure out solution for this issue.

Tänään ilmestyi ensimmäinen numero Libre Graphics Magazine -lehdestä. Lehden on tarkoitus nostattaa keskustelua vapaista grafiikkaohjelmista, ohjelmien käyttämistä standardeista ja toimia vapaiden grafiikkaohjelmien käyttäjien yhdistäjänä.

• Lataa Libre Graphics Magazinen ensimmäinen numero (3 Mt),

• korkealaatuinen (60 Mt)

• Paperiversion voi tilata ja maksaa Paypalin kautta (12 cad ≈ 9 €).

Ensimmäisen numeron kiinnostavin artikkeli on Fontmatrixin kehittäjän Pierre Marchandin haastattelu. Hän puhuu fonttienhallinnasta, vapaista ohjelmista ja yhteisön tuesta. Fontmatrix on vielä kehitteillä oleva vapaa fonttienhallintatyökalu Linuxille. Olen kirjoittanut siitä blogiini muutamia juttuja ja ollut mukana kehittämässä sitä. Mielipiteeni saattaa siis olla puolueellinen.

Toinen kiinnostava seikka lehdessä on työkalut ja fontit, joilla se on tehty. Kaikki vapaita luonnollisesti ja suurin osa tuttuja blogini lukijoille.

• Scribus 1.3.8 – Taitto ja painokuntoon valmistaminen
• Inkscape 0.48 – Kansi, Have your say, kalenteri ja UpStage-mainos
• GIMP 2.7.2 – Kuvien muokkaus ja muutamien pdf-tiedostojen muunto bittikartoiksi
• Pdftk 1.41 – Yksinkertaisti työnkulkua ja auttoi luomaan kevyempiä pdf-tiedostoja
• Git 1.7.0.4 – Työ jaettiin tekijöiden välillä Gitiä käyttäen. Git jakoi myös keskeneräisen työn kaikille kiinnostuneilla ja mahdollisti työn etenemisen seuraamisen.
• Raakatekstin muokkaus tehtiin ohjelmilla Gedit ja vim.

Fontit

• Linux Libertine – leipäteksti
• Linux Biolinum – alaviitteet ja kuvatekstit
• PropCourier Sans – otsikot

Auta Libre Graphics Magazinen numeron 1.1 painokustannuksissa. Lehden on tarkoitus nostattaa keskustelua vapaista grafiikkaohjelmista, ohjelmien käyttämistä standardeista ja toimia vapaiden grafiikkaohjelmien käyttäjien yhdistäjänä. Hyvin tehty painettu lehti, Libre Graphics Magazine, saavuttaa alan ammattilaiset ja käyttäjät, jotka muutoin eivät välttämättä kohtaisi vapaita ohjelmia lainkaan. Ensimmäinen numero aloittaa toivottavasti pitkän seikkailun tunnettuuden ja tietoisuuden lisääjänä. Voit auttaa kaiken tämän saavuttamisessa.

Osoitteesta http://libregraphicsmag.com/ löytyy lisää tietoa asiasta.

Voit osallistua keräykseen napsauttamalla alla olevaa painiketta.

Tekijänoikeuskriittiset kannanotot tapaavat usein keskittyä mediateollisuuteen ohjelmistoteollisuuden jäädessä vähemmälle huomiolle. Tämä ei ole sattumaa. Toki perusoikeuksien rapautus ja kansalaisten ajojahdit ovat myös ohjelmistotuottajien taholta tuomittavia, mutta he eivät yksinkertaisesti harrasta tällaisia aktiviteetteja läheskään mediamoguleita vastaavalla innolla. Ainakin osasyy asiaan on selvä: maailman ohjelmistotuotanto ei yksinkertaisesti ole yhtä riippuvainen tekijänoikeuksista kuin nykyinen mediabisnes. Osin tämä johtuu jälkimmäisen harhaisesta tuotekeskeisestä näkökulmasta alalla, jolle palvelukeskeinen lähestymistapa soveltuisi luontevammin. Osin kyse on kuitenkin myös alojen laadullisemmista eroista.

Monille tulee ohjelmistoalan konkretiana mieleen kauppojen hyllyiltä myytävät ohjelmapaketit. Tämä on kuitenkin harhaanjohtava mielikuva. Suurin osa ohjelmistokehityksestä tapahtuu enemmän tai vähemmän räätälöityjen ratkaisujen parissa. Tämä ohjelmoijien leijonanosan leipäpuu on samalla ohjelmistoteollisuuden osa-alueista vähiten tekijänoikeuksista riippuvainen.

Yritysten sisäinen ohjelmistokehitys omiin tarpeisiin tapahtuu triviaalisti tekijänoikeuksista melko lailla riippumatta. Ilman tekijänoikeuksia tietovuotojen vaikutus mahdollisesti hieman kasvaisi, joskin yrityssalaisuus- ja -vakoilulainsäädäntö tarjoavat haluttaessa tekijänoikeuslaista riippumattomia keinoja puuttua näihin.

Yritysten välisissä tilaustöissä taas ehdot voidaan määritellä sopimusoikeudellisesti tarvitsematta rasittaa koko yhteiskuntaa yksinoikeusjärjestelmillä. Vuotojen vaikutus voi taaskin olla hieman suurempi, mutta yllä mainittujen keinojen lisäksi näihin voidaan osin varautua sopimussanktioilla. Osassa tapauksia palvelun myynti on lisäksi käypä vaihtoehto ohjelmiston itsensä myynnille.

Mutta entäpä ne hyllyltä saatavat ohjelmapaketit? Pelien tapauksessa trendi on aika selvä: ison rahan tuotannot sidotaan yhä enemmän ja enemmän verkkoon. Massiivisten moninpelien tapauksessa sidonta on luonteva: pelaamiseen tarvitaan hyvin ylläpidetyt palvelimet, joihin pääsystä laskuttamalla pelin kehitystyö rahoitetaan. Malli on hyvin palvelukeskeinen, eikä riipu juurikaan lakisääteisistä yksinoikeuksista.

Yksinpelien tapauksessa sidonta muuttuu keinotekoiseksi, mutta silti lopulta teoriassa tehokkaaksi. Toistaiseksi tuottajat ovat soveltaneet lähinnä erilaisia DRM-järjestelmiä vaihtelevalla menestyksellä. Moni peli on saanut runsaasti risuja kehnosti toimivista ja pelaamista estävistä virityksistä, jotka on lopulta helppo murtaa. Toisaalta innovatiivisesti palveluakin DRM:n lisäksi tarjoava Steam näyttäisi porskuttavan hyvin.

Tulevaisuudessa näkisin yksinpelienkin siirtävän varsinaista toiminnallisuuttaan verkkoon pelivalmistajan palvelimille. Pelkän DRM:n voi aina murtaa, mutta kokonaisten pelin osien uudelleentoteuttaminen onkin jo potentiaalisesti kertaluokkia hankalampaa. Kehityskulku ei toki ole pelkästään positiivinen: käytettävyys pakostakin kärsii, ja avoimuuskin lähinnä vähenee entisestään. Vaakakupissa kuitenkin painaa enemmän, ettei peliä sinänsä rehdisti palveluna myyvän bisneksen tarvitse lytätä kansalaisoikeuksia olennaisena osana toimintaansa. Lisäksi trendi tuntuu olevan aika väistämätön: valmistajilla ei yksinkertaisesti ole luottamusta tekijänoikeusjärjestelmän toimintaan - ja syystäkin.

Mitä tulee pienemmän rahan indie-tuotantoon, näiden kustannukset on mahdollista kattaa ihan vain kunniajärjestelmällä — joka on käytännössä tilanne nytkin! Hyvät pelit hyvällä markkinoinnilla voivat kerätä kohtuullisesti rahaa lyhyessäkin ajassa. Esimerkiksi The Humble Indie Bundle-kampanja keräsi tekijöille ja valikoiduille hyväntekeväisyysjärjestöille yli miljoonan parissa viikossa, eivätkä pelit edes olleet enää uusinta uutta.

Mutta entäpä hyllyjen hyötyohjelmat? Peruskäyttäjän varusohjelmistotarpeen voi jo nykyisellään täyttää lähes kokonaan vapailla (ja epävapailla mutta ilmaisilla) ohjelmistoilla, joten suljettujen ja maksullisten vaihtoehtojen melko pieni tuotannonala ei ole yhteiskunnallisesti järin tarpeellinen. Vapaiden ohjelmistojen kiihtyvälle kehitykselle tekijänoikeudet eivät taas ole kovin oleellisia. Ns. copyleft-ohjelmistot toki käyttävät hyväkseen tekijänoikeuslakia varmistaakseen johdannaisteostenkin vapauden, mutta moni vapaa projekti pärjää varsin hyvin muutenkin. Muutosten suljettuna pitäminen on usein jo käytännön syistä huono idea, ja onpa hyvä mainekin kehittäjäpiireissä eduksi.

Jäljelle jäävät lähinnä ammattilaisohjelmistot erikoistuneisiin tarpeisiin, joita ei vapailla ohjelmilla saada riittävän hyvin tyydytettyä kovin lähitulevaisuudessa. Niiltä osin kuin näitä ei helposti muuta palvelupohjaisiksi, Piraattipuolueen 5-10 vuoden kaupallisen yksinoikeuden malli kattaisi nykymuotoisen teollisuuden tarpeet varsin hyvin. Kokonaistehokkuuden kannalta parempi ratkaisu saattaisi silti olla jopa strategisten alojen vapaiden ohjelmistojen kehittäminen tai ostaminen julkisen sektorin taholta. Tämä kun vähentäisi ohjelmistoalalla yleistä pyörien uudelleenkeksimistä, yhteensopivuusongelmia sekä niistä johtuvia usein tarkoituksellisia markkinahäiriöitä. Lisäksi vapaiden ohjelmistojen saatavuus helpottaisi kilpailua niitä käyttävillä aloilla.

Tekijänoikeudet etenkään nykylaajuudessaan eivät siis ole erityisen tärkeitä ohjelmistotuotannolle. Toki moni tämänkin alan tekijä on yksinoikeuksiinsa kiintynyt, vaikka lobbaus- ja ajojahtimääristä päätellen selvästi mediapuolta vähemmän. Se ei kuitenkaan tarkoita, että tekijänoikeusjärjestelmän rapistuminen uhkaisi osaavan ohjelmoijan leipäpuuta tai ohjelmistotuotannon tulevaisuutta.