Wenn die Hardware funktioniert werden Berührungen der Tischoberfläche auf dem Bild der Webcam als weiße Blobs sichtbar sein. Diese Blobs müssen von einer Software erkannt und verarbeitet werden.

In dem Wiki der NUI Group bin ich auf eine Liste mit Frameworks, Software und Libraries zum schreiben von Multitouch(MT)-Programmen gestoßen. Für mich ist klar, dass mein Endprodukt auf einem Mac laufen soll und ich am liebsten Cocoa programmieren möchte um mich weiter in die Sprache einzuarbeiten. Das in der Liste aufgeführte Touché von Georg Kaindl macht einen recht ausgereiften Eindruck, ist komplett in Cocoa geschrieben, bringt ein eigenes Framework zur Entwicklung von eigener Software mit und die Beispielprogramme sind eine gute Basis um sich in das Framework und überhaupt MT-Programme einzuarbeiten.

Sehr schön finde ich auch, dass man auch eine Wii-Remote als Input benutzen kann und ich so auch meine Programme testen kann bevor der Tisch fertig gebaut ist. Touché kann auch TUIO-Nachrichten ausgeben und ist so auch als Tracker für andere MT-Programme geeignet.

Wie schon beschrieben soll man mit Berührungen auf dem Tisch Pfade zeichnen können, die an die Roboter übermittelt werden und dann von den Robotern abgefahren werden. Die Roboter sollen während der Fahrt aber Hindernissen ausweichen und so ist der gefahrene Pfad u.U. anders als der gezeichnete. Der gefahrene Pfad soll also vom Roboter an den Tisch übertragen und dort dargestellt werden.