Ich habe jetzt den Rechtsklick implementiert. Wenn man mit zwei Fingern innerhalb einer einstellbaren Zeit die MT-Fläche berührt hat, wird in der Mitte der beiden Punkte ein Rechtsklick gemacht.

Als nächsten Schritt möchte ich  Scrollen  implementieren.

Noch möchte ich das Programm nicht ganz öffentlich zur Verfügung stellen. Auf Anfrage stelle ich es gerne zur Verfügung.

Das Framework von Touché ist recht einfach aufgebaut. Nachdem man den TFTrackingClient instanziert hat, setzt man einen Delegate der das TFTrackingClientDelegate-Protokoll unterstützen muss.

Um einen Mausklick zu simulieren gibt es eine sehr einfache CoreGraphics-Funktion:

CGPoint hit = CGPointMake(450, 345);
CGEventRef mouseDownEv = CGEventCreateMouseEvent (
						  NULL, //CGEventSourceRef source
						  kCGEventLeftMouseDown, //CGEventType mouseType
										//kCGEventNull
										//kCGEventMouseMoved
										//kCGEventLeftMouseDragged
										//kCGEventLeftMouseDown
										//kCGEventLeftMouseUp
						  hit, //CGPoint mouseCursorPosition
						  kCGMouseButtonLeft //CGMouseButton mouseButton
										//kCGMouseButtonLeft
										//kCGMouseButtonRight
										//kCGMouseButtonCenter
						  );
CGEventPost(kCGHIDEventTap, mouseDownEv);

Wenn jetzt an der gleichen Position ein MouseUp-Event geschickt wird, ist es ein einfacher Links-Klick.

CGPoint hit = CGPointMake(450, 345);
CGEventRef mouseUpEv = CGEventCreateMouseEvent (NULL,kCGEventLeftMouseUp,hit,kCGMouseButtonLeft);
CGEventPost (kCGHIDEventTap, mouseUpEv );

Wird aber nach dem MouseDown-Event kein MouseUp-Event sondern ein MouseDragged-Event geschickt, kann man mit der Maus z.B. Fenster ziehen.

CGPoint hit = CGPointMake(512, 412);
CGEventRef mouseMovedEv = CGEventCreateMouseEvent (NULL,kCGEventLeftMouseDragged,hit,kCGMouseButtonLeft);
CGEventPost (kCGHIDEventTap, mouseMovedEv);

Mit den drei Mousevents sollte man erst einmal ausreichend im Finder navigieren können.

Während des Programmierens und Testens habe ich gemerkt, dass Touché leider nicht 100% zuverlässig läuft, auf jeden Fall hat die Wii-Remote-Implementation noch einige Fehler. Deshalb habe ich mich entschlossen die Abhängigkeit von Touché zu verringern und auf ein generelles TUIO-Framework umzusteigen.

Bridger Maxwell hat ein ObjC TUIO-Framework geschrieben auf das ich schonmal im Zusammenhang mit dem Wiimote Whiteboard gestoßen bin.

Ich habe die Maus noch mal neu angefangen und sie mit dem TUIO-Framework aufgebaut. Daher auch der Name “TUIO Mouse”.

Ich habe “TUIO Mouse” als reines Kommandozeilen-Tool geschrieben, es kann aus dem Terminal gestartet werden, oder was meine eigentliche Idee ist, als LaunchAgent im Hintergrund laufen sobald sich der Benutzer anmeldet.
Damit man trotzdem noch ein paar Sachen konfigurieren kann habe ich beschlossen sie mit dem Default-System von OS-X zu speichern. So kann ich auch relativ einfach von einem anderen (Konfigurations-)Programm auf die Einstellungen von “TUIO Mouse” zugreifen.

Leider hatte ich anfangs Probleme auf die Defaults-Domain zuzugreifen, da ein Kommandozeilen-Tool kein Bundle ist und auch kein Bundle-Identifier hat, der aber von dem NSUserDefaults-Objekt als Standard-Domain gewählt wird. Mit einiger Bastelei und der Hilfe eines Bekannten habe ich es dann doch geschafft auf die “fremde” Domain zuzugreifen ohne auf CFPreferences zugreifen zu müssen.
Durch folgenden Code bekommt man ein NSDictionary mit den momentanen Defaults aus der angegebenen Domain.

NSDictionary *currentDefaults = [userDefaults persistentDomainForName:kDomainName];

Nachdem man das Dictionary bearbeitet hat kann man die Defaults der Domain wieder überschreiben. Leider werden alle Defaults, die nicht im Dictionary vorhanden sind überschrieben!

[userDefaults setPersistentDomain:newDefaults forName:kDomainName];

In dem Wiki der NUI Group bin ich auf eine Liste mit Frameworks, Software und Libraries zum schreiben von Multitouch(MT)-Programmen gestoßen. Für mich ist klar, dass mein Endprodukt auf einem Mac laufen soll und ich am liebsten Cocoa programmieren möchte um mich weiter in die Sprache einzuarbeiten. Das in der Liste aufgeführte Touché von Georg Kaindl macht einen recht ausgereiften Eindruck, ist komplett in Cocoa geschrieben, bringt ein eigenes Framework zur Entwicklung von eigener Software mit und die Beispielprogramme sind eine gute Basis um sich in das Framework und überhaupt MT-Programme einzuarbeiten.

Sehr schön finde ich auch, dass man auch eine Wii-Remote als Input benutzen kann und ich so auch meine Programme testen kann bevor der Tisch fertig gebaut ist. Touché kann auch TUIO-Nachrichten ausgeben und ist so auch als Tracker für andere MT-Programme geeignet.

Wie schon beschrieben soll man mit Berührungen auf dem Tisch Pfade zeichnen können, die an die Roboter übermittelt werden und dann von den Robotern abgefahren werden. Die Roboter sollen während der Fahrt aber Hindernissen ausweichen und so ist der gefahrene Pfad u.U. anders als der gezeichnete. Der gefahrene Pfad soll also vom Roboter an den Tisch übertragen und dort dargestellt werden.