Willkommen zur IMST Labor Challenge 2.0!

Hallo,

Bist du auf der Suche nach einem praxisnahen technischem Wahlpflichtfach, in dem man sich mit Gleichgesinnten kreativ austoben kann? Dann möchten wir dich herzlich zur IMST Challenge einladen!

In unserem Tüftler-Labor bieten wir dir die einzigartige Gelegenheit, deine Fähigkeiten voll auszuschöpfen und gemeinsam mit engagierten Kommilitonen an faszinierenden Projekten zu arbeiten. Das Besondere an unserem Ansatz ist, dass wir keine Klausuren oder Hausarbeiten haben – stattdessen liegt der Fokus auf der Bewertung deiner Teamarbeit und persönlichen Entwicklung.

Egal, ob du bereits Erfahrung hast oder nicht, bei uns findest du ein inspirierendes und fachübergreifendes Umfeld, in dem du dich ganz nach deinen Vorlieben einbringen kannst. Von der Konzeption bis zur Realisierung stehen dir eine Vielzahl von Ressourcen zur Verfügung, darunter Roboter, High End PC, 3D-Drucker, Lasercutter u.v.a.m.

Unsere lockere Atmosphäre und das Engagement unseres Teams aus Studierenden machen die IMST Challenge zu einem einzigartigen Ort des Lernens und der persönlichen Entwicklung. Hier kannst du nicht nur deine technischen Kompetenzen, sondern auch wichtige Soft Skills wie Teamarbeit, Kommunikation und Problemlösungsfähigkeiten verbessern. Zudem ist es oft zeitlich flexibel und wird von den Hiwis Mark und Max betreut.

Wir freuen uns darauf, dich in unserer Community willkommen zu heißen!

Interessiert? -> Dann schnell noch im Campusboard eintragen 😉

Noch Fragen? Melde dich gerne bei uns, wir sind die HiWis

Mark (mala1006 at stud.hs-kl.de)  und Max (maso1001at stud.hs-kl.de)

Fachliche Koordination:

Prof. Dr. Bernd Bufe, Prof. Dr. Stefan Braun, Prof. Adrian Müller

Technische Betreuung:

Mark Niklas Lattwein, Max Sokoli

Inhalt

Was ist die IMST Lab Challenge?

Ablauf der Challenge 2.0

Teil-Projekte in der Challenge 2.0

P1: Automatische Beschriftung der Tubes mit mikro-QR Codes

P2: Zentrifuge Be- automatisch und entladen

P3: Computer Vision zur Steuerung von Werkzeugen

P4: „Definition und Aufbau neues Layout der Laborstraße“

P5 Intelligentes Tablett für den Labor-Assistenten

P6 Automatisch Höhen-verstellbare Bühne für Cobot

P7 Dashboard GUI und Tracking optimieren

P8 Automatische Bedienung Zentrifuge

Neue Tools und Werkzeuge für die Challenge 2.0

Laser-Cutter ATOMSTACK X7 Pro (s. P1) 1

myCobot 280-pi (Teach-In, Pick-and-Place)

Lichtschranken für Dobot 1

Zusätzliche Webcams (2x 2K Anker) 1

Lego Education Sets

DoBot AI Kit 1

Dobot Sliding Rail (s. P4 Labor-Layout)

Was ist die IMST Lab Challenge?

Frühes praxisnahes Lernen und selbst-organisiertes Arbeiten in kleinen fachübergreifenden Teams wird für den modernen Arbeitsmarkt immer wichtiger. Im innovativen Wahlfach „Robotic Lab Challenge“ der HS-KL lernen Studierende aus 7 Studiengängen in den Bereichen Biologie, Informatik, Mikro- und Nanotechnik sowie Mechatronik, ihr Wissen anhand konkreter weitgehend selbstständig anwenden; und das bereits ab dem 4. Semester!

In kleinen Teams (4-6 Personen) wird agiles und interdisziplinäres Arbeiten an einem konkreten Szenario ausprobiert: es gilt, flexible Lösungen für Automatisierungsprozesse im Labor zu designen, entwickeln, programmieren und zu testen:

Die neuen Herausforderungen im Sommer Semester 2024 sind:

• Tracking und Transport Systeme mit neuer Hardware („sliding rail“ für die DoBots, Lichtschranken für die Cobots) verbessern
• Automatische Beschriftung von Eppenmeyer Tubes (mikro-QR Code) mit einem Atomstack Pro Laser
• Zentrifuge automatisch Be- und Entladen mit dem neuen 6-Achsen Roboter-Arm (myCobot 280 PI)
• Mit mehreren Webcams und dem neuen Leistungs-PC die Objekte auf dem Tisch präziser und viel schneller erfassen
• Ein intelligentes Android Tablett, dass erkennt und anzeigt, was man auf es draufstellt
• u. v. a. m.

Die „fun facts“ zum Projekt in diesem Semester

• Arbeiten vor Ort im L145, moderne Tools wie Robotersysteme (myCobot 280, Dobot Magician) Kameratracking, Deep Learning GPU Server, Laser Cutter, 3D-Drucker
• eine Chill Lounge mit Couch, Caffee und Kitchenette
• Die Teams arbeiten online, OpenSource mit https://github.com/Prof-Adrian-Mueller/Agile_Roboticsystems_Laborstrasse, Einsatz von Trello für die agile Planung mit Scrum, Großmonitor im Lab für Meetings
• Prototypen bauen mit LEGO Education Spike Prime Set, Werkzeug Sets
• Einarbeitung und Betreuung durch HiWis, Hilfe durch die Werkstatt der HS im Flur nebenan

Was bisher geschah…

Der Weg von der Challenge 1.0 im Sommer ‘23, über drei Bachelorarbeiten, bis heute, kurz dargestellt:

• Am Anfang haben alle Beteiligten neue Methoden gelernt, der Team Aufbau fand parallel dazu statt
• Prototypen wurden teilweise von Hand, teilweise mit dem 3D Drucker entwickelt
• Der Transport wurde mit kleinen Bots („Thymios“) umgesetzt
• die Ansteuerung der Roboter Arme erfolgte durch „teach in“
• bei der Auswertung der Sensoren wurde viel improvisiert

Parallel wurden in drei Bachelor Arbeiten realisiert:

• Erfassung der Tubes mittels Codes im Deckel
• Tracking der Wege durch eine Deckenkamera
• beides mittels Python Code auf einen Windows PC
• dieser Code wurde anschließend in ein GUI für die Labor Assistenten und einen Import/Export der Daten der Experimente nach Excel für die Anwender besser zugänglich gemacht.

Impressionen aus der IMST Lab Challenge 1, im Sommer-Semester 2023

Zusammengefasst hier der Stand bisher, und das erste Konzept für 2024:

Legende: grün: funktionsfähig, gelb: prototypisch bzw. zu überarbeiten, rot: wichtig, wird damit Teil der Challenge 2.0

Dieser Ansatz kann und sollte nun erweitert werden

– bestehende Module stabilisieren

– die die neu angeschafften, funktionalen Tools zu integrieren

– eigene Ideen einzubringen.

Und nun: der geplante Ablauf der Challenge 2.0

Projekttermine sind immer 

• der Montag Nachmittag  
• und ein zweite Nachmittag nach Verabredung des Teams; typischerweise am Mittwoch

Start: Zweite Vorlesungswoche (25.3.24)

Ende: vor der Prüfungszeit im Juli; danach sind für diese Veranstaltungen keine Prüfungsleistungen mehr zu erbringen.

Teil-Projekte in der Challenge 2.0

Diese Liste ist offen für Erweiterungen und Änderungen durch die Teams.

P1: Automatische Beschriftung der Tubes mit mikro-QR Codes

Mehrere Ansätze sind möglich – hier zur Verdeutlichung ein Prototyp: unser Laser Cutter Atomstack „graviert“ den Deckel eines Tubes

a) Generierung A4 Seite bedruckbare Klebefolie -> Schutzfolie abziehen, Folie mit face-dow -> Kreise im Laser-Cutter ausschneiden -> Tubes mit Deckel auf Klebeseite drücken

b) Gravierbare Deckel auf den Tubes direkt mit Laser beschriften. An- und Abtransport Tubes zum Laser mit Dobot , Sliding Rail

c) Nylon Klebe-Etiketten: Spezial Drucker vorhanden, passende Farbe,

Teilaufgabe: Optimierung: Druckverfahren (a) oder b)) x Material (Papier, Folien) x max. Größe (Deckel der Tubes) x min. Abstand Decken-Kamera

Erste Experimente haben gezeigt: es git mehrere Ansätze, die funktionieren.

Mit welchem Verfahren – Drucker, Laser Gravur – lässt sich der Mikro-QR Code M5: „1234567“ fehlerfrei einlesen?

Ansatz: QR Code erzeugen, das Ergebnis hoch-aufgelöst scannen, den Scan zur Verifikation (online) verwenden.

Original 33% 25% 20%

Direkter Vergleich 4,4×4.4 mm, Verfahren a-b-c

Ergebnis: alle drei Verfahren funktionieren in der Auflösung 4,4×4,4mm, die auch auf die kleinen Tubes passt 😊

Getestet mit: https://www.dynamsoft.com/barcode-reader/barcode-types/micro-qr-code

P2: Zentrifuge Be- automatisch und entladen

Die Challenge: die Trommel der Zentrifuge hat schräge Wände, in der die über 20 Tubes stecken; der Roboter-Arm muss also sehr beweglich sein.

Erste Experimente haben gezeigt: unser neue r myCobot 280-pi hat genügend Beweglichkeit (6 DoF) für Ausrichtung des „Gripper“ oder der „succer pump „an geneigter Innenwand Trommel der Zentrifuge (s. Video 1, 2 )

Schritt 1: PoC myCobot steckt Tube in schräg-stehende Halterung

Schritt 2: myCobot entlädt schräg-stehende Halterung auf plane Halterung

Für diesen Teil der Challenge besteht die Aufgabe, den coBot mittels Python so anzusteuern, dass er ein bestimmtes der vielen Tubes in der Zentrifuge greift und ablädt. Dieses Programm werden wir in P3 erweitern, um mit Einsatz von Bildauswertung zu ermitteln, wie viele Tubes im konkreten Fall in der Zentrifuge stecken – denn das variiert je nach Experiment.

P3: Computer Vision zur Steuerung von Werkzeugen

Die Erkennung von Position und Lage eines Objektes wird einfacher und präziser, je mehr Information verfügbar ist: Farbe, Form, verdeckte Sicht, …

Die Erprobung der Kamera des myCobot 280-p8i und einer neuen 2K Webcam von Anker haben gezeigt:

1. Farberkennung und Objektmaskierung schafft der RawsberryPI mit hohen Frame-Raten
2. Multiple Kameras lassen sich parallel an Ubuntu/myCobot/OpenCV betreiben (POC durchgeführt mit 1x nativer Kamera des Cobots, plus 1x 2k Anker, auf VideoCapture(0) und VideoCapture(2). Eye-in-hand

Hier die Bilder zu a)

Links im Bild: rote Objekte.

Rechts: Kamera des myCobot (grau), am Werkzeughalter montierbar, d.h., sie dreht mit dem Greifer bzw. dem Sauggreifer mit.

OpenCV – integriert in myCobot Steuerung – detektiert rote Elemente, in Echtzeit

Damit lässt sich problemlos eine Pick&Place Anwendung realisieren: https://youtu.be/vJah8qn30GI

Spezifikation: erste Ideen

• für andere Betriebssysteme evaluieren
• Anwendung: Optische Marker und Anweisungen integrieren
• Anwendung: zwei Beobachtungs-Achsen für ein Werkstück -> automatische Ansteuerung möglich

P4: „Definition und Aufbau neues Layout der Laborstraße“

Unter Einbeziehung

• des Dobot „sliding rail kits“
• der neuen Sensoren (Lichtschranke)
• der drei unterschiedlichen Robotertypen
• bis zu zwei 2k Webcams und der myCobot Cam
• dem Dobot Magician Lite mit einer Cam

Spezifikation:

Die reale Größe ist ca. 2,5m x 1.2m

P5 Intelligentes Tablett für den Labor-Assistenten

Idee: Tubes stehen auf durchsichtiger Halterung, Deckenkamera liest QR-Codes, Tab visualisiert Nummer _unter_ dem Tube.

App Programming,

Option: Audio-2-Text „Hallo Tab, wo steckt Tube 123“ -> es leuchtet.

Idee: von unten wird farbig markiert oder illuminiert, wo was auf dem Tablett steht

P6 Automatisch Höhen-verstellbare Bühne für Cobot

Laborfläche ist knapp !

P7 Dashboard GUI und Tracking optimieren

Python, QTDesigner

P8 Automatische Bedienung Zentrifuge

(Stefan)

Sonstige Aufgaben

• Entwurf und Realisierung (3D-Druck) einer Werkstückaufnahme für den Dobot MagicianLite
  –> fester Nullpunkt
  –> einfache und reproduzierbare Pick&Place Übungen
• Entwurf und Realisierung (3D-Druck oder Metall) von Halterungen für die Endeffektoren der Roboter
  –> Ordnung und Übersicht
  –> spart Zeit beim Toolwechsel

Neue Tools und Werkzeuge für die Challenge 2.0

Alle zu finden im Challenge Labor L145 😊

Laser-Cutter ATOMSTACK X7 Pro (s. P1)

– Gravieren (Papier, andere Materialien), Schneiden (Holz, Kunststoff)

– Arbeitsfläche 410×400 mm

– Vorteile: Mikro QR-Code gravieren ist verifiziert, verstellbare Arbeitshöhe Laser, einfache Fokussierung, Betrieb offline (von SD-Card) möglich

– Nachteile: laut, Absaug-Einrichtung ist empfehlenswert, zumindest bei intensivem Betrieb

myCobot 280-pi (Teach-In, Pick-and-Place)

Integration in ROS2

Steuerung via Python, MyCobotController App Remote Control (via BT), Gamepad

LEGO Stecker für Befestigung und optionale Anbauten

Präzision (Wiederholbarkeit) muss überprüft werden. Ggfs. konstruktive Lösung (im Zentrum der Trommel der Zentrifuge) zur Kraft-Reduktion oder Führung des Werkzeugs

– Vorteile: 6 DoF, Kamera und Werkzeug am gleichen Revolver, lauffähige Samples (Ubuntu, Python 3.9), Integration in OpenCV ist verifiziert

– Nachteile: Befestigung Fuß muss überarbeitet werden, lauter Lüfter

Lichtschranken für Dobot

– noch in Bestellung

Zusätzliche Webcams (2x 2K Anker)

Firmware Update durchgeführt

– Integration in myCobot / OpenCV war erfolgreich

– Windows: noch nicht erfolgt

Lego Education Sets

– noch nicht evaluiert

DoBot AI Kit

– noch nicht evaluiert

– im Prinzip (Farb-)Erkennung von Objekten

Dobot Sliding Rail (s. P4 Labor-Layout)

– Vorteile: 1000mm Travel. Ein Dobot, plus eine Halterung für die Tubes, können „auf Reisen gehen“, mit hoher Genauigkeit des Schlittens – viel effizienter als die kleinen Thymios.