At work on the iCub3 robot (Photo courtesy of IIT)
English Italian

The Italian Institute of Technology of Genoa was the only Italian institution to participate in the global robotic avatar challenge Ana Avatar X- Prize, held Nov. 4-5 in Long Beach, California.

At the Convention Center 17 teams, from 10 countries around the world and selected out of 99 teams, competed for a cash prize pool of $8 million, provided by ANA (All Nippon Airways). The teams from Italy, which showed up with two robots, AlterEgo and iCub3, faced other teams from the US, Japan, South Korea, Mexico, Singapore, and the rest of Europe (Germany, France, and Holland).

The competition among teleoperated robots required them to perform daily life tasks communicated by the organizers to the finalist teams only a few days before. For each robot, a person from outside the team and unrelated to that technology had to teleoperate the humanoid remotely and complete the task within a maximum time of 25 minutes, on a circuit about 45 meters long, that visually mimics the characteristics of Mars.

The IIT teams at work (Photo courtesy of IIT)

During the competition, we of L’Italo-Americano met Daniele Pucci, IIT researcher and leader of the iCub3 team, and Manuel Catalano, Soft Robotics for Human Cooperation and Rehabilitation at IIT Genoa.

Manuel, you are returning to California after your 2016 experience with DARPA in Pomona. What is the difference between these two competitions?

The one in Pomona was a challenge in a post-apocalypse scenario. Here, the big difference is that the operator will not physically see the robot, but will have to guide it and move through space relying only on the VR visor it will be wearing. In the first phase, the robot will have to orient itself, walk and stand without support, find a lever, apply the necessary force to operate it, and open a door; in the second phase, it will be necessary to use objects and tools, with the operator through the robot having to recognize their mass and size, even sorting them by weight; in the final phase, a drill will have to be used to drill holes and recognize some objects, different in shape, color, and material, without being able to look at them but only using touch.

What kind of robot is AlterEgo?

AlterEgo is a semi-anthropomorphic robot equipped with a humanoid upper body and a mobile platform on two wheels. Using visors and joysticks, the operator can see through the robot’s eyes and use its body. Compared with iCub3, which mimics the human hand, AlterEgo, while having the same number of phalanges, is more simplified. iCub looks to the future, it is a kind of mobile laboratory, while AlterEgo is designed and made to be accessible in the short term and therefore more ready to operate in the world.

Daniele, what features are essential in this competition and what is the biggest challenge?

The winning team will be the one that can best integrate various emerging technologies to develop a physical avatar robotic system. With it, the operator can see, hear and interact with the environment remotely, having the feeling of actually being there to complete a task in the shortest time. One of the challenges is that we will not be the ones to teleguide the robot, but there will be judges. The judges will then wear our technology – our smart clothes, called iFeel, and commercial visors – and command the robot remotely, without our intervention.

The iCub3 robot (Photo courtesy of IIT)

The word sounds very futuristic, but what is the exact meaning of “avatar” ?

Avatar means a tool that allows us to create a surrogate. An avatar can be either digital or physical. When we talk about digital avatars, we are talking about virtual representations. On the other hand, when we talk about physical avatars, we are talking about a tool that can operate in the real environment and tries to emulate the movement and perceptions of an operator who is remotely tracking it. The robot is able to reproduce the commands that the operator gives it remotely through the system called tele-existence, which uses common optical fiber. Through these commands, the robot then has the ability to move in space, manipulate objects, perceive stimuli, and interact verbally and physically with people and the environment.

On a practical level, then, what kind of interaction is there?

We can imagine that an operator moves an arm and its physical avatar, which will be in another place, similarly moves an arm. In the same way, if the robot perceives something (through sight, hearing, or touch), those perceptions must be reported to the operator. Therefore, the robot in question is equipped with legs, making it more agile than other wheeled robots; it has sensorized hands capable of grasping objects, and also sensorized skin covering its arms. It is capable of transferring sensations to the human operator. In addition,

iCub3’s face has moving cameras instead of eyes to look around, microphones in its ears, and speakers behind its mouth to receive and transmit voice signals.

In a commercial context, what are the uses of this type of humanoid?

There are two new robots that will take advantage of the knowledge gained through iCub3. The first is called ergoCub, where “ergo” stands for ergonomics: the goal is to make a collaborative robot for hospital and industrial environments. It will be a robot that can lift large weights and allow us to offload our biomechanical risk. The other robot will be a more dynamic and robust evolution of the iCub3.

L’Istituto Italiano di Tecnologia di Genova è stata l’unica realtà italiana a partecipare alla sfida mondiale per avatar robotici ‘Ana Avatar X- Prize’ che si tenuta il 4-5 novembre a Long Beach, in California.

Presso il Convention Center 17 squadre, provenienti da 10 Paesi di tutto il mondo, si sono sfidate per un montepremi in denaro di 8 milioni di dollari, messi a disposizione da ANA (All Nippon Airways). I team italiani, che si sono presentati con due robot: ‘AlterEgo’ e ‘iCub3’, hanno affrontato le altre squadre proveniente da Usa, Giappone, Corea del Sud, Messico, Singapore e il resto d’Europa (Germania, Francia e Olanda).

La competizione tra robot tele-operati prevede che questi ultimi svolgano compiti di vita quotidiana comunicati dagli organizzatori ai team finalisti solo pochi giorni prima. Per ogni robot, una persona esterna al team ed estranea a quella tecnologia dovrà tele-operare a distanza l’umanoide e portare a termine il percorso entro un tempo massimo di 25 minuti, all’interno di un circuito di circa 45 metri di lunghezza che a livello visivo riproduce le caratteristiche di Marte.

Nei giorni della competizione, noi de L’Italo-Americano abbiamo incontrato Daniele Pucci, ricercatore IIT e leader del team iCub3, e Manuel Catalano, Soft Robotics for Human Cooperation and Rehabilitation dell’IIT di Genova.

Manuel, torna in California dopo l’esperienza nel 2016 con la “Darpa” a Pomona. Che differenza c’è tra queste due competizioni?

Manuel Catalano: Quella di Pomona era una sfida in uno scenario di post-apocalisse. Qui la grande differenza è che l’operatore non vedrà fisicamente il robot, ma dovrà guidarlo e muoverlo nello spazio affidandosi solo al visore VR che indosserà. Nella prima fase, il robot dovrà orientarsi, camminare e stare in piedi senza sostegno, trovare una leva, applicare la forza necessaria per azionarla e aprire una porta; nella seconda sarà necessario usare oggetti e strumenti, con l’operatore che attraverso il robot dovrà riconoscerne massa e dimensioni, anche ordinandole in base al peso; nella fase conclusiva si dovrà usare un trapano per praticare fori e riconoscere alcuni oggetti, diversi per forma, colore e materiale, senza poterli guardare ma solo usando il tatto.

Che tipo di robot è AlterEgo?

Manuel Catalano: AlterEgo è un robot semi-antropomorfo dotato di una parte superiore del corpo umanoide e di una piattaforma mobile su due ruote. Grazie a visori e joystick, l’operatore riesce a vedere attraverso gli occhi del robot e a utilizzarne il corpo. Rispetto a iCub3 che riproduce la mano umana, AlterEgo, pur avendo lo stesso numero di falangi, è semplificato. Se iCub guarda al futuro, è una specie di laboratorio mobile, AlterEgo è studiato e fatto per essere accessibile nel corto periodo e dunque più pronto per operare nel mondo.

In che direzione va la ricerca della robotica per il futuro?

Manuel Catalano: Negli ultimi 10 anni, i robot sono decisamente entrati nelle nostre vite, dai droni ai robot che fanno pulizie. Entro i prossimi 5-10 anni (intorno al 2030, ndr) avremo davvero robot come AlterEgo che ci aiuteranno nelle fabbriche e negli ospedali. I robot che ci circonderanno in futuro dovranno essere capaci di venire incontro alle nostre esigenze e dovranno essere utilizzabili con la stessa facilità con la quale ad oggi usiamo un telecomando.

Quali caratteristiche sono fondamentali per questa competizione e quale è la difficoltà?

Daniele Pucci: Il team vincitore sarà quello in grado di integrare meglio varie tecnologie emergenti per sviluppare un sistema robotico di avatar fisico con il quale l’operatore possa vedere, sentire e interagire con l’ambiente da remoto, avendo la sensazione di essere realmente presente per portare a compimento il percorso nel minor tempo, completando più stazioni possibili. Una delle difficoltà è data dal fatto che non saremo noi a teleguidare il robot nelle varie azioni che dovrà compiere, ma ci saranno dei giudici. La giuria indosserà quindi la nostra tecnologia – i nostri vestiti intelligenti, chiamati iFeel, e dei visori commerciali – e comanderà il robot da remoto, senza il nostro intervento.

La parola suona molto futuristica, ma cosa si intende esattamente con avatar?

Daniele Pucci: Per avatar si intende uno strumento che ci permette di creare un surrogato. Un avatar può essere digitale o fisico. Quando parliamo di avatar digitali, si parla di rappresentazioni virtuali. Quando invece parliamo di avatar fisici, si intende uno strumento che può operare nell’ambiente reale e che cerca di emulare il movimento e le percezioni di un operatore che lo sta teleguidando da remoto. Il robot è in grado di riprodurre i comandi che l’operatore gli impartisce a distanza grazie al sistema definito di tele-esistenza, che utilizza una comune fibra ottica. Attraverso questi comandi il robot ha quindi la capacità di muoversi nello spazio, manipolare oggetti, percepire stimoli e interagire verbalmente e fisicamente con persone e ambiente.

A livello pratico che tipo di interazione c’è?

Daniele Pucci: Possiamo immaginare che un operatore muova un braccio e il suo avatar fisico, che si troverà in un altro posto, muova allo stesso modo un braccio. Analogamente, se il robot percepisce qualcosa (attraverso la vista, l’udito, il tatto), tali percezioni devono essere riportate sull’operatore. Per questo il robot in questione è dotato di gambe, che lo rendono più agile di altri robot dotati di ruote, è dotato di mani sensorizzate capaci di afferrare oggetti, di una pelle sensorizzata che riveste le braccia ed è in grado di trasferire sensazioni all’operatore umano. Inoltre, il volto di iCub3 ha telecamere mobili al posto degli occhi per guardarsi intorno, microfoni nelle orecchie e altoparlanti dietro la bocca per ricevere e trasmettere segnali vocali.

In un contesto commerciale, quali sono gli utilizzi di questo tipo di umanoidi?

Daniele Pucci: Ci sono due nuovi robot che sfrutteranno la conoscenza acquisita attraverso iCub 3. Il primo si chiama ergoCub, dove “ergo” sta per ergonomia: l’obiettivo è quello di realizzare un robot collaboratore per ambienti ospedalieri e industriali. Sarà un robot in grado di sollevare grandi pesi e ci permetterà di scaricare il nostro rischio biomeccanico. L’altro robot sarà un’evoluzione del robot iCub3, affinché questo sia più dinamico e robusto.

Receive more stories like this in your inbox