A startup Telexistence, com sede em Tóquio, anuncia que implantará robôs com tecnologia fornecida por inteligência artificial (IA) da NVIDIA para reabastecer as prateleiras de centenas de lojas de conveniência FamilyMart no Japão.

Existem 56.000 lojas de conveniência no Japão, a terceira maior densidade mundial. Cerca de 16.000 delas são administradas pela FamilyMart. O objetivo da Telexistence é economizar tempo para essas lojas, transferindo tarefas repetitivas para um robô, como reabastecer prateleiras de bebidas. Isso permite que a equipe da loja lide com tarefas mais complexas, como interagir com os clientes.

É apenas um exemplo do que pode ser feito pelos robôs da Telexistence, que são executados na plataforma de IA no edge e robótica NVIDIA Jetson. A empresa também está desenvolvendo sistemas baseados em IA para logística de depósitos com robôs que organizam e coletam pacotes.

“Queremos implantar robôs em setores que ofereçam suporte à vida cotidiana”, diz Jin Tomioka, CEO da Telexistence. “O primeiro espaço em que vamos trabalhar com isso é em lojas de conveniência, uma enorme rede que auxilia na vida diária, especialmente no Japão, mas que está enfrentando uma escassez de mão de obra.”

A empresa, fundada em 2017, planeja expandir para lojas de conveniência nos EUA, que também sofrem com a escassez de mão de obra no setor varejista, e onde mais da metade dos consumidores dizem visitar uma das 150.000 lojas de conveniência do país pelo menos uma vez por mês.

Estoque de robôs da Telexistence na FamilyMart

A Telexistence começa a implantar seus robôs de reposição de estoque, chamados TX SCARA, em 300 lojas FamilyMart em agosto, e tem como objetivo levar as máquinas autônomas para outros locais da FamilyMart, bem como outras grandes cadeias de lojas de conveniência nos próximos anos.

“Os funcionários passam muito tempo na sala dos fundos da loja, reabastecendo as prateleiras, em vez de estarem com os clientes”, conta Tomioka. “A robótica como serviço pode permitir que a equipe passe mais tempo com os clientes.”

O TX SCARA percorre um trilho e inclui várias câmeras para digitalizar cada prateleira, usando IA para identificar bebidas que estão acabando e planejar um caminho para reabastecê-las. O sistema de IA pode reabastecer as bebidas automaticamente em mais de 98% do tempo.

Em casos raros em que o robô interpreta erroneamente a colocação da bebida ou uma bebida cai, não há necessidade de a equipe da loja largar suas tarefas para colocar o robô de volta a funcionar. Em vez disso, a Telexistence tem operadores remotos de prontidão que podem lidar rapidamente com a situação, assumindo o controle manual através de um sistema de Realidade Virtual que usa GPUs NVIDIA para streaming de vídeo.

A Telexistence estima que uma loja de conveniência movimentada precisa reabastecer mais de 1.000 bebidas por dia. O sistema em cloud do TX SCARA mantém um banco de dados das vendas de produtos com base no nome, data, hora e número de itens estocados pelos robôs durante a operação. Isso permite que a IA priorize quais itens reabastecer primeiro com base em dados de vendas anteriores.

Conquistando a IA no edge com o NVIDIA Jetson

O TX SCARA tem vários modelos de IA integrados. Um modelo de detecção de objetos identifica os tipos de bebidas em uma loja para determinar qual delas pertence a qual prateleira. Ele é combinado com outro modelo que ajuda a detectar o movimento do braço do robô, para que ele possa pegar uma bebida e colocá-la na prateleira entre outros produtos com precisão. Um terceiro é para detecção de anomalias: reconhecer se uma bebida caiu sobre ou para fora da prateleira. Outro detecta quais bebidas estão acabando em cada área de exposição.

A equipe da Telexistence usou redes neurais personalizadas pré-treinadas como modelos de base, adicionando dados reais sintéticos e anotados para ajustar as redes neurais para sua aplicação. O uso de um ambiente de simulação para criar mais de 80.000 imagens sintéticas ajudou a equipe a aumentar o conjunto de dados para que o robô pudesse aprender a detectar bebidas de qualquer cor, textura ou iluminação de ambiente.

Para o treinamento de modelos de IA, a equipe contou com uma NVIDIA DGX Station. O robô usa dois módulos integrados do NVIDIA Jetson: o NVIDIA Jetson AGX Xavier para processamento de IA no edge, e o módulo do NVIDIA Jetson TX2 para transmitir dados de streaming de vídeos.

No lado do software, a equipe usa o SDK NVIDIA JetPack para IA no edge e o NVIDIA TensorRT SDK para inferência de alto desempenho.

“Sem o TensorRT, nossos modelos não seriam executados rápido o suficiente para detectar objetos na loja com eficiência”, explica Pavel Savkin, diretor de automação de robótica da Telexistence. A Telexistence otimizou ainda mais seus modelos de IA usando meia precisão (FP16) em vez do formato de ponto flutuante de precisão simples (FP32).

Saiba mais sobre as últimas novidades em IA e robótica no NVIDIA GTC, que acontecerá on-line de 19 a 22 de setembro. A inscrição é gratuita.