进击的巨人
Chinese team develops intelligent vision sensor that turns light signals into AI-ready tokens, reducing use of energy_我的网站
A |
The new ultra-low-power intelligent vision sensor chip "LightTok" developed by a research team from Nanjing University. Photo: from Science and Technology Daily
A Chinese research team from Nanjing University has developed a new ultra-low-power intelligent vision sensor chip, dubbed "LightTok," that can convert light signals into tokens within the sensor, significantly reducing the high energy consumption caused by frequent transfers of massive amounts of redundant data, the principal investigator told the Global Times.
According to a release from the Institute of Brain-Inspired Intelligence of Nanjing University, tokens generated by the LightTok chip can be directly fed into a Transformer encoder for image recognition.
"Our design idea was to move token generation onto the sensor itself, allowing the chip to directly produce tokens that AI models can process once light reaches the sensor," Miao Feng, director of the Institute of Brain-Inspired Intelligence at Nanjing University, told the Global Times on Thursday. "These tokens contain complete image information."
Physical AI refers to intelligent systems capable of autonomously perceiving, reasoning, acting and receiving feedback in the real world, representing a key pathway for AI to move from the digital realm into the physical world. Vision-based physical AI systems powered by large AI models need to convert visual information from real-world environments into tokens that can be processed by AI models before feeding these tokens into Transformers for subsequent tasks.
In traditional visual perception pipelines, light signals must go through multiple stages, including image sensing, analog-to-digital conversion, data buffering and transfer, digital image patching and embedding, before being transformed into tokens that AI models can process. The frequent transfer of massive amounts of redundant data has resulted in high energy consumption at the edge, according to a report by Science and Technology Daily.
The LightTok chip directly addresses a key challenge in physical AI hardware: how to efficiently acquire and tokenize visual information from the physical world with low energy consumption, Miao said.
The LightTok chip consists of a photosensitive memory array and peripheral circuits. The team built the array based on single-layer molybdenum disulfide (MoS₂) floating-gate phototransistors, with each pixel capable of sensing light, storing information and performing analog computing. By processing optical information directly within the chip, the device can convert captured visual signals into tokens for AI models, according to the research team.
The current LightTok prototype has a resolution of 32×32 pixels, or 1,024 photosensitive pixels, which is still smaller than that of smartphone cameras and industrial imaging systems. However, Miao said the technology is compatible with CMOS manufacturing processes and can be scaled up. With wafer-level growth of molybdenum disulfide materials, the chip could potentially achieve a scale comparable to existing imaging devices.
Miao said the chip also draws inspiration from the information-processing mechanism of human vision. Similar to how the retina extracts key visual information before transmitting it to the brain, the chip also aims to process visual information at an early stage.
The research was conducted in collaboration with another research team from the National University of Singapore. The findings were published on Wednesday in Nature Sensors, an internationally renowned journal in the field of sensing technology, according to the release.
Potential applications for LightTok include drone systems, autonomous remote sensing and small-scale embodied AI systems, Miao said. In these scenarios, devices need to continuously detect, understand and track targets, generating massive amounts of visual data. By reducing the energy required for visual processing, the technology could extend the operating time of drones, satellites and small robots with limited power supplies, the expert said.
。 2月21日、ピアニストの清塚信也氏（43）が自身のインスタグラムに投稿した写真に、俳優の田中圭（41）の姿が映っていたことが大きな話題を集めている。【写真あり】「目もパンパン」ぽっちゃりした田中圭の最新近影 投稿された写真には清塚氏と田中の他に、俳優の小栗旬（43）の姿も。投稿には《舞台『#いのこりぐみ』圭と行ってきたよ～^ ^》と綴られており、この日、2人は小栗主演の舞台『いのこりぐみ』（作・演出 三谷幸喜）を見に行っていたようだ。田中はアーム部分がレザーの切り替えになった黒のジャケットに茶色のパーカーといった格好。カメラを見つめて小栗と共にこちら側にピースサインを送っていた。昨年4月末、『週刊文春』によって女優の永野芽郁（26）との不倫疑惑が報じられた田中。
B | 久しぶりの近影にコメント欄ではファンから《わぁぁあ！！圭くんだ》《圭くんきた！！》と歓喜の声が起こったが、いっぽう写真に見られた“ある変化”にネットやSNS上では驚きの声が…。《少しふっくらしたかな？》 《太ってない？目もパンパン》 《田中圭太ったね》 芸能関係者が語る。「不倫疑惑騒動があって以来、田中さんは韓国、アメリカ、スペインなど、海外で開催されるポーカー大会に次々と出場して話題に。約2カ月にわたって海外での放浪生活をし、総額2000万円程度を稼いだとか。帰国後、昨年9月に田中さんが行きつけの飲食店に訪れていたことを同店のスタッフがインスタグラムに投稿。そこには田中さんの近影（編集部注：写真は現在削除済み）がアップされていたのですが、体形が少し“ぽっちゃり”した様子で、ネット上でも“現役感がない”と話題になっていましたね」 昨年9月の写真に続いて、体形の変化が指摘された田中。その兆候は不倫騒動の報道直前にすでに表れていたようで――。昨年3月、田中はボディソープの新商品CM発表会に参加。当時、所属事務所が開催する『トライストーン大運動会 2025』が間近に控えており、田中はそこで以下のように語っていた。《3日後に事務所が運動会するので、運動しなきゃいけないんですよ。
C | トレーニングをすごいやっていた。急に運動して怪我もできないので。時間もあるから、確かに夜に映画見ながら、ついお菓子を食べてしまったりとかしていて。ちょっと前に人生の体重のMAXだったんです》 前出の芸能関係者が続ける。「田中さんはかつて『銭湯と和菓子と田中圭（仮）』という和菓子にまつわる雑誌連載を持っていたほどのお菓子好き。夜中などについつい食べ過ぎてしまうことも多いのだとか。‘25年4月の不倫騒動前は、事務所の運動会や俳優仕事が身体を動かす理由になっていたそうです。しかし今年は運動会の開催はまだ発表されていないほか、芸能界への本格復帰も困難な状況。なかなか運動をする動機が見つからないのかもしれませんね」。
Current article:http://3bvs1wd.ganweilingmukuai.shop/list_o8nmfxb/3uktf.html
Published on:00:00:00
