http://dcrdx.com/

360摄像机往事:一半芯片江湖,一半理想国度

文史中 (零) )。 也有人说中年的崩溃,总是一瞬间。 2016年的一个晚上,360名儿童手表产品经理从汕头用户那里得到截图,上面写着:“爸爸妈妈离婚了怎么办? ”的问题。 360手表有动画语音助手“巴迪龙”,孩子们可以日常问空问题。 如果是简单的问题,比如“有多少热水”,人工智能会直接回答。如果遇到人工智能答不上来的难题,可以通过APP转发给家长,引导家长与海智子沟通。 这个孩子,偶然问了这个世界上最难的问题。 总有一天他可能会听罗大佑的歌。 "爱是谁也不能知道的东西. " 海智子的爸爸刚在离婚诉讼中杀了四方获得监护权。 他日夜拼命赚钱,给海子买了最好的衣服,最好的玩具,当然还有这块手表。 他必须证明,即使没有母亲,海子也一样是最好的幸福。 但是,当他看到海智子偷偷问他最信任的巴迪龙这个问题时,他把刀收进了鞘里。 爱是爱,世界上没有可以和爱交换的等价物。 他决定把自己的故事分享到360,剪下了这张图。 在当时360个儿童钟表产品负责人孙浩的记忆中,这是产品经理重要的人生时刻。 有人那么信任他们,于是举起了内心世界的柔软和盘子,冰冷的塑料壳有了人类的温度。 这个故事可能会被列为360硬件团队的“人生寓言”。 巴迪龙 说到360,应该会想到“杀毒”。 不是“浏览器”、“搜索”、“3Q大战”吗? 当然,也有不那么友好的话。 虽然我想大多数人和我一样,总是迟一步想起,360实际上出了很多硬件产品。 我个人的感觉是,使用过360个硬件的话,会觉得智能相机、行车记录仪、智能门铃、家庭防火墙(路由器)等,哪里有“奇怪的性格”。 举几个例子: 例如,他们开始了儿童手表这个类别,第一次在手表上添加了haiz的智能语音助手。例如,在智能门铃上添加了“声音修改器”,家里一个女人可以和猛男或者门外的人变声说话哦例如,在智能扬声器中添加孩子的声音,只要孩子在对扬声器说话,就切换为孩子的声音进行回答。 例如,他们的路由器APP添加了管理孩子们上网行为的功能,可以防止游戏沉迷,还可以清除酒店有无隐藏摄像头。 例如,他们可以在家庭摄像机上添加“共享”功能,让千里之外的家人实时观看自己的视频画面。 这已经足以将360个与小米、华为等大型工厂的同类产品区分开来。 但是,这种“奇怪的性格”到底来自哪里呢? 其背后是机会主义者还是理想主义者呢? 我抓住机会,抓住了360硬件团队的技术产品大牛、软件中台部的孙浩社长,在咖啡店的角落里说了一下午的话。 从烈日下到余晖斜映。 岁月辽阔,故事太多。 仔细想想,他决定用360硬件产品线中最具“性格”的产品之一3——360摄像头3354生动地讲述他和同事们的荣誉和梦想。 然后,沿着他的故事,我发现了更波澜万丈的历史。 我想把这些告诉你。 孙浩 (一) )。 说话前,请介绍孙浩老湿两分钟。 光看浅黑的浅友们可能知道360经常出“奇人”。 你看,修车修到一半的突然遇到大人物成为黑客的李均,白天去工厂上班晚上自学开发军用级卫星跟踪雷达的郝经利,上课成为敲文曲星打全球洞的大神和美帝斗智斗勇的MJ……数不胜数。 当然,这些奇人能加入360的最大原因是每天穿着红色t恤,一拿到麦克风别人就抢不到。 我发誓见人才就手痒手忙脚乱,现在每天都在用安全的大脑为保卫祖国而奔走的周鸿祎。 不巧的是,孙浩也是个怪人,他进入360也是周鸿祎的错。 2012年,就读河海大学自动化系研究生的孙浩因兴趣在天涯、虎嗅、钛媒体上发表了很多分析智能硬件的文章。 没想到2013年被眼前的周先生看到了,“钦点”人事部的门招了360名这个孩子做硬件。 这是当时文章的截图 周先生没有认错人。 孙浩确实是“机器达人”。 大学时获得了电子设计竞赛的大部分奖项。 上学这几年,他把自己的手机刷在了底部。 他没有限制去美国CES电子展朝圣的因素只有——贫困。 那一年真是智能硬件的春天。 谷歌宣布以32亿美元收购了iPod之父创立的智能家居硬件公司Nest,Pebble的新手表在CES上火爆,苹果watch在火石艺术中心很受欢迎。 在中国,爱耳朵眼、蚂蚁纷纷推出智能相机,不仅在极客圈中风光一时,而且成功引起了吃瓜群众的注意,许多渴望新鲜口味的人在自己家里安装了相机。 “家庭安全”这个市场像孙猴子一样冲出了石缝。 被称为“小水滴”的360相机也在这第一波浪潮中发售。 当时孙浩还在孩子的手表队,和镜头是“兄弟连”,但他也目睹了同事们的骚扰。 这群人不会马上去给供应链增加成本,也不会开着灯晚上打二维码,而是在沙发上舒适地筑巢。 他们做的是非常重要的事情,而不是摸鱼。——思考。 让我们考虑两件大事。 第一,我们为什么要做照相机? 第二,谁需要我们的照相机? 为什么? 为了赚钱。 你需要谁? 有人住的地方需要吧。 这么想的话,那个产品不可能成功。 回去,重新考虑。 为什么要做照相机? 360是做网络安全的,吃哈密瓜的人心里的认知和舒伯特相似,关键词是“安全”、“省事”、“放心”、“不泄密”。 所以,360家庭摄像头的终极目的也是给人们安全感。 谁需要360个家庭相机? 缺什么,没有安全感的人需要360个家庭摄像头。 这个国家最没有安全感的,一是“上有老”的人,二是“下有小”的人,三是“上有老下有小”的人,换句话说,就是艰苦社畜社会的“中坚力量”。 其实,这两个问题360内部早就清楚了。 你看,孩子的智能手表可以帮助心碎的父母随时了解haiz的情况,之后的行车记录仪可以保护家人平安返回,路由器可以帮助家中的老人haizi安全上网,不翻车。 毕竟,这些都是给“中坚力量”带来安全感的产品。 回到我们的话题上。 回答这两个问题,360摄像头团队要做的事情会一下子变得具体和独特。 举个例子,他们从一开始就做了剑偏的功能——“哭声检查”。 这个功能简单来说,如果你家的孩子哭了,照相机会“听”的。 这不能在很多海子身边,家里的老人和保姆可以照顾海子的“中坚力量”。 没想到,这款简单的哭声检测功能推出后,意外走红,很多用户都去了其他品牌的相机网店,问:“为什么没有哭声检测呢? ”。 你看,“中坚”的痛点比普通人想象的要大。 虽然功能简单,但背后的技术原理并不简单。 接下来好好坐下,从这个“哭声检验”开始,我带你去看沸腾的技术大河。 (二) ) ) )。 详细情况在芯片上。 因为相机小,价格也便宜,所以其中芯片的计算力不是很大。 但是,判断周围是否有哭声的重任都压在了这个芯片上。 具体而言,“哭声检验”实现的技术过程共分为三个步骤。 1、团队会找来很多英杰的哭声数据。 在360内部,用算法学习训练这些数据,建立能够识别哭声的“模型”。 3、把这个机型“塞进”相机芯片,就能实时判断哭声了。 这里发生了问题。 我刚才说了,受成本的限制,照相机里芯片的计算能力和执行空间很可怜,不能放那个模型进去。 这就像小学生,会强迫你解决微积分问题。 我该怎么办? 所以,要把哭声识别的模型塞进那么弱的芯片里,首先需要对模型进行修剪和优化。 这项剪裁工作比把大象塞进冰箱里更难。 剪裁不充分,就不能塞满芯片; 如果剪裁得太狠,模型就会变得粗糙,出现漏报和误报,没有注意到——海智子真的在哭,有点风吹草动就会被认为是“哭声”。 就像一部电影一样,压缩过度会失去风采 当时,为了这个小哭声模型的剪裁,算法团队和产品团队费了不少力气。 但后来的故事证明,他们的这种辛苦具有历史意义。 ——将自己推向了“人工智能”的不归路,这条路正好通向新世界。 过了一会儿,小组得到了“寸进尺”,计划开发另一种功能“人偶检查”。 这个功能说起来也很简单。 当陌生人闯进你家时,照相机会在第一时间响应视野中有“人”,向机器主要发送警报信号。 这就是“人偶检查”。 他们还想参照“哭声检验”方式,先在360内部训练出可以识别人偶的模型,然后塞进相机芯片。 结果,出现了更难的问题。 人形识别的模型比语音识别的模型要多,在边缘计算力不够的情况下,很难依靠CPU运行该算法。 摆在队伍眼前的是两条路。 1、摄像头芯片大幅升级会大大增加每台的成本2、找到识别人形的变通技术方案,而不是升级摄像头硬件。 绝对不能选择增加成本的选项。 原本360摄像头是紧贴成本出售的,如果加入后端云服务就会亏损。 如果每台都添加这样昂贵的芯片,照相机的零售价格会大幅增加,用户不一定能接受。 只有第二条路可以走。 经过冥想,工程师们突然脑洞大开,有办法了! 他们的方案是: 1、照相机内部的芯片不检测“人的形状”,只检测画面内的“物体有无运动”。 (该模型比较简单) 2、物体运动时,截取图,识别经过脱敏、加密后发送到云端的人工智能。 3、云人工智能计算能力丰富,很容易判断这个截图上是否有人。 如果有,则向用户发送提醒。 请记住,这实际上是将主要计算任务从“终端”转移到了“云”。 在这里孙浩特别向我强调,摄像头传到云端的画面,是完全脱敏的,可以理解为把画面暴露在了一堆数字密文上。 因为看不到具体的画面,所以用户不需要担心隐私问题。 问题解决了,但大家都知道这是妥协方案,不是完美的。 图像上传,本身需要消耗大量的带宽,云中一天几亿次的AI调用也是真金白银的成本,而摄像头放在家里的位置很高,往往有俯瞰的角度,所以,在这种情况下,只需要一帧的截图就可以在屏幕上看到人(这个角度即使是人也有可能看到老花眼) 关于这个矛盾正在激化。 做“娃娃检查”已经很困难,360相机团队大多更难实现以上思路。 例如,他们曾试图进行“跌倒检查”,以确定家中的老人是否跌倒。 人摔倒的不仅仅是一帧的画面,躺在床上也会被认为是跌倒,需要动态视频。 但是,如果成千上万的相机将视频传输到云中,成本太高,无法接受。 这个想法只能暂时保留。 例如,为了防止家里的孩子跑到窗边这样危险的地方,想做“孩子的登高检查”。 受制于成本,该功能也处于保留状态。 那时,“小水滴”的销售额有所增长,但同事们的心里总是挂着石头。 如果任由成本摆布,团队费尽心思想出的脑洞功能就无法进入实践阶段。 目前,主要矛盾已成为“中坚需求日益增长的家庭安全需求”与“技术落地成本”之间的矛盾。 这样下去不行。 360照相机团队决心秘密研究“新品种”。 (三) )。 请先不要看“新品种”。 我刚才提到了几个单词,这里需要整理一下。 人工智能的计算力大致分为“云上计算力”、“边缘计算力”、“边缘计算力”3种。 “云计算能力”位于一个集中的计算中心,由成千上万个顶级芯片组成。 (阿法狗围棋使用了10w台服务器规模的云计算能力。 )云上的计算能力就像一座水库,非常广阔,取之不尽,但存在终端到云传输需要带宽和时延成本的问题。 “边缘计算力”是高性能服务器,一般配置在离使用现场近的地方。 它的计算能力就像你家的水壶,里面的水也不少,全家人都能喝。 “边缘计算力”往往只有小芯片,其计算力就像你的茶杯,一口就能喝光。 战五渣,所有的信息传输和计算都发生在同一个硬件内部,速度非常快,安全性非常高。 好的,回到我们的话题上。 由于单独使用端的计算力太弱,连接所有云上的计算力成本太高,所以目测最好的方案是将——“云端”三种计算力结合起来使用。 这就是新品种——“360家族安全脑”的由来。 这个“360家庭安全脑”,最初是360“首席脑洞官”周鸿祎想出来的。 他的构想来源于: 除了现有的云和边缘计算能力之外,最主要的计算能力是,在家里多配置一个边缘节点(服务器),实时分析一个或多个摄像机收集到的视频画面,判断整个环境发生了什么风险,并对第一时间做出反应“ 请注意,家庭安全雨的核心正是在其“边缘计算节点”上。 由于边缘服务器的计算能力比照相机多了,家庭内的局域网不是会迅速变得免费,可以按照自己喜欢的姿势进行计算吗? 这样,2019年,孙浩被指定为家庭安全大脑的产品负责人。 他和同事们抱着大服务器(边缘节点),高兴地走进了公司准备的实验场——老周别墅。 为了充分试验技术,这群狼在周先生家配置了20多台摄像机。 有人朝门外走,有人朝房间走,有人朝窗户,有人朝院子走,相当于20只眼睛和耳朵在为背后这个安全的大脑收集信息。 这个大脑是怎么工作的呢? 孙浩简单地总结了一下。 有三个引擎,起着三个作用。 1、AI调度引擎——负责查明发生了神马情况2、边缘场景规则引擎——负责判断是否严重、应该怎么做3、云场景规则引擎3354负责二次确认事态,并 举个例子就知道了: 第一步: ai调度引擎就像侦察连队长,下面有很多侦察兵( ai模型)。 这些AI模型,无论是哭声识别、狗叫声识别、烟和火焰识别、人的动作识别、人脸识别等,总之只要发生视频监控范围内的“事件”,他们就能判断出来。 这就是“烟雾识别” 请注意,即使有事件也不一定危险,需要下一个工序。 第二步:艾吉鲁卢擎就像参谋长,负责根据侦察兵的报纸做出决定。 如果你发现一个人从你面前经过,这是一个低风险的事件,但是如果你一个人在你门口呆一分钟眺望,这个风险水平会一下子提高。 遇到高风险水平,系统必须采取一些措施。 例如,总是在门口眺望的人,可以用智能门铃自动播放录音。 “你总是在我家门口做什么? ”例如,如果检测到火星或浓烟,必须立即通知主人,有可能发生火灾。 可以检测人的动作,联动地闪烁灯 第三步:云场景规则引擎就像总司令。 总司令并不是整天盯着无聊的事,只有在需要综合大量信息进行判断的情况下,他才会出山。 例如,一个人反复出现在门前,埃吉鲁发动机只能判断这个人有危险,但不知道具体有多危险。 如果数据畅通,系统可以将此人的照片发送到云端,通过云和公安机关的追踪系统进行比对。 如果发现此人是逃亡者,没有立即报警咨询。 这样大规模的数据处理只能在云中进行。 罪犯整容也不怕 ok,这三个发动机触底,好像形成了乐高积木的万能底座。 无论什么新的AI模型来,或者新的埃吉鲁来,都可以直接在上面垒。 这样,“中坚分子”如果有什么特殊需要,可能会很容易就满足。 什么是“特殊需求”? 和中哥发挥想象力。 例如,可以开发识别画面上花瓶的AI模型;可以开发另一个AI模型,识别画面中的猫; 然后,利用规则引擎,安排你家主人走近桌上的花瓶时,警铃闪烁,让主人直接打消打碎花瓶的念头。 用同样的方法,也可以开发防止狗翻垃圾桶的规则,防止孩子们大吵大闹的规则,惩罚丈夫不能跪下键盘偷偷起床的规则等。 总之,你制定的“家规”,家庭安全大脑有办法帮助你。 但是,这里有很大的问题。 浅友们可能已经注意到了。 刚才还说成本,这样的边缘计算节点本质上是一台计算机,其成本最低几千美元。 如果家里没有别墅,似乎就没有必要做这样安全的大脑套装。 其实,在家庭安全大脑开发初期,360多位同事也认为这种游戏性价比很差。 私下里,孙浩甚至被讨论为“皇帝的新装”。 做产品经理多年了,孙浩当然也知道,因为成本高,现阶段家庭安全大脑的市场不好。 “但是,我知道必须要做。 ”他说。 因为人不能只靠现在活着。 从长期来看,边缘人工智能芯片的计算能力快速增长,同时价格持续下降。 我们做的这些技术,现在看起来需要很大的服务器,但将来如果照相机有5美元的芯片,可能就能应对了。 到时候,我们的产品真的可以进入每个人的家了。 如果你相信那一天会到来,你必须从现在开始积累技术。 但是,我不想家庭的安全大脑像想象的那样被冷落。 这个系统发布后,意外地受到了很多企业用户的罕见。 他们不是看家,而是用来“看工厂”的。 例如,爆竹生产厂需要安全的成套脑来监测有无火灾,建筑工地需要安全的成套脑来检测工人在场地内是否戴着头盔。 孙浩和同事们在设计时,由于多种视频格式兼容,只要将工厂内的原始监控探头信号连接到安全的大脑边缘服务器上,就可以直接开始工作,无需更换360个摄像头。 而且,因为有那三个引擎的基础结构,只要稍微调整其中的模型和规则,就可以把家庭安全大脑变成“工厂安全大脑”,或者“超市安全大脑”。 虽然企业用户风风雨雨,但孙浩想要的依然是普通的个人用户。 他总是固执地相信,只有人工智能芯片成本全面下降的时候,才是普通人真正获得人工智能辉煌的时刻。 好在芯片计算力的大河一直奔流,越来越宽,孙浩和同事们在岸边静静地等待,想拭目以待。 (四) )。 人们对人工智能芯片的渴望,芯片界大牛早就看到了。 其实,他们一直在星夜兼程。 2015年,百度顶级人工智能大牛余凯突然宣布创业。 他创立的“地平线机器人技术”正是剑指边缘和边缘的人工智能芯片。 天际线有两条主要产品线,“征兵”系列专用于自动驾驶,“旭日”系列正是用于AI相机。 天际线创始人余凯在芯片发布会上表示 而半年后的2016年、85年后的大牛陈天石带领中科院龙芯旧部创立了寒武纪,以同样边缘的人工智能芯片为突破口。 寒武纪是生命大爆发的地质年代,这个名字也意味着未来边缘的智能会像寒武纪生命一样爆发。 )他们推出寒武纪1A处理器,与华为手机直接合作,集成长颈鹿970芯片,打造全球首款AI芯片手机(华为Mate 10 )。 寒武纪芯片 2018年,在与寒武纪合作两年后,华为也突然宣布独立进军全链AI芯片,推出了纯自研达芬奇架构的里特系列芯片,包括云里特910和端里特310。 华为人工智能芯片矩阵 同时,许多传统芯片制造商如北京君正、中天微(被蚂蚁收购)、杭州国芯等也推出了具有人工智能计算能力的芯片。 此外,依图科技、Rokid、比特大陆等人工智能、机器人和矿机会公司也进入人工智能芯片深水区。 这些芯片以你无法想象的百米冲刺速度进入每个智能设备。 现在,我来介绍TOPS这个术语。 这是描述芯片运算能力的单位,1 TOPS意味着1个芯片1秒钟可以进行“1兆次”的运算。 今天( 2020年)云端人工智能芯片一般单片计算力在100 TOPS以上,而边缘端人工智能芯片一般单片计算力在10 TOPS左右,边缘端人工智能芯片一般单片计算力在1 TOPS水平。 在中国市场,云上的人工智能芯片依然以美国企业如NVIDIA、AMD、赛登斯、谷歌、微软芯片为主,阿里、百度、华为也分别研究了云上的芯片。 在边缘和终端上,国产芯片和美国有不小的差距,但没有不可逾越的鸿沟。 目前0.5托的端侧AI芯片可以达到5美元以内,未来一定会下降到3美元以内; 将来如果端侧芯片一般能够达到1 TOPS的计算能力,就可以实现脸的栅极功能; 一个家庭的边缘计算能力达到5 TOPS时,完全可以实现全功能人脸识别和人体关键点识别。 将来,一个设备可能会很容易整合数百TOPS的计算能力,相当于特斯拉目前拥有的计算能力。 有了这样的计算能力,相机就能深刻理解视频的内容,成为更高级意义上的人工智能终端。 孙浩说。 这不是产品经理YY。 2020年夏天,360又发布了一系列智能相机更新版。 其中有最新的AI芯片。 必须在云中进行的“人偶检查”,现在可以在终端上实现了。 孙浩和同事们的期待,一件一件慢慢而稳妥地发生着。 在孙浩看来,未来,家庭安全大脑可能不再是冰冷的服务器,而是能察言观色、体贴入微的管家。 有了它,“中坚分子”们就可以安心在人的海洋里挣扎,不用担心后顾之忧。 而且,你可以把孙浩他们的理想国重叠在小纸船上,驱逐到轰轰烈烈的“AI计算力平民化”的历史洪流中。 (五) ) )。 孙浩的妈妈在老家,总是关心他的生活。 于是孙浩通过“全家共享”功能向她共享了自己家门铃的视频。 她知道儿子什么时候回家什么时候出门,放心了。 孙浩的祖母失明了,有时很混乱,他把照相机放在祖母家,叔叔们通过照相机随时可以看到老人们的情况。 但是,收集家庭视频和音频信息的设备不可避免地陷入隐私和便利的困境。 例如,如果一个人在家里有时穿得不那么整齐,家人也不能随时看到实时屏幕,那该如何保护隐私呢? 孙浩和同事们被这种问题困扰着。 之后,他们想到了“360风格”的脑洞——骨骼显示。 简而言之,骨骼显示基于人体的关键点检测,背景中根据人的状态描绘有“骨骼”。 所以,家人在画面上看到的只是人的“动作”,是非人性的“皮囊”。 在这种情况下,您可以在查看家人健康状况的同时,避免侵犯家人的隐私。 孙浩告诉我,现在这个骨骼显示技术正在最后的实验中。 真正的科学技术进步,应该会给人们带来幸福。 孙浩说。 日常生活中,孙浩也会经常打印社交媒体和短视频,经常看网友分享的感人视频。 例如,有些老人不能使用智能手机,但他知道家人在照相机那边看着他,每天对着镜头分享日常点滴。 这样的影像还有很多。 这些镜头大多由360台相机记录,成为相机团队的珍藏记忆。 打心底里,我们真的想帮助很多人,为社会做贡献。 公司现在也只是要求我们团队不要亏钱,养活自己。 孙浩有一张诚实的脸。 “那么,你们现在还在丢钱吗? ”我问。 “吃亏,可能不会马上吃亏。 ’他笑了。 2018年,原360智能硬件商务部更名为360智能生活集团。 看来,因为是“中坚”的护卫,他们打算认真拼命。 聊天中,孙浩能像数家珍一样说出各种型号的芯片和它们的价格区间。 他抱怨说,如果时360的硬件产品销售额再大一点,就能得到更好的价格。有时他会为整个芯片行业的成本越来越低而感到高兴。 他说,每当芯片成本下降1美元,就意味着更多的人可以在这些人类最先进的技术下洗澡。 他最不想看到的是,自己和团队研究的技术将成为“少数人的特权”。 “此外,我们坚定支持国产。 设备使用了国产芯片。 ”他说。 告别孙浩,我突然想到亚马逊创始人贝索斯说的话。 善良比聪明更重要。 我们也发现有无数和孙浩相似的人,在很长一段时间里仔细定义了360个硬件产品。 现在,制作硬件似乎已经成为一场大游戏。 360硬件团队的体量,在大型补贴的狂暴爆发中生存,确实需要更多的勇气和毅力。 幸运的是,他们完成了一次突围,他们站在你和我面前。 与大河的隆隆声相比,小溪的宁静和梦想似乎总是隐藏着,但我总是想停下来,走近一点,聆听他们的荣耀和梦想。 让我自我介绍一下。 我是历史上热爱故事的科技记者。 我的日常是和各路大神说话。 标签: 360相机过去:一半芯片江湖一半理想国 文章来源:http://www.dcrdx.com/

上一篇:黑客信息网:CTF挑战赛-合天网安实验室

下一篇:怎么监控他人的手机兄弟们!裸聊三分钟后,我被骗了24000块……揭露裸聊骗局

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。

相关文章阅读