本篇文章5211字,读完约13分钟
编辑:这篇文章由张巨岩从quora翻译。
serkanpiantino,脸书ai研究工程负责人,脸书纽约部主任。 曾是bridgewater assciates企业的投资伙伴。 以前,他领导着newsfeed、newsfeed排序算法、timeline、messenger的基础设施建设等的开发。
serkan piantino在quora上对facebook ai研究院的相关问题给予了详细的解答。 新智元整理如下。
有很多感兴趣的东西,但我会稍微强调一下亮点。 此外,还有用途广泛的令人兴奋的项目的重点。
首先,在感知方面,构建了能够理解图像、视频、声音等外界输入的系统。 在脸书网站上也有一点例子。 例如,我们构建了能够回答图像场景相关问题的系统。 这里是我们最近参加mscoco挑战赛时为了分割和标记物体而使用的系统生成的图像。
这种东西——完成了人类识别任务的东西——标记、对高维输入(像素、视频帧、音频样本等)的回答等——近年来被广泛采用,特别是卷积神经互联网 卷积神经互联网是我的同事yannlecun很早就发明的,后来因为gpu解决大量数据的强大能力而变得实用了。 这太令人兴奋了。 因为,它的进步速度非常快,而且这开创了前所未有的新产品行业,即通过facebook可以理解复制和意图的产品行业。
我们还开始反向应用这些互联网,从副本的说明中想象场景和照片,而不是从照片中总结副本。 以下是fairysoumithchintala和波士顿indicoresearch合作的成果,生成了ai自己想象中的卧室场景。
另外,这些互联网还用于面部图像、专辑封面、花、中国汉字、甚至二维角色图像的生成。
接下来我想强调的是,我们赋予了这些互联网类似人类记忆和推理的能力。 facebookm项目的自动化部分依赖于记忆互联网,这项工作由fairy的jasonweston发表。 为了解决长时间的对话,必须理解各拷贝的意思。 您还必须保存和访问这些副本,以便以后查询。 这些记忆互联网是学习如何在时间中创造和查询既定事实的一系列互联网构建方法的一部分。 如果说我们以前流传下来的无状态做法看起来像是随着时间的推移学习构建简单的电路,那么这些互联网就像是完整的自主布线解决方案( full,self-wiringprocessors )。 也有这样的互联网阅读故事回答问题的互联网例子。
最后,我们还从facebook本身学到了很多东西。 facebook有15亿5千万顾客。 他们之间的相互关系和外部世界的发掘给了我们研究人类的绝好机会。 作为工程师,我很兴奋将系统扩展到整个facebook社会的交流图中,并从中学习,但世界上唯一能做的就是这里。 虽然我们还有很远的路要走,但是我们希望在工作(预测和理解facebook社会交流关系图)中学习到越来越多的关于人们的东西。
这反正不是所有的爱好研究,但它们是我个人喜欢的点。
根据我们的经验,在fair的工程师首先需要拥有强大的facebook工程师的所有优点,包括智能、勤奋、适合我们文化的、能够将抽象的想法转换为可用的计算机代码等。 有了这些,我还需要找:
机器学习的基本背景是理解你周围其他语言的基础
对相关行业的强烈兴趣。 对你所做的事情感兴趣;
天生的好奇心——浏览文献,跟进科学进展
学习cuda、torch等新的研究工具不仅要学习它们,还必须从事改善它们的工作。
最重要的是,要建立这个行业的生态系统和企业家氛围。 而创新是人们接受和控制他们一生中真实存在的风险的能力。 理想情况下,人们从“成立公司从头学起”到“进入能够提供越来越多稳定性的大企业,帮助他们从过去的成功中学习”,有很多选择。
这几年,我们看到了纽约的巨大成长。 除了初创企业,还有像脸书纽约这样的更大的组织。 结果,我认为这个生态系统越来越完善,而且你也会在不同的企业和创业行业(硅谷的标志)看到一点和谐积极的行动。
所以,总体上说,硅谷,或者说技术生态系统,正在向这种关系的方向迅速发展。
现在有很多很棒的产品,但是现在大部分产品拥有的能力很原始。 虽然这些产品通过很多玩法变成了facebook的产品,但是要发掘这些技术,将人们天马空的想象变成真正的产品,还需要做越来越多的事情。 现在有点ai企业因为贪婪的科技开发,他们什么也没发表。
因此,预计在今后五年中,我们在研究社区讨论的很多事情将会成为更加普及、商品化的技术,很多新的初创企业(以及我们的团队)可以尽他们所能通过ai改善生活。
fair和其他工程行业没有特别要求学士、硕士甚至类似的大学学历。 总有一种方法说明你拥有的,在招聘时值得我们观察的能力。 但是在计算机科学和机器学习的顶级项目中取得优异的成绩是我们观察世界上最好的人才的常用方法
关于具体技能,请参考我以前的回答( q2 )。
我认为有结构特征:
我们特别擅长硬件、软件、开发平台和基础设施的建设,从而提高了团队的工作效率。
我们有世界上最大的跨文化、多模式、结构化、有组织的人们交流的数据库
我们承诺从100%年到10年开拓ai行业,以开源的方式将我们所有的技术应用于领域。
在纽约,我们有繁荣的科技社区,还有很多其他产业。 的客户和开发者之间频繁接触会开发出稍好的产品和创新成果。 这是因为如果你想在数亿美元级的产业做点什么,纽约是个合适的选择。
在脸书纽约,我们首先可以看到这一切。 我们大部分大团队关注的产品都得益于纽约(当地人、信息和出版社)。 负责ai研究和移动设备基础设施的团队要么与当地产业紧密合作开发城市环境体验产品,要么以东海岸丰富的人才为中心。 例如,ai研究院和移动工程。
我画色谱图的话,一端是小的个人研究项目,中间是很多研究者和工程师的合作项目,另一端是为了大规模的团队项目和产品的系统,这个色谱图有很多项目,会进行。 事实上,个人研究者和工程师经常不一次性重复参与许多项目的许多阶段。 我们多次讨论的话题是,创意“传送带”将原型变为facebook的产品。 这也是现在fair的特色之一。
这让管理者的工作变得多而杂乱,在menlopark、纽约、巴黎有一点办公室,但这对我们每个人来说都很兴奋,也很有成就感。 因为推进科学有很多种方法。
这是个很棒的把戏:
队伍的结构非常重要。 根据实际情况进行应对,远程团队的单独个人感到挫折的频率以日为计算单位; 每周计算由需要远程管理的小波人构成的团队感到挫折的频率; 远离主管和其他机构领导的完善团队感到挫折的频率是按月计算的自主性、预见性、决策制定可能永远不会受挫的完美机构
人们需要周期性地“全面同步”,特别是在关键时期,比如做个小决策,或者合并了几个计划。 这些同步不能离开太久。 否则,团队成员可能会做错事情,或者没有遵循同样的节奏等。
我觉得远程管理是非常未知和强制的。 你需要尝试访问你的团队,再三明确他们是决策过程和组织变化过程的一部分。 因为如果不这样做,他们就会倾向于把这些看成是企业总部的强制命令(
工作人员在预约旅行时,不要带长框框,鼓励他们经常旅行。 他们不如你知道什么时候应该到达目的地。
强调他们的自主性,保护他们。 如果他们感觉到你的信任,他们会吓你一跳。
很好的问题。 在和有点厉害的工程师共同开发了很多项目之后,这里是我观察到的趋势:
软件工程师首先要扩展的方法是记住生产力有10或100的差距。 那就是解决程序的成块( chunking )。 思考并熟练地写代码的工程师,与对算法和系统整体的想法有经验的工程师相比,后者更有效率。 为了把真正的小事件组块化,应该先掌握它。 因为,这位首席工程师不仅只能从抽象的角度描述系统,而且准确地知道内部的每个部分是如何工作和相互影响的。
伟大的工程师都有第六感。 这第六感是关于何时何地建立抽象部分的。 他们把代码看作是开发过程中最自然、最灵活的表达方式。 这些方法不仅密切注意代码的可读性和简洁性,而且通过精心选择的抽象方法使系统具有力量和灵活性。
他们自己有很多工具。 因此,处理问题就像选择不同的工具,他们了解这一点,并扩大了自己的工具库。
他们很容易合作很成熟。 这项工作的大部分是交流成为可靠的队友,个性非常重要。 伟大的工程师不需要是外向的人,也不需要是友好、容易相处的人,也不需要想成为管理者。 但是,他们必须清楚如何以开放和互相尊敬的方式与他人合作。
我注意到了,一点点的企业在成长的过程中感到了压力。 是从内部(来自哪个员工?外部)来的?如果企业要移动,就不参加企业的候选人吗?都没有关系。 而且,在这种时候,借用共享(/(/k0/)之间,让这些人设立新办公室的选择很有吸引力。
不幸的是,这保证了办公室在企业不自然和小阶段的成长过程中是有用的。 这些工程师未来的工作都有可能由远程团队完成,这也有可能专用于有导致效率低下和挫折感出现的办公室的产品和行业。 那样的话,办公室在那之后就不怎么成长了。
因此,我对企业的建议是等待。 然后,当你知道你可以冲刺到舒适和可持续的规模时,小心翼翼地设立办公室。 在facebooknyc,从0成长到350花了4年的时间。 我们迅速雇佣了人才,启动了越来越多、更深入的研究项目。 这个办公室是围绕他们设立的,所以我们早期的工程师都成了定义这个办公室的一部分。 fbny不像一个被遗忘的小组织,而是一个大企业内快速成长的初创企业。
首先让我指出,作为数字时代和新闻时代基础的晶体管是在纽约郊区发明的。
通常,硅谷受益于以技术为中心的高密度和专业化机构,将健康的基础设施和想法转变为产品和可持续发展的公司生态系统。
纽约的特点是多样化,技术比去年同期增加了40% (考虑采用),再加上以这里为中心的过剩的其他产业。 像我们( facebook )这样的大型科技企业也在蓬勃发展。 因为这个创业生态圈、资金基础设施、创造力的培养近年来取得了爆炸性的增长。
雄心勃勃的创意,特别是能够处理健康护理、政府无障碍通行、教育等全球性问题的创意,希望在接下来的十年中在这里成长,丰富这里的多样性,对这里的科学技术和创业精神产生巨大的影响。
目前,这个研究社区有很多令人兴奋的进展。 因为新的发现被公布了,基准测试结果被更新了。 但是,你不需要发明新的东西来做ai的工作。 这些需要复制的成功工具都是开源的,想要的互联网在github上是开放的,事先训练好,随时可用的可能性很高。
请看代码; 敲击模型,看看会发生什么; 在社区提问。 这个行业需要越来越多的实践者和更多的人将这些发现转化为有用的产品
必须指出的是,newsfeed项目最初设立于2006年,那时我还没有进入脸书。 这个故事也基本上入围了。 这是因为如果你有意思的话,在quora的其他问题中应该能找到关于哪一天的说明。
我于2007年开始了newsfeed项目的工作。 重写后端部分,开发排序算法,领导了几年的团队。 这是我人生中最棒的体验。 我无法表达这让我多么自豪。 人们为什么要相互联系的想法被使用,然后被编译成c++,亿万人可以实时得到他们在意的副本。
我们在fair用了很多工具。 最重要的是:
lua (和torch )用于原型制作、训练、调试、可视化等
为了制作cuda、高性能模块、gpu优化模块;
c/c++用于低层写入,caffe用于产品;
python、matlab和其他工具用于有点专业的业务;
非监督学习。 [/s2/]
我们今天建造的大部分东西都叫我专业ai。 我们有某个任务的足够样本。 然后,训练计算机不带我们完成任务。 我们的ai的一个例子中没有展示的事情是,我们在人力标记图像和视频数据集上花费了多少精力,机器得到了足够的数据来完成某项任务。
人类并不是真的这样学习的。 我们可以通过看到、感受和体验现实来了解世界,在世界上活动。 如果我们想要制作类似通用ai的东西,就必须从简单的注意中明确如何学习。 也就是说,必须开发不需要人类标记的“监视”系统。
我不认为有人真正地解读了这个问题。 很多人都在尝试,但是我们的模型和电脑为了成功解决这样的问题,可能会变强10倍、100倍或1000倍。
当然,我们在判断中很重视研究所的影响,也很重视产品的影响。 我们不能完美地测量这些,但是有一点办法。 如果对你公司的产品有影响的话,它可能会服务于很多顾客,带来很多交流,或者作为一个平台吸引了很多招聘者。 如果对你的研究有很大影响的话,有可能会被多次引用。 开源社区有很多人采用它,或者facebook上有很多产品团队打算将其应用于产品。
重视影响大真的是使脸书如此成功的重要因素之一,这是我们在产品和研究上都关注的东西。
我们最近的硬件设计就是这样,叫做“bigsur”。
来源:UI科技日报
标题:“Facebook AI 研究院负责人:相比百度和谷歌,我们有那些特点?”
地址:http://www.ulahighschool.com/uiitzx/1172.html