技术父亲咖教养你用TensorFlow为图片添加以字幕

2018-09-12 -

  编者注:本文到来己微信帮群号“OReillyData”(ID:OReillyData),本文相应的Python代码和iPython notebook邑在GitHub上,我们邀条约你去拜候。

  何以运用TensorFlow到来构建和锻炼壹个图片字幕生成器:

  图片字幕生成模具结合了年来过到来计算机视觉和机具翻译方面的提高,经度过运用神物经网绕到来生成雄心图片的字幕。关于壹个给定的输入图片,神物经图像字幕模具被锻炼到来最父亲募化生成壹个字幕的能性。却以被用到来产生新鲜的图像描绘。比如,下面是用MS COCO数据集儿子锻炼的壹个神物经图像字幕生成器所产生的字幕。

  图1. 到来源:Paul Puri。图片到来己MS COCO数据集儿子

  在此雕刻篇文字里,我们会伸见壹内中级程度的教养程,教寄父亲家何以运用谷歌的“Show and Tell”模具的壹种变形和Flickr30k数据集儿子到来锻炼壹个图片字幕生成器。我们运用TensorFlow的框架到来构建、锻炼和测试我们的模具,鉴于它对立轻善运用同时也拥有壹个日更加庞父亲的在线社区。

  年来过到来在计算机视觉和天然言语处理工干上运用吃水神物经网绕的成鼓励着AI切磋人员去探寻求新的切磋时间,提交叉衔接此雕刻些之前彼此孤立的范畴。字幕生成模具就必须去对视觉线索和天然言语的了松终止顶消。

  此雕刻两个传统上拥关于的范畴的提交叉拥有能在更父亲的范畴内产生鼎革。此雕刻壹技术当今曾经拥有壹些很直接的运用。譬如,为YouTube视频己触动生成摘要或是标注注不标注识表记标注帜的图片。而更多的拥有发皓力的运用则会父亲幅度提高壹个更普遍的人帮的生活品质。与传统的计算机视觉试图去让计算机能更好地接触和了松此雕刻个世界壹样,此雕刻壹新技术具拥有进壹步让此雕刻个世界对人类更其却臻与却了松的潜力。它却以是壹个带游,甚到却以成为日日生活的壹个视觉僚佐效力动。譬如意父亲利的AI公司Eyra所开辟的Horus却穿戴设备所展即兴的此雕刻个场景。

  在我们正式末了尾前,需寻求先做壹些整顿理工干。

  比值先,你需寻求装置TensorFlow。假设此雕刻是你第壹次运用TensorFlow,我们伸荐你先看看此雕刻篇文字《你好,TensorFlow!从洞末了尾构建和锻炼你的第壹个TensorFlow图》。

  你需寻求装置pandas、OpenCV2和Jupyter库到来保障相干的代码却以运转。不外面为了信装扮置的经过,我们凶烈伸荐你运用与本文相干的GitHub库里的此雕刻个Docker装置指南。

  你还需寻求下载Flickr30k图片文件和图片字幕数据集儿子。我们的GitHub库里拥有也供了下载链接。

  当今,让我们末了尾吧!