Freeman's Blog I guess that time would judge us all...

机器学习分类算法的评价

   

二分类问题混淆矩阵

confusion matrix

正/负

index equation
预测正例 P = TP + FP
预测负例 N = FN + TN
实际正例 FP + FN
实际负例 FP + TN
正确率 accuracy = (TP + TN) / (P + N)
错误率 error rate = (FP + FN) / (P + N) = 1 - accuracy

灵敏度/特异性/精度/召回率

index equation description
灵敏度 + sensitive = TP / (TP + FN) 表示 实际正样本预测正样本 的比例
特异性 - specificity = TN / (FP+TN) 表示 实际负样本预测负样本 的比例
精度 precision= TP / (TP + FP) 表示 预测正样本实际正样本 的比例
召回率 recall=TP / (TP + FN) = sensitive 表示 实际正样本预测正样本 的比例

ROC axis

axis index equation description
x-axis False positive rate FPR = FP / (FP + TN) = 1 - specificity 实际负样本 中被 错误预测为正样本 的概率
y-axis Truth positive rate TPR = TP / (TP + FN) = sensitivity 实际正样本 中被 正确预测为正样本的概率

P.S.
通常分类器的输出为0~1的概率值(score),预测的结果是根据设定的阈值(thre)而定。比如thre=0.5, 则score>0.5为正样本,score<0.5为负样本。通过设定不同的阈值,得到多个ROC空间的值,将这些值绘制成ROC空间的曲线,即为ROC曲线。

分类结果差异的统计检验

   

对于一个分类任务,在进行 特征选择+交叉验证 时,通常会需要比较实用不同的特征集或者不同的特征选择算法得到的结果是否有显著差异。如果只是比较交叉验证得到的平均正确率,比如使用特征集 A 得到的average accracy是 72%,而使用特征集 B 得到的average accuracy是 73%,这 1% 的差异无法说明特征集 A 相对于特征集 B 的优越性是统计显著的。差异可能源于随机误差,也许你换一个交叉验证的随机数这个差异就没有了。因此,需要借助统计方法比较结果之间是否有显著差异,从而证明你的特征或者特征选择算法确实是很棒棒的。

以常用的十折交叉验证(10-fold cross-validation)为例, 每一折都会得到accuray,一共得到10个accuracy结果。对同一数据集,分别使用使用特征选择算法 t1t2,得到的交叉验证结果如下表所示:

Algorithm Accuracy   Algorithm Accuracy
t1-fold1 81%   t2-fold1 75%
t1-fold2 81%   t2-fold2 75%
t1-fold3 85%   t2-fold3 75%
t1-fold4 82%   t2-fold4 80%
t1-fold5 81%   t2-fold5 80%
t1-fold6 77%   t2-fold6 80%
t1-fold7 80%   t2-fold7 76%
t1-fold8 80%   t2-fold8 81%
t1-fold9 85%   t2-fold9 75%
t1-fold10 79%   t2-fold10 76%

其中t1-average-accuray=81%, t2-average-accuracy=77%。对上面两列accuracy进行 配对t检验 (Paired t-test),得到统计显著性为 p=0.021 (p<0.05),如下图所示(use SPSS)。
SPSS
此时我们可以认为算法 t1 是显著优于 t2 的。如果经过分析 p>0.05,则不能得出这样的结论。

如果需要对比3种以上不同的特征选择算法或者特征集,这时候统计方法的使用就有些许改变。以十折交叉验证(10-fold cross-validation)为例,同一数据集,3种不同的特征选择算法 f1, f2, f3。此时需要进行 f1-f2, f2-f3, f1-f3 三组配对t检验。因为进行了多次比较(multiple comaprison),此时p值必须进行校正,小于校正后的p值才能认为具有统计显著性。比如使用 Bonferroni adjustment。由于进行了3次比较,p值需要除以3 (0.05/3),即 p<0.017 时才能认为具有统计显著性。

常用的交叉验证方法除了10-fold-CV,还有 LOOCV (Leave-one-out cross-validation)。而LOOCV是每次得到一个测试样本的预测标签,将整个数据集循环过一遍之后得到一个最终的结果(accuray/sensitivity/specificity),而不是像10-fold-CV那样得到一个结果序列,这时候Paired t-test显然不适用了,那么这时候该怎么进行统计检验以比较不同算法的差异呢?

参考之前读过的一篇文章[1],其使用LOOCV进行交叉验证,然后用 McNemar’ test 计算不同方法得到的accuracy的统计差异。这种方法使用分类结果的标签(二分类变量),而不是accuracy(连续变量)来计算统计差异。这样的话可以先用LOOCV得到对每个样本的预测标签(predicted label),每一种方法得到一组预测标签结果,然后再根据原始标签(ground truth label)对比不同方法的结果差异。其实 McNemar’s testPaired t-test 非常类似,只是用来计算统计量的变量有二分或是连续之差别。

P.S.

  • 除了使用 Paired t-test,还可以使用 ANOVA with repeated measure 分析不同方法的统计差异。
  • 对比AUC间的差异一般使用 Delong’s test,也有一篇文章用 Permutation test [2]。

有的时候会遇到这种情况,比如你使用方法 t1 得到的average accuracy是 85%,而使用方法 t2 得到的average accuracy是 70%, 这时候会觉得方法 t1 肯定显著优于 t2。然而经过统计检验,居然 p»0.05。这到底是为什么呢?这时候调出交叉验证每一折(each fold)的结果一看便知,造成没有显著差异的原因大抵是结果的方差比较大,比如某一折的accuracy是90%,而另一折的accuracy直接掉到了30%。而造成交叉验证的结果方差如此之大的原因可能是训练数据太少,或者是类不平衡问题严重。

Summary

Reference
[1] Structural imaging biomarkers of Alzheimer’s disease: predicting disease progression | Neurobiology of aging, 2015
[2] Machine learning framework for early MRI-based Alzheimer’s conversion prediction in MCI subjects | Neuroimage, 2015
[3] Laerd Statistics
[4] Bonferroni adjustment

The Piano Guys

   

The Piano Guys
The Piano Guys - Home Page
网易云音乐

The Piano Guys 是一个美国音乐团体,由钢琴师Jon Schmidt,大提琴手Steven Sharp Nelson, 摄影师Paul Anderson和音乐制作人AI van der Beek组成。他们在油管上大受欢迎。自2010年起,他们开始发布钢琴和大提琴的专业水准的视频作品,风格包含古典、现代和摇滚乐。在2016年8月,团队在他们的youtube频道上被观看了超过1亿次,同时拥有超过500万的订阅者。他们的五大专辑 The Piano Guys, The Piano Guys 2, A Family Chrismas, Wonders and Uncharted 均在 Billboard 经典专辑和新世纪专辑榜夺得第一位。四位成员都是摩门教徒,且在组成乐团之前都是有家庭和事业的中年大叔。

Guys
(L. to r.) Paul Anderson, Jon Schmidt, Steven Sharp Nelson, and Al van der Beek in 2014

历史

团队起源于Anderson琴行(圣乔治,犹他州)的社交媒体营销策略,琴行名称即为The Piano Guys。Anderson与Schmidt很熟,Schmidt是一个当地有名的钢琴师,经常到Anderson的琴行练钢琴。2009年时Anderson看到一个Schmidt上传到油管的音乐视频, 视频里Schimidt演奏钢琴,Nelson演奏大提琴。视频名叫”Love Story Meets Viva La Vida” - 一个混合了 泰勒·斯威夫特 的乡村流行音乐Love Story和 酷玩乐队 的巴洛克风格音乐 Viva La Vida. 这个视频收获了超过100万点击量。Anderson请求这两个音乐家再制作更多的视频,然后由自己进行专业的剪辑制作,并传到自己琴行的脸书和油管主页上,以此来推销琴行。Nelson带来了他的邻居加入到团队中,van der Beek,一个词作家和编曲者。Tel Stewart最初帮助进行视频制作。

最初的几个视频并没有造成很大的影响,在Schmidt从他的粉丝邮件列表里邀请了近3万人来“观看-分享”后,”Michael Meets Mozart” (2010)获得了非常可观的表现。在2011年的6月,团队赢得了油管网 “On the Rise” 比赛的 “最快上升频道” 奖,这个比赛让他们收获了25000名新的订阅者。在2011和2012年,团队每一两周就上传一个新的音乐视频,每次都会吸引数以千计的观看者。但与此同时,The Piano Guys琴行两年内没有卖出一架钢琴,并在12年的8月关门。

到了2012年的9月,The Piano Guys已经上传了超过30个音乐视频,一共被观看1.34亿次,共有757000位油管订阅者。这个月他们与索尼音乐(古典部)签约。团队并没有选择拿专辑版税,而是将利润与品牌分开,同时投入资金到自己的音乐和市场音效中。在与索尼签约后,他们发布了第一张专辑 The Piano Guys,随后是2013年的 The Piano Guys 2 和2014年的 Wonders

音乐风格

The Piano Guys吸收了古典,现代,摇滚等风格到自己的钢琴和大提琴创作中。他们受年轻人欢迎的一个重要原因就是他们混搭古典和现代风格的乐曲,比如混合巴赫与布鲁诺·马尔斯,或维尔瓦第的冬与迪士尼的 “Let it Go”。

Nelson和van der Beek作为团队的编曲。The Piano Guys重新演绎了包括了古典,流行和电影歌曲。如Pachelbel’s Canon in D (改称 “Rockelbel’s Canon”); One Direction的 “What Makes You Beautiful” 和 “Story of My Life”; “We Three Kings”; “Rudolph the Red Nosed Reindeer”; 泰勒·斯威夫特的”Begin Again”; Phillip Phillips的”Home”; Swedish House Mafia的 “Don’t You Worry Child”; “Theme from Jurassic Park”; 以及酷玩乐队的”A Sky Full of Stars” (改称 “When Stars and Salt Collide”).

录像

团队的油管视展现了音乐家们的近亲自然及异国情调的表演风格。这些包括了在犹他沙漠进行拍摄,在1000英尺高的峭壁上,在高速行驶的火车上,在海滩等等。Anderson的目标是把钢琴放到没有人能想象到的地方,这也为他的琴行带来了口耳相传的良好口碑。在视频中,Schmidt弹奏各种Yamaha品牌的大型和小型钢琴,同事Nelson演奏原声和电子大提琴。Anderson计划在世界七大奇迹处拍摄Schmidt和Nelson的表演。在中国长城Kung Fu Piano: Cello Ascends,在巴西里约热内卢的救世主雕像How Great Thou Art,在玛雅古城奇琴伊察The Jungle Book/Sarabande,和在佩特拉古城Indiana Jones and the Arabian Nights的视频拍摄都已完成。

每个视频制作花费不超过5000美元,相机、直升机和其他制作设备都由朋友和支持者们捐助。

大多数歌曲是由不计其数的音轨混合而成。偶尔也会利用混叠以前的视频来模仿不同乐器同时演奏的效果。在视频Michael Meet Mozart中,Nelson预先录制了100条大提琴音轨,包括敲击大提琴营造出的打击乐音效。

截至2016年12月,The Piano Guy已经制作了89个视频。他们的封面视频 - Christina Perri的A Thousand Years是被观看次数最多的,到2017年1月已经被观看8千6百万次。

看图需梯子

现场表演

The Piano Guys在美国和全世界进行巡回表演。他们在英国、德国、匈牙利、日本和俄罗斯的演唱会都座无缺席。2015年他们次演出要出门3周,但在2016年,为了多陪陪家人,他们决定每次只花十天时间。他们还在著名的古典和流行乐场馆演奏过,包括卡内基音乐厅和古希腊露天剧院。

Carnegie
The Piano Guys at Carnegie Hall. 2015.

他们准备在川普的就职典礼上演出这一决定引发了争议。其他音乐团队都拒绝了演出邀请,The Piano Guys否认了他们的演出是一种背书或政治声明。他们在其博客上解释道:“我们觉得仅仅把我们的积极声音传递给相信我们或者跟我们志同道合的人是不妥当的”。

在就职典礼的自由舞会上,The Piano Guys演奏了一首改编版的 “Fight Song” 而没有经过原作者的同意。这首歌在希拉里克林顿的总统竞选中使用过。后来The Piano Guys发表声明称他们演奏这首不在计划中的乐曲不是出于政治目的。

成员经历

The Piano Guys的成员都是中年的居家男人,他们在乐团成立之前都有自己各自的职业。Schmidt作为一个独奏钢琴师,发布过8张专辑并出版有7本钢琴书籍。Nelson拥有一家房地产公司,Anderson拥有一家琴行,van der Beek在自己家里有一个录音室。2012年与索尼签约后,他们四个都放弃了以前的工作,去追求他们的音乐事业。

四个人都是虔诚的摩门教徒。Anderson在华盛顿周做过全职传教士,Schmidt在挪威传过教,Nelson和van der Beek在韩国的不同教区服务过。每次录制、音乐会、编曲之前团队成员都要一起祈祷。


Reference
[1] wikipedia

电影配乐大师汉斯季默

   

hans-zimmer

简介

Hans Zimmer是崛起速度十分惊人的电影配乐家,在电子合成器和传统器乐的结合上,每每展现令人震撼的个人风格,也屡次缔造令人激赏的配乐成绩,特别是在动作电影配乐方面,他独特的音乐形式已经蔚为风尚,揉合了电子乐的炫丽紧凑,和交响乐的磅礴气魄,是典型好莱坞英雄主义动作电影不可或缺的“标准配备”。

季默获奖甚多,包括4座格莱美奖,3座全英古典音乐奖(Classic Brit Awards),2项金球奖和奥斯卡奖。他也是每日电讯报所选出的还在世的前一百大天才(Top 100 Living Geniuses)之一 [1]

重要作品

  • 1991
    • 《塞尔玛与路易丝》
    • 《浴火赤子情》
    • 《K2》
  • 1994
    • 《狮子王》
  • 1995
    • 《赤色风暴》
  • 1996
    • 《传教士之妻》
    • 《勇闯夺命岛》(与哈利·葛瑞森-威廉斯合作)
    • 《断箭》
  • 1997
    • 《尽善尽美》
  • 1998
    • 《细细的红线》
    • 《埃及王子》
  • 2000
    • 《碟中谍2》
    • 《角斗士》
  • 2001
    • 《黑鹰计划》
    • 《珍珠港》
    • 《汉尼拔》
  • 2002
    • 《小马王》
    • 《美版午夜凶铃》(午夜凶铃美国版)
  • 2003
    • 《最后的武士》
    • 《加勒比海盗:黑珍珠号的诅咒》
  • 2004
    • 《鲨鱼故事》
    • 《亚瑟王》
  • 2005
    • 《马达加斯加》
    • 《蝙蝠侠:侠影之谜》
  • 2006
    • 《加勒比海盗2:聚魂棺》
    • 《达芬奇密码》
    • 《恋爱假期》
  • 2007
    • 《加勒比海盗3:世界的尽头》
  • 2008
    • 《功夫熊猫》
    • 《马达加斯加2:逃往非洲》
    • 《蝙蝠侠:黑暗骑士》
  • 2009
    • 《天使与魔鬼》
    • 《使命召唤:现代战争2》
    • 《大侦探福尔摩斯》
    • 《爱很复杂》
  • 2010
    • 《太平洋战争》(仅负责主题曲)
    • 《神偷奶爸》
    • 《盗梦空间》
    • 《超级大坏蛋》
    • 《爱在心里怎知道》
  • 2011
    • 《兰戈》(Rango)
    • 《加勒比海盗: 惊涛怪浪》
    • 《功夫熊猫2》
    • 《小熊维尼》
    • 《大侦探福尔摩斯2:诡影游戏》
  • 2012
    • 《马达加斯加3》
    • 《蝙蝠侠:黑暗骑士崛起》
  • 2013
    • 《最后冲刺》
    • 《超人:钢铁之躯》
    • 《独行侠》
    • 《极速风流》
    • 《为奴十二年》
  • 2014
    • 《上帝之子》
    • 《超凡蜘蛛侠2》
    • 《星际穿越》
  • 2015
    • 《超能查派》
    • 《小王子》
  • 2016
    • 《蝙蝠侠大战超人:正义黎明》(与Junkie XL合作)
    • 《功夫熊猫3》
    • 《地狱》
  • 2017
    • 《敦克尔克》

短评

从上面的电影海报就可看出,Zimmer出品必属精品。在下曾经按照年代顺序将Zimmer的作品看了个遍,发现部部都是好电影。汉斯同时也跟 诺兰 [2] 导演保持着良好的合作关系, 小伙伴双剑合璧往往是票房口碑双丰收。汉斯的徒弟们也都不是等闲之辈,最近大热的美剧《权游》《西部世界》的配乐均出自 Ramin Djawadi [3] 之手,其是Zimmer的Media Ventures工作室培养的作曲家。


Reference:
[1] Hans Zimmer-wikipedia
[2] Christopher Nolan-wikipeida
[3] Ramin Djawadi-wikipedia

日有所思 夜有所记

   

17-07-01
你内心可能很难接受,但人生中的成功的确更多的是要看别人能为你做些什么,而不是你能为自己做些什么。 如果想要最大限度地利用在你眼前呈现的机会,你要睁大双眼,找匹好马为你服务。

  • 第一匹好马是你所在的公司
  • 第二匹马是你的老板
  • 第三匹马是你的朋友
  • 第四匹马是好的构想
  • 第五匹马是信念
  • 第六匹马是你自己

——《定位:争夺用户心智的战争》

17-07-02
但电影满足人类基本需求的方式一定用高尚的、精神的方式,比如贪婪用理想主义去实现,就是《中国合伙人》,情欲用爱情去粉饰就是《情圣》,暴力用正义去包裹就是《飓风营救》。同样,喜剧和悲剧,低俗和高尚,英雄和怯懦,从来都互为一体,只是视角的差别,一绝对,就低了,俗了。

—— 知乎-阿郎

17-07-03

  • 自古深情留不住,唯有套路得人心
  • 穷在闹市无人问,富在深山有人知