存档

作者存档

Implementing the Model-View-View-Model (MVVM) architectural pattern for Silverlight/WPF

2012年2月8日 4 条评论

Follow the articles in Comments.

有关使用Prism构建WPF应用或是Silverlight应用:

http://www.cnblogs.com/li-xiao/archive/2011/01/13/1934564.html

Siverlight TabControl MVVM 开发

2012年2月7日 4 条评论

Follow the URLs in Comments.

 

Android 4.0人脸识别——笑了

2012年2月3日 2 条评论

去年底弄了部U8860,android 2.3系统,开始没敢刷4.0,害怕变砖。

昨天发现可以从机子里自动升级,检查果然有更新,就升级了,升级到了4.0.3。

开始用着确实不咋爽,打开应用的时候卡的情况比较多,今天还死机了,NND。可惜也回不去2.3了,等着下次升级看看能不能改进。

android 4.0的一个很嗨的特性“人脸识别”,诱人的紧。

就试了试,试完,哥笑了。

我设置了自己的面部,然后解锁,果然很嗨。即使不成功,也可以使用图形解锁。

兴奋之余,向我女朋友炫耀了一把,让她试试。结果,她的面部识别通过!

果然有夫妻相…….

分类: 移动应用 标签:

VPS + Putty + Firefox代理上网

2012年2月3日 没有评论

公司很多网站都被屏蔽了(比GFW要狠多了),而且网速是相当的卡。办法总是有的哈,一直在用别人的代理在上网, :oops:

去年年底买了个VPS,准备用来做下代理,试了下果然好用。

1、在VSP上创建一个只能用来代理上网的用户

#useradd -M -s /sbin/nologin -n username
#passwd username

2、设置firefox

firefox ssh putty

2、使用plink

》plink -C -N -D 127.0.0.1:7070 -l username IP-Address -pw password

至于参数的意义,google下很快就懂啦。

2012学习计划

2012年1月31日 1 条评论

一、.NET相关:

现在吃饭的东西,当然放在第一位了哦。

准备系统的学习下《CLR via c#》,《WPF编程宝典:c#》,需要系统的掌握下c#和WPF。

二、设计模式

设计模式这个东东还是需要深入学习和研究的。看了《大话设计模式》前几章,确实感触颇多。计划在今年仔细的研读。

三、大规模数据处理和NOSQL

CSDN上每天都有相关的信息,我也在仰望中。

目前hadoop市面上的书籍有《Hadoop权威指南》,我又买了本《mongoDB权威指南》,都是大洋啊。希望我能对得起我的大洋。

四、Android应用开发

去年年底花了N大洋搞了一台华为honor,不应该浪费,准备搞两个小应用把玩把玩。

五、VPS

本博客用的是虚拟主机,没有shell,感觉不过瘾。去年年底弄了个入门型的VPS,准备把手里的几个域名整整。烧钱的家伙。

通过VPS我想掌握:

1. Linux + Nginx+Mysql+Memcached + PHP的部署,安全及其优化。 适量的使用nosql来存储数据。

分类: .NET 标签: , ,

UnityContainer document

2012年1月10日 2 条评论

You can get the document from:

http://unity.codeplex.com/releases/view/31277#DownloadId=177468

分类: .NET 标签: ,

html5游戏开发

2011年12月24日 没有评论

一直对HTML5的开发感兴趣,苦于没有时间系统的看下,也不清楚HTML 5到底能干出啥不一样的事。
今天在CSDN上看到HTML 5游戏开发的文章,先收录着看看

html5游戏开发-零基础开发RPG游戏-开源讲座(一)

http://blog.csdn.net/lufy_legend/article/details/7063316

html5游戏开发-零基础开发RPG游戏-开源讲座(二)-跑起来吧英雄

http://blog.csdn.net/lufy_legend/article/details/7076064
html5游戏开发-零基础开发RPG游戏-开源讲座(三)-卷轴&对话实现
http://blog.csdn.net/lufy_legend/article/details/7094567

 

vs2010 c# Excel开发(一) 写入Excel

2011年12月17日 没有评论
分类: .NET 标签: ,

WPF & SilverLight 学习参考

2011年12月10日 没有评论

最近在做Client端的SliverLight开发,对整体的逻辑和开发流程大概清楚了。但是看到XAML中的trigger, behavior, storyBoard之类的,我就头大了。。。对一些比较复杂的行为的处理,脑子里也是一团糟。总结了下,还是对XAML的Binding和行为处理不清楚造成的。

困难一直存在,学习仍在继续,收集整理了相关的资料,努力学习!

1、Silverlight and WPF Behaviours and Triggers – Understanding, Exploring And Developing Interactivity using C#, Visual Studio and Blend
2、Silverlight DataTrigger is the Answer to View Model / MVVM Issues

3、Data Binding Deep Dive

4、WPF: A Beginner’s Guide

5、Silverlight View Model Style: An (Overly) Simplified Explanation

6、Silverlight Super Tabs Interface (using View Model / MVVM)

7、

To Be Continue………

分类: .NET 标签: , ,

U盘大小的双核Android移动电脑:仅重21克【转】

2011年11月28日 3 条评论

本文来自CSDN

挪威不光有森林,有维京海盗,也有疯狂的技术黑客。FXI Technologies,这家挪威的公司造出了一款只有U盘大小的双核Android移动电脑,Code name叫做“Cotton Candy”,因为她的重量和糖果相当,只有21克。

只要有个显示器她就能轻盈的跑起来,像TV、电脑、手机、平板、机顶盒这类设备都可以作为她的外设输出终端。当然这不是最NB的,她拥有两个 1.2GHz三星 Exynos ARM CPU,热销手机Galaxy S II的标配CPU、802.11n Wi-Fi无线网卡、蓝牙、HDMI输出口,以及microSD卡插槽。来看看这个家伙有多性感吧:

左边是USB 2.0接口,右边是HDMI插孔。

文章及图片来源:International Business Times

关于移动应用开发的五大要点【转】

2011年11月27日 没有评论

本文转自CSDN

这篇文章是我在CSDN上看到的,可以作为移动应用开发的方向参考。

最近几乎见到每个人都会跟我聊起App的事情,要么是要我帮忙介绍App外包团队,要么是共同探讨App开发方向,越来越多的互联网团队及新创的创 业团队加入到这个行列。因为大家都看到了国外不少三五人的小团队,因为App而获得不错的报酬,或者吸引了庞大的风险投资资金……

只是,多数的想法都还停留在跟风的阶段,今天国外有什么,那我们就先照着做。国内整个App产品开发,甚至一些大型网站,也只是把App当成一个必 备品,而不是开拓新市场的利器。整体来说,App还停留在很早期的阶段,再加上多数App本身有些生命周期的特性,因此App这件事虽然看起来简单、进入 门槛不高,但实际业务上,可能没有那么容易。

我认为这一切很大程度上是因为,大家对App的产品开发缺乏通透的了解,又想快速的推出App,因此App本身并没有杀手级的创意特点,就算有,也多半昙花一现。因此我就我的观察以及跟同业的交流,整理了一些观点分享给大家:

第一点 现金流与品牌的平衡

对于一个新创的开发团队,现金流尤其重要,因此不少的开发团队都以接外包案子为生,就目前的行情,这的确是不错的收入,同时也增加了练兵的机会。但 这是快钱,就是代工产业,拼到最后就是接案数以及价格,对于团队的品牌没有多大的加分,更没有留下一个属于自己的产品。因此我认为开发团队应该在App数 量以及App品牌上面下点功夫,两条线的策略,一条是以尽可能多数量的App来开创现金流(不一定是接外包),另一条是开创自有品牌的App,在这两者之 间保持平衡,才有机会找到突破点。

第二点 创意以及内容的搭配

App是一种新的工具,新的媒体,新的呈现方式,那么就不应该用传统互联网的思维来搭建,而应该多一点软件的思维,更多用户体验,软件流程的考量, 甚至是更多结合手机或者平板的特性(照相、LBS、感应器等),这是创新创意的思维,也是App上市后得以吸引用户及媒体关注的主因。但别忘了山寨者众, 因此光有一个亮点是不够的,很快别人也跟进了,如果没有内容做为后盾,那创意只是昙花一现,因此如何跟内容作结合,影响这个事业的持久性,比如说:电子阅 读、新闻、照片分享、优惠分享等都是案例,而我认为目前还没有较完美的模式以及应用出现,这是创业团队们很好的机会。

第三点 多种App盈利模式的组合

最早的时候,我们都熟悉了每个工具或者游戏一定有一个Lite版也有一个完整版,这就是一种组合,此外还可以考虑第三种模式(In-APP Purchase,应用内付费),或者是加入CPS导购等等。这些我们也都在摸索当中,不同市场的用户特性不同,必须有不同的做法。比如说在中国,一般用 户习惯免费经济,如何引导,同时,他们可能观念上直接把In-APP当作一种付费的陷阱,又如何应对,这都考验着开发团队的智慧。

第四点 设法让App的生命周期延长

一般来说App的效果如何大概一上线当天就会知道,如果不好的话,就必须立即修改方向,或者开发不同的App。而同时用户反应良好的App也必须想 些方法延伸其生命周期,如同上述第二点所说的内容的搭配。这边要谈的是,除了内容,用户活跃度如何长期经营,我想Apple有所谓的push功能,这是必 须采纳的,随时有提醒的作用。此外,加入分享的功能,比如分享到微博、Facebook或者Email等,也很重要。甚至除了分享的设计之外,如何吸引用 户经常性的愿意转发分享也必须纳入考虑,功能与创意都是一时的,用户活跃度才是关键。

第五点 把App当商品而不是网站

这边我特别要强调的是,网站是一个网,那么这个网除了专之外,更要广,他是一个”面”。但是App应该是一个”点”,或者说一个商品,也就是说必须 够”专”,而不要太广,这会让App太过于复杂而不易使用。另外,如果能够把一个网站的所有功能,都转换成一个个特定的APP,那么除了专业、定制化的优 势之外,更可以形成一种App的规模,这不只对于每个App的行销更容易,也将会有更好的用户体验。

以上几点是我这一年多来从事App产品开发与推广的一些经验谈,我认为这个产业才刚刚起步,未来App这个产业会有什么发展,我想尚难定论,但如果可以有更完整的产品规划以及开发的策略,将会更有机会成功,也希望有更多的朋友一起来参与讨论。

原文出处:三十而栗

分类: 移动应用 标签:

工作总结(一)2011.11.27

2011年11月27日 9 条评论

今天,天气不错。

女朋友项目组出去烧烤,剩自己一个人在家独守电脑。查了会资料,看了看电影。

突然,天空一道灵光打到我的脑袋上,电流直击心脏,我得对工作进行个总结了!

先流水账一把:

今年七月毕业,和女朋友一起来到上海,成了海漂中的一员。我们提前三天来到上海,为啥?还能为啥,先找个窝呗。到上海的第二天就把房子定了,第三天签合同,给大洋,拎包到新窝。虽然累了点,但还是比较顺利的。

周一的时候,女朋友一大早就给我做早饭,我吃完饭就赶往公司报道,结果哥早到了一个多小时,等了半个多小时。第一天,做了一些大家都知道的事,比较平淡。

第一个星期还是比较轻松的,了解下公司情况,装装培训期间需要的软件,了解软件开发的流程,以及培训期间要做的事等等。为期一个多月的培训就这么开始了,开始的时候感觉不像网上传的那么恐怖,心中暗自高兴哈。

第二个星期开始,我们需要动手做training project了,氛围一下子就变得紧张很多,更何况哥之前没接触过C#,ASP.NET,就连SQL SERVER都不咋熟悉。那一个悲催叫啊。。。。还好,我前面的两个同事了解的比较多,就天天的问,回来的公交上也在问,真有激情。。。

在这样的氛围中,我们熬到了培训的最后阶段,Leader开始review,我们身边的人也在逐渐的减少。每当Leader开门进来的时候,我心跳立马加速,不由自主的一个“靠”字出口,还假装盯着屏幕在目不转睛的写程序。其实,眼角一直在瞟Leader,心中在祈祷千万不要找我去谈话!

结果,我们小组走了好几个,留下来的很庆幸,也很伤感。

对于这样的培训淘汰机制,哥很有意见!刚毕业大老远的来上海,人生地不熟的,干不到一个月就给Fire了,工作本身没什么,生活咋办?!得重新找工作,又可能得重新找房子,还得吃喝。。。。

熬过了培训,没过几天就进了项目组。先了解了项目组一些我们可以知道的东东,然后就开始分小组了。。偶申请去做Service端开发。

开始的时候感觉项目没啥,挺简单的,做起来的时候又啥不知道。

过了一个星期,能完成一些简单的任务,觉得整个系统还是很复杂的,涉及到很多的技术。

在简单和复杂的来回转换中,我做了三个多月的Service端开发。由于Client那边需要人手,我现在是一边Service,一边Client。

同时,为了俺家领导的毕设,我还在关注着Hadoop和MongoDB的开发,以及大规模的数据处理的知识,时间还是比较紧的哦。。。吼吼~~

总结下:

在项目组快四个月了,感觉学到了很多东西,但是又感觉没学到啥东西。知道了很多技术和思想,但貌似没能力去付诸实践。整日都在做Leader给分的任务,估计考虑我们是新人,分给我们的都比较简单。

我一直在研究整个项目的架构,貌似很简单,但仔细去分析又超出了我的能力范围。处于一种模糊的状态,口头上忽悠人还可以,真让我去搞的话,又搞不来。

需要学习的东西真的很多,而且要做的Professional!

我是一个幸运的人,有个好女人在身边陪伴。

在培训期间,每天回去的都很晚,但是到了家之后看到她,心里就很平静,很惬意。

转正之后,回去的比较早了,每次回到家,饭菜已备齐,很幸福。

分类: 叽歪生活 标签:

啥是设计模式?

2011年11月27日 没有评论

很久很久以前我就听说过“设计模式”这一词,也听说过什么“工厂模式”,但从未去看他们,一直认为他们对我就是个传说,是个很高深的东东,还是先搞好基础吧。。。

就这样,了解都没去了解一下设计模式,时间飞逝。。。而我任徘徊在很多语言之中。。

上个星期看到同事的桌子上放了本《大话设计模式》,好奇下,就搜了下,发现评价挺好,就买了本。

到手的时候,看了第一章,感觉醍醐灌顶,看到书在07年就出了,更是相见恨晚。

现在一直惦记着看这本书,就是天天上班莫太多时间去看。。

我对设计模式的理解,就是“一种程序得架构方案”,让程序结构更合理,以提高代码的可用性、可维护性和可扩展性。

其实在软件设计人员中,唾弃设计模式的可能很少,盲目夸大设计模式功用的反而更多。言必谈“模式”,并不能使你成为优秀的架构师。真正出色的设计师,懂得判断运用模式的时机。还有一个问题是,很多才踏入软件设计领域的人员,往往对设计模式很困惑。对于他们来说,由于没有项目的实际经验,OO 的思想也还未曾建立,设计模式未免过于高深了。其实,即使是非常有经验的程序员,也不敢夸口对各种模式都能合理应用。[--摘自wayfare的设计之道]

吼吼,没有项目的实际经验,OO 的思想也还未曾建立,说的就是哥啊。。。

高手路过,请指点小弟一二,当感激涕零。。。

盘点大数据分析的十二大杀手锏

2011年11月20日 没有评论

本文转自CSDN

当数据以成百上千TB不断增长的时候,我们需要一种独特技术来应对这种前所未有的挑战。

大数据分析迎来大时代

全球各行各业的组织机构已经意识到,最准确的商务决策来自于事实,而不是凭空臆想。这也就意味着,他们需要在内部交易系统的历史信息之外,采用基于 数据分析的决策模型和技术支持。互联网点击数据、传感数据、日志文件、具有丰富地理空间信息的移动数据和涉及网络的各类评论,成为了海量信息的多种形式。

极具挑战性的是,传统的数据库部署不能处理数TB数据,也不能很好的支持高级别的数据分析。在过去十几年中,大规模并行处理(MPP)平台和列存储 数据库开启了新一轮数据分析史上的革命。而且近年来技术不断发展,我们开始看到,技术升级带来的已知架构之间的界限变得更加模糊。更为重要的是,开始逐步 出现了处理半结构化和非结构化信息的NoSQL等平台。

盘点大数据分析的十二大杀手锏[组图]

大数据分析迎来大时代

本文中,我们将向大家介绍迄今为止,包括EMC的Greenplum、Hadoop和MapReduce等提供大数据分析的产品。此外,惠普前段时 间收购实时分析平台Vertica、IBM独立的基于DB2智能分析系统和Netezza的相关产品。当然,也有微软的Parallel Data Warehouse、SAP旗下公司Sybase的Sybase IQ数据仓库分析工具等。下面,就让我们来了解业界大数据分析的这十二大产品:

1.模块化EMC Appliance处理多种数据类型

2010年EMC收购了Greenplum,随后,利用EMC自身存储硬件和支持复制与备份功能的Greenplum大规模并行处理(MPP)数据 库,推出了EMC Greenplum Data Computing Appliance (DCA)。通过与SAS和MapR等合作伙伴,DCA扩大了对Greenplum的数据库支持 。

盘点大数据分析的十二大杀手锏[组图]

支持大数据分析的EMC Appliance

今年5月,EMC推出了自己的Hadoop软件工具,而且该公司还承诺,今年秋季发布的模块化DCA将支持Greenplum SQL/关系型数据库,Hadoop部署也能在同样的设备上得到支持。借助Hadoop,EMC能够解决诸如网络点击数据、非结构数据等真正大数据分析的 困难。模块化的DCA也能够在同样的设备上支持长期保留的高容量的存储模块,从而满足监测需求。

2.Hadoop和MapReduce提炼大数据

Hadoop是一个开放源码的分布式数据处理系统架构,主要面向存储和处理结构化、半结构化或非结构化、真正意义上的大数据(通常成百上千的TB甚 至PB级别数据)应用。网络点击和社交媒体分析应用,正在极大地推动应用需求。Hadoop提供的MapReduce(和其他一些环境)是处理大数据集理 想解决方案。

MapReduce能将大数据问题分解成多个子问题,将它们分配到成百上千个处理节点之上,然后将结果汇集到一个小数据集当中,从而更容易分析得出最后的结果。

盘点大数据分析的十二大杀手锏[组图]

MapReduce结构图

Hadoop可以运行在低成本的硬件产品之上,通过扩展可以成为商业存储和数据分析的替代方案。它已经成为很多互联网巨头,比如AOL、 eHarmony(美国在线约会网站)、易趣、Facebook、Twitter和Netflix大数据分析的主要解决方案。也有更多传统的巨头公司比如 摩根大通银行,也正在考虑采用这一解决方案。

3.惠普Vertica电子商务分析

今年二月被惠普收购的Vertica,是能提供高效数据存储和快速查询的列存储数据库实时分析平台。相比传统的关系数据库,更低的维护和运营成本, 就可以获得更快速的部署、运行和维护。该数据库还支持大规模并行处理(MPP)。在收购之后,惠普随即推出了基于x86硬件的HP Vertica。通过MPP的扩展性可以让Vertica为高端数字营销、电子商务客户(比如AOL、Twitter、 Groupon)分析处理的数据达到PB级。

盘点大数据分析的十二大杀手锏[组图]

惠普Vertica实时分析平台

其实,早在惠普收购之前,Vertica就推出有包括内存、闪存快速分析等一系列创新产品。它是首个新增Hadoop链接支持客户管理关系型数据的产品之一,也是首个基于云部署风险的产品平台之一。目前,Vertica支持惠普的云服务自动化解决方案。

4.IBM提供运维和分析数据仓库

去年,IBM推出了基于DB2的Smart Analytic System(图中左侧),那么它为何还要收购另外的Netezza方案平台呢?因为前者是具备高扩展性企业数据仓库的平台,可以支持成千上万的用户和各 类应用操作。比如,呼叫中心通常拥有大量的雇员需要快速回拨客户的历史通话记录。Smart Analytic System提供了整合信息的DB2数据库,预配置Cognos BI软件模块,可以在IBM Power System(RISC或者X86架构)上运行。

Smart Analytic System及Netezza

Netezza致力于为数字化营销公司、电信、和其他挖掘成百上千TB甚至PB级别数据的公司,提供高可扩展分析应用的解决方案。IBM的 Netezza TwinFin数据仓库设备,支持大规模并行处理,可以在一天时间内部署完毕。Netezza支持多种语言和方式进行数据库分析,其中包括Java、C、 C++、Python和MapReduce。与此同时,它还支持如SAS,IBM SPSS使用的矩阵操作方法和R编程语言。IBM Netezza最近增加了一个高容量长期存档设备以满足更多要求。

5.Infobright减少DBA工作量和查询时间

Infobright列存储数据库,旨在为数十TB级别数据提供各类分析服务。而这一块也正是甲骨文和微软SQL Server的核心市场之一。InfoBright还表示,建立在MySQL基础之上的数据库也提供了另外一种选择,它专门针对分析应用、低成本简化劳动 力工作、交付高性能的服务进行设计。

列存储数据库能够自动创建索引,而且无需进行数据分区和DBA调整。相比传统数据库,它可以减少90%的人工工作量,而且由 于其采用高数据压缩,在数据库许可和存储等方面的开支也可以减少一半。

盘点大数据分析的十二大杀手锏[组图]

Knowledge Grid查询引擎

InfoBright最新的4.0版本产品,新增了一个DomainExpert的功能。企业用户可以借此忽略不断重复的那些数据,比如邮箱地址 、URL和IP地址。与此同时,公司还可以增加与呼叫记录、业务交易或者地理位置信息相关的数据。Kowledge Grid查询引擎则可以帮助过滤那些静态数据而只关注那些变化的数据。也就是说,它可以帮助节省数据查询的时间,因为那些无关的数据无需进行解压缩和筛 选。

6.Kognitio提供三倍速度和虚拟多维数据集

Kognitio是一家本身不生产硬件产品的数据库厂商,它看到了客户对快速部署的广泛兴趣和市场需求,推出了在惠普、IBM硬件产品上预配置有WX2数据库的Lakes、Rivers和Rapids解决方案。

Lakes能够以低成本、10TB数据存储和每个模块48个运算核心提供大容量存储服务。电信或金融服务公司,可以使用这种配置来扫描大量的分支结 构的各种信息记录。Rivers则提供了容量和速度之间的平衡,预配置为2.5TB存储容量,它的每个模块拥有48个运算核心。而追求查询性能的 Rapids,其预配置提供有96个运算核心,每个模块仅仅为1.5TB。该产品方案主要针对金融公司在算法交易或者其他高性能要求方面的需求。

盘点大数据分析的十二大杀手锏[组图]

Kognitio基于内存运算的数据仓库和数据分析

今年, Kognitio新增了一个虚拟化OLAP风格的Pablo分析引擎。它提供了灵活的、为企业用户进行分析的解决方案。用户可升级选用WX2构建一个虚拟 多维数据集。因此,WX2数据库中任何一个维度的数据都可在内存中用于快速分析。这种分析的前端接口是我们常见的Microsoft Excel。

7.微软SQL Server新增PDW功能

今年年初微软发布的SQL Server R2 Parallel Data Warehouse(PDW,并行数据仓库),一改以往SQL Server部署时间需要花 费两年半时间的历史,它可以帮助客户扩展部署数百TB级别数据的分析解决方案。支持这一产品的包括有合作伙伴惠普的硬件平台。发布之初,虽然微软官网提供 有让利折扣,但PDW售价仍超过13000美元/TB(用户和硬件访问量)。

盘点大数据分析的十二大杀手锏[组图]

SQL Server PDW

和很多产品一样,PDW使用了大规模并行处理来支持高扩展性,但微软进入这一市场实属“姗姗来迟”,而且在一定程度上说,数据仓库分析和内存分析计 算市场落下了后腿。目前,微软寄希望于其整体数据库平台在市场上带来的差异化竞争力。这意味着,所有沿袭了基于微软平台的数据和数据管理,将被广泛应用在 信息集成领域——Reporting and Analysis Services,而这一切都基于SQL Server数据库。

微软在今年10月12日通过推出Apache Hadoop和相关的SQL Azure Hadoop服务,宣布进入大数据领域。Azure服务将在2011年底亮相,而相应的本地配套软件要在明年上半年推出,现在也不清楚微软是否会与其他硬 件合作伙伴或者相关大数据设备厂商合作。

8.甲骨文讲述Engineered Systems的故事

甲骨文表示,Exadata(图中左侧)是迄今以来发布的产品中最为成功的产品,自从2008年推出以来,已经拥有超过1000名客户。而 engineered system使得甲骨文11g数据库,可以支持基于X86的数据处理和磁盘存储层,其闪存缓存也使得可以实现超快速查询处理。

它既可应用在任意事务环境中,也可以应用在数据仓库(但不能同时进行)。Exadata的混合柱状压缩能够实现列存储数据库的某些高效率特点,提供高达10:1的压缩比,而大部分行存储数据库的平均压缩比为4:1。

甲骨文在9月通过宣布Oracle SuperCluster(图中右侧),扩展了engineered systems产品家族。它采用了最新的Sun Sparc T-4芯片。SuperCluster支持全机架/半机架配置,而且用户可以在半机架容量基础上进行扩容。满额配置提供有1200个CPU线程,4TB内 存,97TB至198TB磁盘存储,8.66TB闪存。

盘点大数据分析的十二大杀手锏[组图]

甲骨文大数据分析系统设施

甲骨文声称,SuperCluster事务处理和数据仓库性能相比传统服务器架构能分别带来10倍和50倍速度提升。但作为一个专有的Unix机 器,甲骨文想通过SuperCluster,在面向x86硬件的数据仓库部署迁移大潮中力挽狂澜。甲骨文的Exadata和Exalogic都基于x86 架构而且运行Linux系统。

在十月召开的Oracle OpenWorld中,甲骨文宣布将新增一个分布式pache Hadoop软件和相关的大数据设备。甲骨文也计划推出一个独立的基于开源BerkeleyDB产品的NoSQL。

9.ParAccel大打列存储、MPP和数据库分析组合拳

ParAccel是ParAccel Analytic Database(PADB)的开发厂商——提供快速、选择性查询和列存储数据库,并基于大规模并行处理优势特点的产品。该公式表示,其平台支持一系列针对各种复杂、先进应用的工作负载报告和分析。

盘点大数据分析的十二大杀手锏[组图]

ParAccel大数据解决方案

内置的分析算法可以为分析师提供高级数学运算、数据统计、和数据挖掘等各种功能,同时,它还提供一个开放的API,可以扩展数据库的各种数据处理能力和第三方分析应用。

Table functions被用来传送和接收第三方和采用C、C++等编写的定制算法的数据结果。ParAccel与Fuzzy Logix——一家提供各种描述统计学、统计实验模拟和模式识别功能库功能的服务商。此外, Table functions还支持MapReduce和广泛应用在金融服务的700多种分析技术。

10.Sybase推进IQ列存储数据库

SAP旗下的Sybase是列存储数据库管理系统的首批厂商,而且目前仍然是拥有2000多个客户的畅销厂商。今年夏天推出了Sybase IQ 15.3版本,该版本产品能够处理更多数据和更多数据类型,也能胜任更多查询,当然这主要得益于其包含了一个名叫PlexQ 的大规模并行处理功能。

基于MPP大规模并行处理的PlexQ分布式查询平台,通过将任务分散到网格配置中的多台计算机,加速了高度复杂的查询。有报道说,它能提供比现有的IQ部署快12倍的交付能力。

Sybase IQ

为了支持不同的分析,15.3版本的产品增加了分布式处理功能,来执行PlexQ网格中跨CPU的查询服务。为了确保实现最快速度的查询,PlexQ包含了一个逻辑服务器——让管理员对PlexQ网格的物理服务器组成虚拟群集,以便优化分析工作负载、用户需求和应用程序。

Sybase IQ和其他大多数的支持MPP功能的产品之间区别主要在于,它采用了全共享的方式。全共享的缺点是CPU会争相访问共享存储(通常是SAN),而这会降低 查询性能。不过Sybase坚持认为,从优化查询的角度来说全共享会更加灵活,因为所有的CPU 都会访问所有的数据。所以,我们可以对某个特定的查询尽可能多(或者少)地分配计算资源。

11.Teradata从EDWs跨入大规模分析领域

一旦成为企业级数据仓库(EDW)的宣传者,近年来Teradata就已经放松了扩展Teradata数据库产品家族的步伐。该公司的高性能、高容量产品被广泛采用和复制,因为其中包括了很多企业工作量管理的功能模块,包括虚拟OLAP(三维立体式)分析模型 。

Teradata在数据库分析领域不断推陈出新,但在结构化数据、半结构化数据和大部分非结构化数据领域几乎没有很大成果。这也就是为什么该公司要 收购Aster Data——一家提供SQL-MapReduce框架的公司。MapReduce处理拥有广泛的市场需求,因为存在着大量的互联网点击数据、传感数据和社 交媒体内容。

盘点大数据分析的十二大杀手锏[组图]

Teradata平台产品家族

Teradata日前宣布了一项Aster Data MapReduce产品的计划,它建立在以往产品同样的硬件平台之上,而且在Teradata和Aster Data之间新增了两种集成方法。通过收购,Teradata打破了在数据仓储业被认为最广泛、最具扩展性的界限。

12.1010data提供基于云计算大数据分析

正如标题所说,1010data能够提供基于云计算的大数据分析平台。很大数据库平台供应商提供基于云的沙箱测试和开发环境, 但1010data的管理数据库服务,主要针对将整个工作负载迁移到云的全过程。

该服务支持一种提供“丰富而又高级的内置分析功能”,其中包括有预测分析。其一大卖点是服务包括了数据建模和设计、信息集成和数据转换。

盘点大数据分析的十二大杀手锏[组图]

1010data提供基于云计算大数据分析

其客户包括有对冲基金、全球各大银行、证券交易商,零售商和包装消费品公司。

何谓大数据?

大数据,也就是国外常说的Big Data。IBM把大数据概括成了三个V,即大量化(Volume)、多样化(Variety)和快速化(Velocity)。这些特点也反映了大数据所潜藏的价值(Value),我们也可以认为,四个V高度概括了大数据的基本特征。

盘点大数据分析的十二大杀手锏[组图]

业界比较一致对大数据的定义是:大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。

本文来自:中关村在线

分类: 数据库 标签: ,

SQL与MapReduce 传统与现代的结合

2011年11月20日 没有评论

本文转自CSDN

Google在2004年创造了MapReduce,MapReduce集群可包括数以千计的并行操作的计算机。同时MapReduce允许程序员在如此庞大的集群中快速的转换数据并执行数据。

从MapReduce到Hadoop,这其中经历了一个有趣的转变。MapReduce最初是帮助搜索引擎公司应对万维网所带来的创建索引时产生的 大量数据。Google最初也招募了一些硅谷的精英,并雇用了大批的工程师来完善MapReduce。并快速将技术应用在相关的行业之中,如金融、零售 等。Goolge曾拿出MapReduce的部分相关信息与Nutch团队分享,以开发开源版本“Hadoop”。但Yahoo则将Nutch收入到旗 下。Yahoo在2007年将其发展成Hadoop开源项目。Hadoop现在越来越多的用于大数据的大规模并行数据处理引擎。

现今大家都热衷于大数据领域。开源的项目如Apache Hive、Pig。以及像MapR和Hadapt这样的创业公司。众所周知,如果MapReduce和Hadoop中用来进行数据分析的应用编写起来过于 复杂的话,那么就需要优秀程序员处理,这并不利于MapReduce技术的发展。所以现今所有Hadoop供应商都亟待解决的一个问题就是如何将 MapReduce变得更易于使用。

企业大数据与敏捷大数据

从IT角度来看,信息结构类型大致经历了三次浪潮。必须注意这一点,新的浪潮并没取代旧浪潮,它们仍在不断发展,三种数据结构类型一直存在,只是其中一种结构类型往往主导于其他结构:

结构化信息——这种信息可以在关系数据库中找到,多年来一直主导着IT应用。这是关键任务OLTP系统业务所依赖的信息,另外,还可对结构数据库信息进行排序和查询;

半结构化信息——这是IT的第二次浪潮,包括电子邮件,文字处理文件以及大量保存和发布在网络上的信息。半结构化信息是以内容为基础,可以用于搜索,这也是谷歌存在的理由;

非结构化信息——该信息在本质形式上可认为主要是位映射数据。数据必须处于一种可感知的形式中(诸如可在音频、视频和多媒体文件中被听或被看)。许多大数据都是非结构化的,其庞大规模和复杂性需要高级分析工具来创建或利用一种更易于人们感知和交互的结构。

而面对网络中三种类型信息的挑战,大数据的发展趋势逐渐明朗。在今年9月于纽约召开的O‘Reilly Strata大会上就将发展趋势概括为企业大数据和敏捷大数据。企业大数据是最具挑战性的问题,也是企业盈利的需要解决的问题。而敏捷大数据是另外一个需 要关注的问题。如Greenplum和Aster等在企业BI领域都有涉足。

如果事实证明大数据必须购买企业级的产品,那么就意味着大数据会花大本钱。但这并非绝对,通过使用大数据敏捷技术,各种规模的企业都可以控制成本, 从大数据中获益。至关重要的是尽可能降低成本并最大化的了解大数据集,一旦数据被转化为可用便具有对业务的洞察力,然后以各种方式将问题汇总,并发挥企业 技术的优势解决问题。

MapReduce易用性是其发展最大障碍

MapReduce系统获得成功的原因之一是它为编写需要大规模并行处理的代码提供了简单的 编程模式。它受到了Lisp的函数编程特性和其他函数式语言的启发。MapReduce和云计算非常相配。MapReduce的关键特点是它能够对开发人 员隐藏操作并行语义 — 并行编程的具体工作方式。

但现今,MapReduce很难成为商务人士讨论大数据的方式。因为要使用MapReduce至少需要以下四种技能。

1.将商业问题转换为可分析解决的问题

2.将可分析解决的问题转换为MapReduce模型

3.调试、编码、优化MapReduce以处理数据的能力

4.具备Hadoop和MapReduce的丰富经验,并具备调试部署在Hadoop上代码的能力

在大数据时代下,使用传统的数据库进行查询、排序、定义、和提取数据时显得有些力不从心。而处理大数据业务的本质(如MapReduce)需要更多的技能。但大批雇佣这些高技能人才是不现实的。

SQL与MapReduce 传统与现代的结合

SQL对于编程专家和业务分析师用来查询数据来说是非常熟悉的模式。而MapReduce的魅力在于有能力处理程序方案中相对复杂的搜索查询。如果将两者结合起来会带来什么样的变化?

Aster已经提供了一种被称为SQL-MapReduce的框架,这个框架可以使数据科学家和商业分析师对复杂的信息进行快速调查分析,允许一组 关联计算机(计算机群集)使用软件语言(如 Java、C#、Python、C++ 和 R)并行进行程序表达,然后通过标准SQL 激活(调用)使用。

而Greenplum提供支持SQL和MapReduce并行处理功能,并能以较低的成本处理TB量级到PB量级企业数据。Greenplum整合 了MapReduce和SQL技术,并且将直接在Greenplum的并行数据流引擎(位于Greenplum数据引擎的中心)内部直接执行 MapReduce和SQL。Greenplum MapReduce可以使程序员对储存在Greenplum数据引擎内部和外部的PB量级规模的数据集进行分析。带来的好处是应对不断增长的标准编程模型 来满足关系数据库的可靠性和熟悉性。

同时像微软这样的领导厂商也参与其中。微软已经推出了Hadoop与SQL Server的连接工具,客户将能够在Hadoop、SQL Server和并行数据仓换环境下相互交换数据。与此同时,微软还与Hortonworks展开深度合作。其目的就是为了将Hortonworks在 Hadoop领域的专长以及微软产品易用化的特性有机的结合起来,并简化下载、安装和配置等几个Hadoop的相关技术。

未来随着SQL和MapReduce技术结合的不断完善,MapReduce将变得更容易使用,并广泛的受到关注。相信我,时间会证明一切。

分类: 数据库 标签: ,