Samson's Weblog » Tips

SQL调优和SQL优化

Samson Wu — Mon, 24 Oct 2011 07:11:31 +0000

本文为译文ⁱ，翻译自原文 http://beginner-sql-tutorial.com/sql-query-tuning.htm

sql语句可以用来从数据库取回数据。不同的sql查询语句有时可以得到相同的返回结果。如果考虑执行效率的话，选择使用最佳的查询语句至关重要，所以我们需要根据需求来优化sql查询。下面是一些我们平时经常使用的查询语句，以及如何优化它们以达到更好的执行效率。

SQL调优/SQL优化技巧:

1) 如果在SELECT语句里面用具体的column名而不是’*'，sql查询会更快。

例如，查询语句写成：

SELECT id, first_name, last_name, age, subject FROM student_details;

比写成下面这样快：

SELECT * FROM student_details;

2) HAVING字句是用来进一步过滤SELECT查询结果的，它就像一个过滤器。别把HAVING用作其它任何用途。

例如，写成：

SELECT subject, count(subject)
FROM student_details
WHERE subject != 'Science'
AND subject != 'Maths'
GROUP BY subject;

而不是:

SELECT subject, count(subject)
FROM student_details
GROUP BY subject
HAVING subject!= 'Vancouver' AND subject!= 'Toronto';

3) 有时候在主查询语句里面可能包含不止一个子查询语句。尽量减少子查询语句的数量有助于提高效率。

例如，写成：

SELECT name
FROM employee
WHERE (salary, age ) = (SELECT MAX (salary), MAX (age)
FROM employee_details)
AND dept = 'Electronics';

而不是：

SELECT name
FROM employee
WHERE salary = (SELECT MAX(salary) FROM employee_details)
AND age = (SELECT MAX(age) FROM employee_details)
AND emp_dept = 'Electronics';

4) 恰当的使用EXISTS，IN和table joins。

a) IN通常效率最低
b) 当大多数过滤条件存在在子查询语句里面的时候，IN效率更高
c) 当大多数过滤条件存在在主查询语句的时候，EXISTS效率更高

例如，写成：

SELECT * FROM product p
WHERE EXISTS (SELECT * FROM order_items o
WHERE o.product_id = p.product_id)

而不是：

SELECT * FROM product p
WHERE product_id IN
(SELECT product_id FROM order_items

5) 当join的两个表包含一对多关系时，优先使用EXISTS而不是DISTINCT。

例如，写成：

SELECT d.dept_id, d.dept
FROM dept d
WHERE EXISTS ( SELECT 'X' FROM employee e WHERE e.dept = d.dept);

而不是：

SELECT DISTINCT d.dept_id, d.dept
FROM dept d,employee e
WHERE e.dept = e.dept;

6) 尝试使用UNION ALL来替换UNION。

例如，写成：

SELECT id, first_name
FROM student_details_class10
UNION ALL
SELECT id, first_name
FROM sports_team;

而不是：

SELECT id, first_name, subject
FROM student_details_class10
UNION
SELECT id, first_name
FROM sports_team;

7) 当在WHERE子句里面使用条件判断时，要小心。

例如，写成：

SELECT id, first_name, age FROM student_details WHERE age > 10;

而不是：

SELECT id, first_name, age FROM student_details WHERE age != 10;

写成：

SELECT id, first_name, age
FROM student_details
WHERE first_name LIKE 'Chan%';

而不是：

SELECT id, first_name, age
FROM student_details
WHERE SUBSTR(first_name,1,3) = 'Cha';

写成：

SELECT id, first_name, age
FROM student_details
WHERE first_name LIKE NVL ( :name, '%');

而不是：

SELECT id, first_name, age
FROM student_details
WHERE first_name = NVL ( :name, first_name);

写成：

SELECT product_id, product_name
FROM product
WHERE unit_price BETWEEN MAX(unit_price) AND MIN(unit_price)

而不是：

SELECT product_id, product_name
FROM product
WHERE unit_price >= MAX(unit_price)
AND unit_price <= MIN(unit_price)

写成：

SELECT id, name, salary
FROM employee
WHERE dept = 'Electronics'
AND location = 'Bangalore';

而不是：

SELECT id, name, salary
FROM employee
WHERE dept || location= 'ElectronicsBangalore';

把非column表达式放在查询语句的一边，因为它们会被优先处理。

写成：

SELECT id, name, salary
FROM employee
WHERE salary < 25000;

而不是：

SELECT id, name, salary
FROM employee
WHERE salary + 10000 < 35000;

写成：

SELECT id, first_name, age
FROM student_details
WHERE age > 10;

而不是：

SELECT id, first_name, age
FROM student_details
WHERE age NOT = 10;

8) 使用DECODE来避免重复扫描同一条数据或重复join同一张表。DECODE也可以用来替换GROUP BY或ORDER BY子句。

例如，写成：

SELECT id FROM employee
WHERE name LIKE 'Ramesh%'
AND location = 'Bangalore';

而不是：

SELECT DECODE(location,'Bangalore',id,NULL) id FROM employee
WHERE name LIKE 'Ramesh%';

9) 存储大二进制数据，首先将其存储在文件系统上，然后将其文件路径存储到数据库。

10) 遵守SQL标准规则。

a) 对所有的SQL动词使用同一种大小写
b) 所有的SQL动词放在新一行的开头
c) 所有的单词用一个空格分隔
d) 所有的SQL动词左对齐或右对齐首个SQL动词

[Footnotes]

翻译的主要目的在于强化记忆和加深理解

Python NameError: name ‘readline’ is not defined

Samson Wu — Tue, 16 Aug 2011 08:08:14 +0000

Python 2.6.×已经装了有一定时日了，已经完全不知道python的世界都更新到什么境界了；标题这个issue在我更新到Lion之前就已经存在了，所以这不能算是Lion里才introduce的issue，这个还是得有一句说一句；

之前我在Snow Leopard一直没有找到fix的办法，当然主要的原因还在于我也没有那么急切的想fix它，至少对于一个几个月都基本不碰python的家伙而言，它的急迫性显然没有解决starcraft2破解版一联机就自动更新不能玩这个issue来的高，xd:)

BTW, 我只玩战役模式，Blizzard及其各路partner已经完全将starcraft2的对战模式变成网游，虽然我很想支持暴雪买正版，但是网游的各种消耗对我来说是无法容忍的.

貌似又有跑题的趋势…… anyway……

这个issue就是下面这样的，注意倒数第二行：

~ ➔ python
Python 2.6.6 (r266:84292, Sep 13 2010, 20:53:06)
[GCC 4.2.1 (Apple Inc. build 5646) (dot 1)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
Module readline not available.
Traceback (most recent call last):
File "/Users/samson/.pythonrc", line 22, in <module>
readline.read_history_file(historyPath)
NameError: name 'readline' is not defined
>>>

主要的原因在于我起来的python cli会去读我home目录下.pythonrc ⁱ，.pythonrc的前面几行则会试图去load readline或rlcompleter：

try:
import readline
except ImportError:
print("Module readline not available.")
else:
import rlcompleter
readline.parse_and_bind("tab: complete")

而诡异的是我明明装了readline，还装了两个（当然active的只有一个），这个python却始终很傻的说找不到：

~ ➔ port installed | grep readline
readline @6.1.000_1+darwin
readline @6.1.002_0 (active)

我曾试图upgrade python，但是问题仍旧存在，当然真相永远只有一个……

不废话也不卖关子，最后的解决办法非常吐血，不是upgrade python也不是去装py-readline，而是再install一遍readline (当然最后turns out readline也升级了)：

~ ➔ sudo port install readline

~ ➔ port installed | grep readline
readline @6.1.000_1+darwin
readline @6.1.002_0
readline @6.2.000_0 (active)

problem solved:

~ ➔ python
Python 2.6.6 (r266:84292, Sep 13 2010, 20:53:06)
[GCC 4.2.1 (Apple Inc. build 5646) (dot 1)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>>

[Footnotes]

这个在环境变量$PYTHONSTARTUP里面设置

google.com please

Samson Wu — Thu, 14 Jul 2011 08:40:12 +0000

访问google.com的时候被redirect？ Here is how to solve this problem in any browser, not only in google chrome .

截图于opera，但obviously，在各种浏览器里面都work.

Full Screen Mode for TextMate and MacVim

Samson Wu — Mon, 11 Jul 2011 03:44:53 +0000

继续用wordpress的fullscreen mode写关于fullscreen的东西…… 不要怪我火星，你要允许孤陋寡闻的井底之蛙（比如我）慢慢发现以前一直很annoying的fulscreen mode原来可以真的让我相对focus一些，暂且不管这到底持续的时间能有多长……

For those who cares, it’s all about focus and productivity. (really? are you crazy?)

[MacVim]
火星旅程开始，先别急着google，turns out 人家MacVim已经自带了这个功能，奈何我是眼睛大还是压根没注意…
打开MacVim，然后:
Window -> Toggle Full Screen Mode

You got it:

[TextMate]
TextMate默认不自带fullscreen功能，不过人家整整5年前便在讨论解决了……

So for all of you who patiently wait for this to become a native feature, now there is a workaround.

5年后的今天TextMate本身还是没有native的include这个feature，想必你对几乎所有用户所诟病的textmate更新慢的”feature”也可见一斑了吧，更新慢却又不开源，是很多曾经很fan却又最后放弃的很大原因，当然这是后话。

5年前的那个workaround的最后更新是09年9月，虽release notes里面明确指明了snow leopard和64-bit compatible，其不活跃的开发状态仍然让人不放心，怎么都一副德行……

最后还是在github上搜到了一个相对而言蛮新的 textmate plugin , 最后更新在去年12月，且有专为Mac OS X Lion TextMate用户打造的版本，你还能再奢求什么？

在这里下载最新版 (Beta-0.4)，解压双击安装后，你的TextMate也就有了MacVim一样的fullscreen mode.

Window -> Fullscreen (⌃ + ⌥ + ⌘ + F)

最后提一句，这两个editor的fullscreen mode都没有之前提到的writeroom给力，不过也总算聊胜于无吧……

RubyGems 1.5.2 Manual Upgrade

Samson Wu — Wed, 16 Feb 2011 07:02:04 +0000

今天想更新RubyGems，突然发现 gem update ––system 貌似不work了：

$ gem -v
1.5.0

$ gem update --system
Updating RubyGems
ERROR: While executing gem ... (NoMethodError)
undefined method `version' for nil:NilClass

turns out 这是 RubyGems 1.5.0 和 1.5.1 的一个bug，1.5.2 fix了这个issue。

Manual的Upgrade可以绕过 reinstall 的麻烦和繁琐，且更低碳环保：

$ gem install rubygems-update
Fetching: rubygems-update-1.5.2.gem (100%)
Successfully installed rubygems-update-1.5.2
1 gem installed

$ update_rubygems
RubyGems 1.5.2 installed

=== 1.5.2 / 2011-02-10

NOTE: RubyGems 1.5.0 and 1.5.1 have a broken <tt>gem update --systemtt>.

To upgrade you'll need to use the manual upgrade recipe. Using sudo/su as
appropriate:

$ gem install rubygems-update
$ update_rubygems

Bug Fixes:

* Fixed gem update --system. RubyGems can now update itself again.

---------------------------------------------------------------------------

RubyGems installed the following executables:
/Users/samson/.rvm/rubies/ruby-1.9.2-p136/bin/gem

Sync MacPorts ports tree using Subversion (over HTTP)

Samson Wu — Mon, 13 Sep 2010 09:45:30 +0000

MacPorts默认用 rsync 同步 ports file tree，rsync默认使用端口873，在80%的公司内部估计要悲剧，在鄙人公司不用思考那是属于100%要悲剧的范畴。

有两种解决方法，第一种是用proxy，rsync支持用 RSYNC_PROXY 环境变量来设置proxy，不过只支持http proxy，很不幸这种方法仍旧无法穿越火线。不过还是建议先尝试下此方法，毕竟方便快捷一些。

第二种方法是MacPorts官方提供的解决方案：
https://trac.macports.org/wiki/howto/SyncingWithSVN

这个方法稍显繁琐，因为要用svn checkout 整个ports source tree（checkout完后的dir总共227M），并修改macports source，然后重新sync并建立index，整个过程可能会超过1小时。当然好处也是有的，那就是一劳永逸并且99%的情况下应该能够work～

Terminal.app use option as meta key

Samson Wu — Thu, 12 Aug 2010 15:25:04 +0000

最近经常要在psql里输入很长很长很长很长的sql…要问有多长？答：很长，join多的都可以把hash-join temporary file搞到 “no space left on device” 的长…… ，然后蛋疼的case就是你写到很长的时候突然想修改句子中间的某个部分，注意是中间，不是开头也不是结尾，而你的光标还在行末朝你一闪一闪的…

你恨不得那时用鼠标能够点一下，但是很可惜这里是terminal，鼠标单击基本处于屏蔽状态；光标一个一个左移那是在考验你的毅力和忍耐力，你要时刻保持警惕不然就会漂移过头（一般此时容易睡着，所以那时我就很淡定的喝几口水，等光标移到后一般就可以去续杯了……）；后来想到可以一个一个word的移啊，怎么这么傻… 由于bash默认是emacs的key binding，查了一下往前和往后移一个word的shortcut key是Meta-f和Meta-b，查这些花了1分钟不到，但是接下来2个多小时我一直在找这个Meta key…… 后来终于总算被我一个一个这么排列组合试出来了…… 做梦也没想到竟然是ESC… 可以想象一下同时按esc和b来往后移一个word的那种发自内心的不协调。

不过，最后还是顺利解决了（不然就没有标题，亦没有此文了），Terminal.app提供了一个选项帮助用户map option (就是alt) 到meta key，esc虽然还是meta，但显然我们更喜欢用大拇指去按alt （编者注：只要玩warcraft的人都知道用大拇指去按alt查看生命值那是多么重要的操作，哈哈）

最后附图一张，以作纪念：

Twitter Hosts

Samson Wu — Sun, 20 Dec 2009 12:52:33 +0000

上篇文章介绍过的修改hosts里面的那些twitter IP貌似现在已经不work了，原因据说是非https的访问过多造成的。

这个貌似还得大家一起努力，尽量避免误操作而使用http访问。没办法，旧的不去，新的不来嘛，douban上的twitter小组经常保持着可用hosts的更新，下次发现IP再被屏蔽，可以到那边看看，说不定会有收获的。

这回的更新：http://www.douban.com/group/topic/7964022/

Samson’s out

Samson Wu — Mon, 14 Dec 2009 17:01:29 +0000

前两天看obama在复旦的演讲录像，里面提到twitter（人家特地让大使馆的人念问题，显然是有备而来的），不过不管你obama是有心还是无意，反正当时于我是心有戚戚焉了。

后来网上搜了下，发现原来改下hosts就能通过https访问了，好吧，out到火星自刎去了…… 无颜见江东父老了……

以下是网上搜来的，且不唯一，也不知道有没有安全性的问题：
67.220.213.23 twitter.com
67.220.213.23 www.twitter.com
168.143.162.101 assets1.twitter.com
168.143.162.101 assets0.twitter.com
168.143.162.101 assets2.twitter.com
168.143.162.101 assets3.twitter.com
168.143.162.101 assets4.twitter.com
168.143.162.101 static.twitter.com

PS：自刎之前请教大伙一个问题，在这个gfw横行到引起世界公愤的年代，大伙都是怎样上twitter的呢？

git: ‘svn’ is not a git-command

Samson Wu — Wed, 09 Sep 2009 17:29:59 +0000

诡异的事情天天有：

$ git svn clone … …
git: ‘svn’ is not a git-command. See ‘git –help’.

Did you mean one of these?
fsck
show

svn是git command吗？不是git command吗？……

搞了半天原来和前不久的curl localhost是同一个问题 ── port variants没装，好吧这回吸取教训了，下次再装port一定要养成习惯先看下variants……

被depend到自动搞下来的port暂时还没找到办法，所以估计这种诡异的事情以后还是不能避免，就这点而言，archlinux下的pacman和ABS就做的相对好一点，至少surprise没那么多（好吧，有还是有的……）

$ port variants git-core
$ sudo port uninstall git-core
$ sudo port install git-core +bash_completion +svn +doc

Samson's Weblog » Tips

SQL调优和SQL优化

Related posts

Python NameError: name ‘readline’ is not defined

Related posts

google.com please

Related posts

Full Screen Mode for TextMate and MacVim

Related posts

RubyGems 1.5.2 Manual Upgrade

Related posts

Sync MacPorts ports tree using Subversion (over HTTP)

Related posts

Terminal.app use option as meta key

Related posts

Twitter Hosts

Related posts

Samson’s out

Related posts

git: ‘svn’ is not a git-command

Related posts