关于tornado+rabbitmq

2017-06-30

接触到的文章:

今天开始测试发送工作..

rabbitmq pub:


import json
import logging

import pika
import tornado.ioloop
from tornado.web import Application
from tornado.websocket import WebSocketHandler

LOG_FORMAT = ('%(levelname) -10s %(asctime)s %(name) -30s %(funcName) '
              '-35s %(lineno) -5d: %(message)s')
LOGGER = logging.Logger(__name__)


class Publisher(object):
    EXCHANGE = 'logs'
    EXCHANGE_TYPE = 'fanout'
    ROUTING_KEY = ''

    def __init__(self, amqp_url):
        self._connection = None
        self._channel = None
        self._stopping = False
        self._url = amqp_url
        self._closing = False

    def connect(self):
        LOGGER.info('Connecting to %s', self._url)
        self._connection = pika.adapters.TornadoConnection(pika.URLParameters(self._url),
                                                           self.on_connection_open)

    def on_connection_open(self, unused_connection):
        LOGGER.info('Connection opened')
        self.open_channel()

    def open_channel(self):
        LOGGER.info('Creating a new channel')
        self._connection.channel(on_open_callback=self.on_channel_open)

    def on_channel_open(self, channel):
        LOGGER.info('Channel opened')
        self._channel = channel
        self.setup_exchange(self.EXCHANGE)

    def setup_exchange(self, exchange_name):
        LOGGER.info('Declaring exchange %s', exchange_name)
        self._channel.exchange_declare(self.on_exchange_declareok,
                                       exchange_name,
                                       self.EXCHANGE_TYPE)

    def on_exchange_declareok(self, unused_frame):
        LOGGER.info('Exchange declared')

    def publish_message(self, message):
        properties = pika.BasicProperties(delivery_mode=2, )

        self._channel.basic_publish(self.EXCHANGE, self.ROUTING_KEY,
                                    json.dumps(message, ensure_ascii=False),
                                    properties)

        LOGGER.info('Published message')


class IndexHandler(WebSocketHandler):
    links = []

    def open(self):
        self.links.append(self)

    def on_message(self, message):
        app.pika.publish_message(message)


app = Application([
    (r'/', IndexHandler)
])

url = "amqp://zy:123456@192.168.1.158:5672/%2F?connection_attempts=3&heartbeat_interval=3600"
app.pika = Publisher(url)
app.listen(80)
ioloop = tornado.ioloop.IOLoop.current()
ioloop.add_timeout(500, app.pika.connect)
ioloop.start()

展开全文 >>

flask跨域

2017-05-26

from datetime import timedelta
from flask import make_response, request, current_app, jsonify
from functools import update_wrapper

from flask import Flask

"""


关于flask 允许跨域....

"""

def crossdomain(origin=None, methods=None, headers=None,
                max_age=21600, attach_to_all=True,
                automatic_options=True):
    """
        See: http://flask.pocoo.org/snippets/56/
        """
    if methods is not None:
        methods = ', '.join(sorted(x.upper() for x in methods))
    if headers is not None and not isinstance(headers, str):
        headers = ', '.join(x.upper() for x in headers)
    if not isinstance(origin, str):
        origin = ', '.join(origin)
    if isinstance(max_age, timedelta):
        max_age = max_age.total_seconds()

    def get_methods():
        if methods is not None:
            return methods

        options_resp = current_app.make_default_options_response()
        return options_resp.headers['allow']

    def decorator(f):
        def wrapped_function(*args, **kwargs):
            if automatic_options and request.method == 'OPTIONS':
                resp = current_app.make_default_options_response()
            else:
                resp = make_response(f(*args, **kwargs))
            if not attach_to_all and request.method != 'OPTIONS':
                return resp

            h = resp.headers

            h['Access-Control-Allow-Origin'] = origin
            h['Access-Control-Allow-Methods'] = get_methods()
            h['Access-Control-Max-Age'] = str(max_age)
            if headers is not None:
                h['Access-Control-Allow-Headers'] = headers
            return resp

        f.provide_automatic_options = False
        return update_wrapper(wrapped_function, f)

    return decorator


app = Flask(__name__)


@app.route('/', methods=['POST'])
@crossdomain(origin='*')
def index():
    form = request.form
    json = request.json
    print(form, json)

    return jsonify('error=0')


app.run(port=8080)

展开全文 >>

click使用

2017-05-21

import click


@click.command()
@click.option('-n', '--name', default='zy', help='名字')
@click.option('-a', '--age', default=22, help='年龄')
def sayhi(name, age):
    print(name, age)


def main():
    sayhi()


if __name__ == "__main__":
    main()

运行方式:

python filename.py -n zzzz - a 22

import logging
import zipfile

import click

from kguo import create_app
from kguo.core.db import redis_db

app = create_app()

if app.config.get("LOGGER_ENABLED"):
    logging.basicConfig(
        level=getattr(logging, app.config.get("LOGGER_LEVEL", "DEBUG")),
        format=app.config.get(
            "LOGGER_FORMAT",
            '%(asctime)s %(name)-12s %(levelname)-8s %(message)s'),
        datefmt=app.config.get("LOGGER_DATE_FORMAT", '%d.%m %H:%M:%S')
    )


@click.group()
def core_cmd():
    """ Core Commands """
    pass


@core_cmd.command()
def check():
    """Prints app status"""
    from pprint import pprint
    print("Extensions.")
    pprint(app.extensions)
    print("Modules.")
    pprint(app.blueprints)
    print("App.")
    return app


@core_cmd.command()
def showconfig():
    """Print all config variables"""
    from pprint import pprint
    print("Config.")
    pprint(dict(app.config.store()))


@core_cmd.command()
@click.option('--reloader/--no-reloader', default=True)
@click.option('--debug/--no-debug', default=True)
@click.option('--host', default='127.0.0.1')
@click.option('--port', default=5000)
def runserver(reloader, debug, host, port):
    """Run the Flask development server i.e. app.run()"""
    app.run(use_reloader=reloader, debug=debug, host=host, port=port)


@core_cmd.command()
@click.option('--path', default='captchas.zip')
def loadcap(path):
    """Load captcha from zip file

    ZIP文件应该在根目录包含全部文件，并不含后缀
    """
    f = zipfile.ZipFile(path, 'r')
    redis_db.delete('captcha')
    for idx, name in enumerate(f.namelist()):
        with f.open(name, 'r') as img:
            redis_db.hset('captcha', 'p%d' % idx, img.read())
            redis_db.hset('captcha', 'w%d' % idx, name)
    redis_db.hset('captcha', 'count', idx + 1)
    f.close()

help_text = """
    Kguo App Manager

"""

manager = click.CommandCollection(help=help_text)
manager.add_source(core_cmd)


if __name__ == '__main__':
    with app.app_context():
        manager()

展开全文 >>

视频直播

2017-05-10

Collection 设计

约定

在没有特殊声明的情况下，字段_id默认使用ObjectId类型

课程相关Collections

LiveCourse

直播课的元信息

{
    "_id": "ObjectId", // 课程 ID
  	"meta": {
      "buy": "integer", // 购买数量
      "category": ["string"],
      "description": "string", // 描述 HTML
      "name": "string", // 课程名称
      "opening": "string", // 开班时间
      "policy": ["integer"], // 课程服务策略清单，见下表
      "price": "integer", // 价格，小数点后两位。例如：1909 -> ¥19.09
      "rate_ratio": "integer", // 好评度，eg. 80%
      "rate": "integer" // 评分星级 [1,2,3,4,5]
  	},
    "plans": {
      "sections": [
        {
          "name": "string",
          "start": "Date",
          "length": "integer", //时长 分钟
          "finished": "boolean"
        }
      ],
      "chapters":[
        {
          "chapter": "string",
          "length": "integer" // 此章节有多少小节
        }
      ],
      "current": "integer"  //当前正在上哪一小节。-1为当前无课程
    },
  	"group": [
      {
        "name": "string", // 群名
        "no": "string", // 群号
      }
  	],
  	"teachers": [
      {
        "uni": "ObjectId",
        "name": "string",
        "title": "string", //老师短介绍
        "img": "string",  // URL
        "templ": "string", // 老师简历ID
      }
  	]
}

课程服务承诺策略 Policies：

（十位相同的选项只能选一个）

策略	含义
00	支付保障（默认勾选）
10	随时退款
11	前三节课前退款
12	课前随时退款
13	不支持退款
20	课后有回放
30	承诺包过

LiveCourseComments

直播课的评论

追加评论的时候可以选择修改Rate评分的数值

{
  "_id": "ObjectId",
  "hidden": "boolean", // 是否显示该评论
  "course": "ObjectId",
  "user": "integer", // 评论者的用户ID
  "rate": "integer", // 评分星级 [1,2,3,4,5]
  "content": "string",
  "progress": "integer", // 评论时课程完成度 0 - 100
  "append": [
    {
      "content": "string",
      "progress": "integer",
      "date": "date"
    }
  ]
}

LiveCourseBuyers

直播课的购买记录

{
  "_id": "ObjectId",
  "course": "ObjectId",
  "user": "integer", // UID of buyer
  "origin_p": "integer",
  "price": "integer"
}

LiveCoursePrivilege

{
  "_id": "ObjectId",
  "course": "ObjectId",
  "user": "integer", // UID of User
  "role": "integer", // 用户的角色 {0: admin, 1: student, 2: admin(Teacher), 3: assistant}
}

LiveCourseTeachers

直播课程老师元信息

{
  "_id": "ObjectId",
  "name": "string",
  // TODO
}

直播相关Collections

NeteaseLiveChannel

网易云视频直播频道信息

{
  "_id": "ObjectId",
  "course": "ObjectId",
  "update": "date",
  "push": "string", // 推流URL
  "pull": {
    "rtmp": "string",
    "flv": "string",
    "hls": "string"
  }
}

LiveRoomAdmins

直播间管理

{
  "_id": "ObjectId",
  "course": "ObjectId",
  "text_limit": "integer",  // 全局发言频率限制(秒)
  "rich_text": "boolean",  // 是否启用特殊消息（献花、鼓掌）
  "ban_list": [
    "integer"  // 被禁言的学生ID
  ]
}

统计相关Collections

LiveCourseAttendance

学生课程签到信息

{
  "_id": "ObjectId",
  "course": "ObjectId",
  "user": "integer", // 用户ID
  "sections": [
    "boolean"
  ]
}

LiveCourseCompletion

学生课时完成度信息

{
  "id": "ObjectId",
  "course": "ObjectId",
  "user": "integer",
  "progress": {
    "total": "integer",  // 总完成度
    "sections": [
      "integer"   // 小节完成度
    ],
    "chapters": [
      "integer"  // 章节完成度
    ]
  }
}

展开全文 >>

base64遇到的一些坑

2017-03-26

之前IOS同事告诉我，说二维码加密的字符串包含/等url敏感字符，需要改动这个BUG，我看了下之前写的代码，就是使用b64encode/b64decode进行编码／解码，方便对加密后的字符串进行HTTP的一些操作。我一想把它改成urlsafe的不就行了么，我这边本地写完然后测下没问题，但是到测试环境的时候发现二维码还是解不开，此处涉及到两个方面，1)对原来二维码的加解密，2)对新码的加解密。由于我做了适配，就是解码先用urlsafe_b64decode进行解码，如果遇到问题，还使用原来的方式，加密的话则使用新的方式。但是线上最终还是出问题了，唉，可恶的unicode编码问题。

展开全文 >>

git工具使用

2017-03-22

创建版本库

# mkdir learngit 
# cd learngit 
# git initt 
# touch readme.txt 
# git add readme.txt(每一个修改的文件都应该add) 
# git commit -m "wrote a readme file"

查看状态

1	# git status

查看日志

1
2
3

# git log 
简化操作 
# git log --pretty=oneline

查看修改内容

# git diff filename 
然后进行提交 
# git add readme.txt 
# git commit -m "add distributed"

版本回退

回退到上一个版本:

# git reset --hard HEAD^ 
 
回退到指定版本： 
# git reset --hard commit-id 
 
如果想撤销，可以找到上次提交的版本的commit ID号:bfcbdbc13d97fa0fa778cedc53ec6a22b29f2453 
 
# git reset --hard bfcbdbc13d97fa0fa778cedc53ec6a22b29f2453(输入前几位也行，必须保持唯一) 
 
如果看不到commit id,可以通过下面命令找到： 
# git reflog 
最前面的就是最新提交的commit id

工作区和暂存区

前面讲了我们把文件往Git版本库里添加的时候，是分两步执行的：
第一步是用git add把文件添加进去，实际上就是把文件修改添加到暂存区；
第二步是用git commit提交更改，实际上就是把暂存区的所有内容提交到当前分支。

撤销修改

(1)如果修改了还未add进暂存区，那么可以使用: 
# git checkout -- filename进行撤销到最先打开的状态。  
# git checkout -- readme.txt 
 
(2)如果add进暂存区，那么应该使用,将其重新放回工作区,然后在工作区中再进行回退: 
# git reset HEAD readme.txt 
# git checkout -- readme.txt 
 
(3)如果提交了不合适的修改到版本库时，可以使用版本回退功能，但是如果推送到远程库，那就悲哀了。

删除文件

# rm test.txt 
意味着当前工作区没有这个文件了，但是版本库中还是有这个文件的，这个时候工作区和版本库就不一致了，git status命令会立刻告诉你哪些文件被删除； 
如果想删除版本库中的这个文件，那么使用: 
# git rm test.txt 
# git commit -m 'remove test.txt' 
 
另外一种情况，就是误删除了test.txt，那么可以使用: 
# git checkout --readme.txt

远程仓库

在远程仓库中创建这个版本库，然后添加秘钥，然后推送上去: 
# git remote add orgin https://github.com/geasyheart/learngit.git 
添加后，远程库的名字就是origin，这是Git默认的叫法，也可以改成别的，但是origin这个名字一看就知道是远程库。 
# git push -u origin master 
由于远程库是空的，我们第一次推送master分支时，加上了-u参数，Git不但会把本地的master分支内容推送的远程新的master分支，还会把本地的master分支和远程的master分支关联起来，在以后的推送或者拉取时就可以简化命令。 
 
以后再进行提交时，就可以使用: 
# git push origin master 
 
 
一般情况下，可以先建远程库,然后git clone克隆一份即可； 
# git clone https://github.com/geasyheart/learngit.git

分支管理

创建dev分支，然后切换到dev分支: 
# git checkout -b dev 

git checkout命令加上-b参数表示创建并切换，相当于以下两条命令： 
    # git branch dev 
    # git checkout dev 

    使用一下命令进行查看当前分支: 
       # git branch     

    当dev分支的工作完成就可以切换回master分支: 
       # git add readme.txt 
       # git commit -m 'branch' 
       # git checkout master 

    然而这个时候master分支没有相应的修改，这个时候应该将dev分支的工作成果合并到master分支上: 
        # git merge dev 

    合并完成后，可以删除dev分支: 
    # git branch -d dev

解决冲突

    例如： 
        git checkout -b dev 
        修改文件readme.txt 
        git add readme.txt 
        git commit -m "dev submit" 
 
        git checkout master 
        修改文件readme.txt 
        git add readme.txt 
        git commit -m "conflict" 
 
        进行合并: 
        git merge dev 
        这个时候就会出现冲突，这个时候的解决方案就是手动修改，然后进行提交； 
 
 
        git add readme.txt 
        git commit -m "conflict fixed" 
    使用这个命令可以查看更为清楚： 
        git log --graph --pretty=oneline --abbrev-commit

分支管理策略

    git checkout -b dev 
    修改文件 
    git add readme.txt 
    git commit -m "add merge" 
    git checkout master 
 
    准备合并dev分支，但是注意--no-ff参数，表示禁用fast-forward: 
        git merge --no-ff -m "merge with no-ff" dev 
    因为本次合并要创建一个新的commit，所以加上-m参数，把commit描述写进去。     
 
    合并后，我们用git log看看分支历史： 
        $ git log --graph --pretty=oneline --abbrev-commit 
 
 
Bug分支: 
    如果这个时候正在一个分支上，工作还没完成，但是还必须要去处理Bug,这个时候git提供了一个stash功能，可以将现在的工作现场存储起来，等以后恢复后继续工作: 
    $git stash 
        Saved working directory and index state WIP on dev: 1062804 test1 
        HEAD is now at 1062804 test1 
 
    这个时候再用git status查看就是干净的。 
 
    首先确定要在哪个分支上修复bug，假定需要在master分支上修复，就从master创建临时分支： 
 
    $git checkout master 
    $git checkout -b issue-101 
    修改好后, 
    $git add readme.txt 
    $git commit -m "fix bug 101" 
 
    $git checkout master 
    $git merge --no-ff -m "merged bug fix 101" issue-101 
 
    $git branch -d issue-101 
 
    $git checkout dev 
    $git stash list 
    $git stash pop 
 
 
看到Bug分支这个位置

多人协作：
git clone git@github.com:geasyheart/learngit.git
要在dev分支上开发，就必须创建远程origin的dev分支到本地:
git checkout -b dev origin/dev
修改提交
git push origin dev

git branch –set-upstream dev origin/dev
git pull

标签管理

# git checkout master 
# git tag v1.0 
使用git tag查看所有标签 
 
对相应的commit id进行打标签，那么: 
# git log --pretty=oneline --abbrev-commit 
# git tag v0.9 4434343 
再进行查看： 
# git tag 
# git show <git-tag>

操作标签

1	# git tag -d v0.1 删除tag v0.1

忽略特殊文件：

在Git工作区的根目录下创建一个特殊的.gitignore文件，然后把要忽略的文件名填进去，Git就会自动忽略这些文件。

不需要从头写.gitignore文件，GitHub已经为我们准备了各种配置文件，只需要组合一下就可以使用了。所有配置文件可以直接在线浏览：https://github.com/github/gitignore

忽略文件的原则是：
忽略操作系统自动生成的文件，比如缩略图等；
忽略编译生成的中间文件、可执行文件等，也就是如果一个文件是通过另一个文件自动生成的，那自动生成的文件就没必要放进版本库，比如Java编译产生的.class文件；
忽略你自己的带有敏感信息的配置文件，比如存放口令的配置文件。
例如一个简单的.gitignore文件:

Windows:Thumbs.db
ehthumbs.dbDesktop.ini
Python:*.py[cod]
*.so
*.egg
*.egg-info
dist
build# My configurations:db.ini
deploy_key_rsa
git add -f filename可以强制添加文件
git check-ignore支持检查功能

git支持很多种工作流程，我们采用的一般是这样，远程创建一个主分支，本地每人创建功能分支，日常工作流程如下：
去自己的工作分支

$ git checkout work 
 
工作 
.... 
 
提交工作分支的修改 
$ git commit -a 
 
回到主分支 
$ git checkout master 
 
获取远程最新的修改，此时不会产生冲突 
$ git pull 
 
回到工作分支 
$ git checkout work 
 
用rebase合并主干的修改，如果有冲突在此时解决 
$ git rebase master 
 
回到主分支 
$ git checkout master 
 
合并工作分支的修改，此时不会产生冲突。 
$ git merge work 
 
提交到远程主干 
$ git push

展开全文 >>

tengine+tomcat+postgresql+redis安装

2016-08-24

Tengine安装

[root@localhost tengine-2.1.2]# tar xf tengine-2.1.2.tar.gz
[root@localhost tengine-2.1.2]# useradd -s /bin/false -r tengine

关于tengine，是阿里根据Nginx再次修改的，关于源码编译的核心之处在于按需编译，之前文档也有写到，所以这里只指定安装路径等基础信息，其他将不指定;

[root@localhost tengine-2.1.2]# yum -y install openssl-devel pcre-devel
[root@localhost tengine-2.1.2]# ./configure –prefix=/usr/local/tengine –user=tengine –group=tengine
[root@localhost tengine-2.1.2]# make && make install

设置成开机自启:

[root@localhost sbin]# vim /usr/lib/systemd/system/tengined.service

[Unit] 
Description=The Tengine Http Server 
After=syslog.target network.target remote-fs.target nss-lookup.target 
 
[Service] 
Type=forking 
PIDFile=/usr/local/tengine/logs/nginx.pid 
ExecStartPre=/usr/bin/rm -f /usr/local/tengine/logs/nginx.pid 
ExecStartPre=/usr/local/tengine/sbin/nginx -t 
ExecStart=/usr/local/tengine/sbin/nginx 
ExecReload=/bin/kill -s HUP $MAINPID 
ExecStop=/bin/kill -s QUIT $MAINPID 
KillMode=process 
KillSignal=SIGQUIT 
TimeoutStopSec=5 
PrivateTmp=true 
 
[Install] 
WantedBy=multi-user.target

[root@localhost sbin]# systemctl enable tengined.service

关于tomcat不做叙述，以前文章中有…
http://geasyheart.blog.163.com/blog/static/242548036201593094744315

redis安装

[root@localhost ~]# wget -c http://download.redis.io/releases/redis-3.2.0.tar.gz
[root@localhost ~]# tar xf redis-3.2.0.tar.gz -C /usr/local
[root@localhost redis-3.2.0]# yum -y install tcl
[root@localhost redis-3.2.0]# make && make test && make install

启动脚本:

[Unit] 
Description=Redis persistent key-value database 
After=network.target 
 
[Service] 
ExecStart=redis-server /data/apps/redis-3.2.0/redis.conf --daemonize no 
ExecStop=redis-cli -h 192.168.0.3 -p 9999  -a pwd shutdown 
User=root 
Group=redis 
 
[Install] 
WantedBy=multi-user.target

安装postgresql

[root@localhost ~]# wget -c https://download.postgresql.org/pub/repos/yum/9.5/redhat/rhel-7-x86_64/pgdg-centos95-9.5-2.noarch.rpm
[root@localhost ~]# rpm -ivh pgdg-centos95-9.5-2.noarch.rpm
[root@localhost ~]# yum -y install postgresql95-server postgresql95-contrib
[root@localhost ~]# systemctl enable postgresql-9.5.service

初始化数据库

[root@localhost ~]# /usr/pgsql-9.5/bin/postgresql95-setup initdb
[root@localhost ~]# systemctl start postgresql-9.5.service
配置文件位置

[root@localhost ~]# vim /var/lib/pgsql/9.5/data/pg_hba.conf
配置密码

[root@localhost ~]# su postgres
[root@localhost ~]# psql -U postgres
postgres=# alter user postgres with password ‘your_password’;

防火墙

[root@localhost ~]# vim /usr/lib/firewalld/services/postgres95.xml

<?xml version="1.0" encoding="utf-8"?> 
<service> 
        <short>Postgres 9.5 Database service</short> 
        <description>Postgres</description> 
        <portprotocol="tcp"port="5432"/> 
</service>

[root@localhost ~]# firewall-cmd –permanent –add-service=postgres95
如果不成功:
[root@localhost ~]# firewall-cmd –permanent –add-port=5432/tcp
[root@localhost ~]# firewall-cmd –permanent –reload

当然，也可以关闭防火墙。

[错误]
PID file /your_path/nginx.pid not readable (yet?) after start.
这个就是你启动脚本和配置文件的pid不一致导致的

展开全文 >>

33_01_2_MySQL数据类型

2016-03-04

说明：没有特殊说明的话，
Mariadb的版本为:

MariaDB [mydb]> select version();

+------------------------------+ 
| version()                    | 
+------------------------------+ 
| 10.1.11-MariaDB-1~trusty-log | 
+------------------------------+

MySQL的版本:

mysql> select version();

+------------+ 
| version()  | 
+------------+ 
| 5.6.29-log | 
+------------+

数据类型:
ISO SQL:2003 standard

CHAR(N): 0 to 255
VARCHAR(N): 0 to 65535

char(N)一旦分配，就固定了;

char(4)超过后怎么处理?
sql_mode

MariaDB [mydb]> SHOW VARIABLES LIKE 'sql_mode'; 
+---------------+--------------------------------------------+ 
| Variable_name | Value                                      | 
+---------------+--------------------------------------------+ 
| sql_mode      | NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION | 
+---------------+--------------------------------------------+ 
 
MariaDB [mydb]> CREATE TABLE t1( col1 char(3), col2 varchar(3)); 
MariaDB [mydb]> insert into t1(col1,col2)values('abcd','abcd'); 
MariaDB [mydb]> show warnings; 
+---------+------+-------------------------------------------+ 
| Level   | Code | Message                                   | 
+---------+------+-------------------------------------------+ 
| Warning | 1265 | Data truncated for column 'col1' at row 1 | 
| Warning | 1265 | Data truncated for column 'col2' at row 1 | 
+---------+------+-------------------------------------------+ 
 
 
 
mysql> SELECT @@sql_mode; 
+--------------------------------------------+ 
| @@sql_mode                                 | 
+--------------------------------------------+ 
| STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION | 
+--------------------------------------------+ 
mysql> insert into t1(col1,col2)values('abcd','abcd'); 
ERROR 1406 (22001): Data too long for column 'col1' at row 1 
直接无法插入; 
 
 
varchar(N)：N+1个字节 
 
MariaDB [mydb]> create table t1( col1 varchar(65500)); 
MariaDB [mydb]> desc t1; 
+-------+------------+------+-----+---------+-------+ 
| Field | Type       | Null | Key | Default | Extra | 
+-------+------------+------+-----+---------+-------+ 
| col1  | mediumtext | YES  |     | NULL    |       | 
+-------+------------+------+-----+---------+-------+ 
MariaDB会将其自动转换为mediumtext类型;

对于MySQL来说：
ERROR 1074 (42000): Column length too big for column ‘col1’ (max = 21845); use BLOB or TEXT instead

binary类型:
binary –>和char相似，不过区别一个是以二进制的方式进行存储
varbinary –>varchar，这个和varchar相似;

MariaDB [test]> CREATE TABLE t1( col1 binary(4)); 
MariaDB [test]> INSERT INTO t1 VALUES('a'); 
MariaDB [test]> SELECT col1='a\0\0\0' FROM t1; 
+----------------+ 
| col1='a\0\0\0' | 
+----------------+ 
|              1 | 
+----------------+ 
 
SELECT col1='a\0\0\0' 表示由于binary是定长，那么需要在后面补0补成定义的长度，如果相等，那么则返回1,如果不等，则返回0; 
 
mysql> CREATE TABLE t1_bin( col1 binary(5)); 
mysql> select col1='a\0\0\0\0' from t1_bin; 
+------------------+ 
| col1='a\0\0\0\0' | 
+------------------+ 
|                1 | 
+------------------+

BLOB类型和TEXT类型:

TINYBLOB
BLOB
MEDIUMBLOB
LONGBLOB

TINYTEXT
TEXT
MEDIUMTEXT
LONGTEXT

ENUM类型:
在MariaDB中是非严格类型：

1
2
3

MariaDB [test]> create table enum_a( col1 enum('a','b','c')); 
MariaDB [test]> insert into enum_a values('d'); 
MariaDB [test]> select * from enum_a;

会显示为空，以及有警告;
而在MySQL中则会直接报错，无法进行插入;

MariaDB [test]> insert into enum_a values('c'); 
MariaDB [test]> select col1+0 from enum_a; 
+--------+ 
| col1+0 | 
+--------+ 
|      0 | 
|      3 | 
+--------+ 
 
列+0表示他在enum中的那个位置; 
 
SET类型：最大64个； 
MariaDB [test]> CREATE TABLE set_t(col1 set('F','M','U')); 
MariaDB [test]> INSERT INTO set_t VALUES('F'); 
MariaDB [test]> INSERT INTO set_t VALUES('F,U'); 
MariaDB [test]> select * from set_t; 
+------+ 
| col1 | 
+------+ 
| F    | 
| F,U  | 
+------+

SET和ENUM类型的区别在于SET可以插入多个指定的值，而ENUM不能;

日期时间类型:

DATETIME: 8个字节 ‘1000-01-01 00:00:00’ to ‘9999-12-31 23-59:59’
DATE：3个字节 ‘1000-01-01’ to ‘9999-12-31’
TIME：3个字节 ‘-838:59:59’ to ‘838:89:89’
TIMESTAMP ‘1970-01-01 00:00:00’ to mid-year 2037
YEAR： 1901 to 2155(for YEAR(4)) 1970 to 2069 (for YEAR(2))

TIMESTAMP主要应用于自动更新地方;

例如记录最后登录时间:

MariaDB [mydb]> create table time_t1 ( 
    -> id smallint, 
    -> col timestamp default current_timestamp 
    -> on update current_timestamp); 
 
MariaDB [mydb]> insert into time_t1(id,col)values(100,Now()); 
MariaDB [mydb]> select * from time_t1; 
+------+---------------------+ 
| id   | col                 | 
+------+---------------------+ 
|  100 | 2016-02-21 17:35:58 | 
+------+---------------------+ 
MariaDB [mydb]> update  time_t1 set id=101 where id=100; 
MariaDB [mydb]> select * from time_t1; 
+------+---------------------+ 
| id   | col                 | 
+------+---------------------+ 
|  101 | 2016-02-21 17:36:36 | 
+------+---------------------+

会发现这个时间发生了改变；;

use test; 
 
#时间 
drop table if exists date_t1; 
create table date_t1 ( date_type datetime); 
 
insert into date_t1 values (Now()); 
insert into date_t1 values (current_timestamp()); 
 
#日期 
drop table if exists date_t2; 
create table date_t2 (date_type date); 
insert into date_t2 values (current_date()); 
 
#当前时间 
drop table if exists date_t3; 
create table date_t3 (date_type time); 
insert into date_t3 values (current_time()); 
insert into date_t3 values (current_timestamp()); 
 
select * from date_t1; 
select * from date_t2; 
select * from date_t3;

载入系统时区至mysql timezone中:

x180@x450vc:~$ mysql_tzinfo_to_sql /usr/share/zoneinfo/ | mysql -uroot -p mysql

会发现mysql.time_zone和mysql.time_zone_name会有内容了;

create table tz_t1( 
    login_d timestamp default current_timestamp 
); 
 
show variables like 'time_zone'; 
insert into tz_t1 values(Now()); 
set time_zone='America/Los_Angeles'; 
insert into tz_t1 values(Now());

关于concat的基本使用:
在col1列的所有字段增加一个-号，col2增加一个+号:

SELECT CONCAT(col1,'-'),CONCAT(col2,'+') FROM tb1; 
 
MariaDB [mydb]> select concat(Site,'-'),concat(User,'+') FROM passwd; 
+------------------+------------------+ 
| concat(Site,'-') | concat(User,'+') | 
+------------------+------------------+ 
| QQ-              | 1103639070+      | 
| steam-           | Dragon+          | 
| steam-           | M_x180+          | 
+------------------+------------------+

问题一

关于全文索引的问题
MariaDB和MySQL的InnoDB存储引擎都支持全文索引，但是有条件：

+----+-----------------------------------------+ 
| id | body                                    | 
+----+-----------------------------------------+ 
|  1 | afadfdaghkk                             | 
|  2 | i am a good body                        | 
|  3 | i am a bad body                         | 
|  4 | wo cao,shen me qingkuang                | 
|  5 | wocao,shen me qingkuang                 | 
|  6 | 卧槽，什么情况                          | 
|  7 | 卧槽，什么情况啊                        | 
|  8 | 卧槽额，什么情况啊                      | 
|  9 | 卧槽，什么情况啊，这个                  | 
| 10 | 卧槽 什么情况啊 这个                    | 
| 11 | 卧槽额额，什么情况啊，这个              | 
+----+-----------------------------------------+ 
MariaDB [test]> select * from art where match(body) against('卧槽额'); 
+----+-----------------------------+ 
| id | body                        | 
+----+-----------------------------+ 
|  8 | 卧槽额，什么情况啊          | 
+----+-----------------------------+ 
MariaDB [test]> select * from art where match(body) against('卧槽额额'); 
+----+-----------------------------------------+ 
| id | body                                    | 
+----+-----------------------------------------+ 
| 11 | 卧槽额额，什么情况啊，这个              | 
+----+-----------------------------------------+ 
MariaDB [test]> select * from art where match(body) against('什么情况'); 
+----+-----------------------+ 
| id | body                  | 
+----+-----------------------+ 
|  6 | 卧槽，什么情况        | 
+----+-----------------------+ 
MariaDB [test]> select * from art where match(body) against('什么情况啊'); 
+----+-----------------------------------------+ 
| id | body                                    | 
+----+-----------------------------------------+ 
|  7 | 卧槽，什么情况啊                        | 
|  8 | 卧槽额，什么情况啊                      | 
|  9 | 卧槽，什么情况啊，这个                  | 
| 10 | 卧槽 什么情况啊 这个                    | 
| 11 | 卧槽额额，什么情况啊，这个              | 
+----+-----------------------------------------+

(1)在插入数据的时候，如:iam 和 i am,是两个不同的存储，在匹配的时候，是以空格作为分割符进行匹配，如果想搜索am，只会出来 i am，而不会出来iam;
(2)支持中文全文索引，但是支持力度不好:
如上：必须对中文进行精确查询，而且中文个数最好在3个以上；
而且前提是必须有分隔符，没有分隔符将不会查出来；

对于innodb 全文索引来讲，感觉不是那么的明显，另外在mysql 5.6版本，增加了Online DDL,可以在线DDL,这个对于
DBA来讲非常的好，但是目前对于Online DDL不是太了解，另外在并发量比较大的时候，增加fulltext是不允许写的，所以
建议在访问量小的时候进行修改；

另外在alter table add fulltext的时候有一个警告:
17:19:16 alter table full_t1 add fulltext(content) 0 row(s) affected, 1 warning(s): 124 InnoDB rebuilding table to add column FTS_DOC_ID Records: 0 Duplicates: 0 Warnings: 1 0.125 sec

我在网上看到可以：

1
2
3

drop table if exists full_t1; 
create table full_t1 (FTS_DOC_ID int primary key auto_increment not null,content text)engine=innodb; 
alter table  full_t1 add fulltext(content);

但是这样不行，总之，对于Online DDL来讲，一定要在并发量小的情况下进行修改；

关于concat的问题
关于blob和text的问题
TEXT与BLOB的主要差别就是BLOB保存二进制数据，TEXT保存字符数据
关于timezone修改时区的问题

展开全文 >>

51-02-2-CentOS6.7-KVM设置成桥接

2016-02-27


yum -y install qemu-kvm virt-manager libvirt 
service libvirtd start 
 
chkconfig --list NetworkManager #一定要启动，默认已经启动，验证一下 
chkconfig network on 
service network start 
chkconfig --list network #一定要启动，默认没有启动，验证一下 
 
 
cd /etc/sysconfig/network-scripts 
cp ifcfg-eth0 ifcfg-br0

[x180@localhost network-scripts]$ cat ifcfg-eth0 
DEVICE=eth0 
BOOTPROTO=none 
TYPE=Ethernet 
ONBOOT=yes 
BRIDGE=br0 
USERCTL=no 
IPV6INIT=no 
IPADDR=192.168.0.103 
NETMASK=255.255.255.0 
GATEWAY=192.168.0.1

[x180@localhost network-scripts]$ cat ifcfg-br0 
DEVICE=br0 
BOOTPROTO=static 
TYPE=Bridge 
ONBOOT=yes 
IPADDR=192.168.0.103 
NETMASK=255.255.255.0 
GATEWAY=192.168.0.1 
USERCTL=no 
PEERDNS=yes 
IPV6INIT=no

1	service network restart

对于KVM中的虚拟主机，默认是不能ping通外网的，需要配置网卡，例如:

[root@localhost ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0 
DEVICE=eth0 
BOOTPROTO=none 
NETMASK=255.255.255.0 
TYPE=Ethernet 
HWADDR=52:54:00:eb:f2:e3 
IPADDR=192.168.0.104 
GATEWAY=192.168.0.1 
IPV6INIT=no 
ONBOOT=yes 
USERCTL=no 
DNS1=223.5.5.5

ping www.taobao.com进行验证；

如何让虚拟机跟随宿主主机开机自启动：
Boot Options –> start virtual machine on host boot up

然后通过vnc这个工具进行远程管理，目前我的方案就是这样；

可能出现的问题：

1 2	chkconfig NetworkManager off service NetworkManager stop

如果执行了上面两步，网卡不会启动br0 和 eth0 ，貌似centos6.7开始剥离network这个管理工具，默认没有开机自启动，而是NetworkManager，如果宿主主机重启后，也是会不启动这两个设备，因为配置文件这种方式只对network有用，所以完整的步骤是加上:

1 2	chkconfig network on service network start

即可；

参考文档：
http://www.360doc.com/content/12/0507/14/9318309_209243400.shtml

展开全文 >>

55_03_2_实验:Nagios的配置及邮件报警

2016-02-05

监控端：192.168.122.115
被监控端：192.168.122.102

被监控端安装的软件包

# yum -y install nrpe nagios-plugins-all nagios-plugins


# egrep -v "^$|#" /etc/nagios/nrpe.cfg 

log_facility=daemon
pid_file=/var/run/nrpe/nrpe.pid
server_port=5666
nrpe_user=nrpe
nrpe_group=nrpe
allowed_hosts=192.168.122.115
 
dont_blame_nrpe=0
allow_bash_command_substitution=0
debug=0
command_timeout=60
connection_timeout=300
command[check_users]=/usr/lib64/nagios/plugins/check_users -w 5 -c 10
command[check_load]=/usr/lib64/nagios/plugins/check_load -w 15,10,5 -c 30,25,20
command[check_vda]=/usr/lib64/nagios/plugins/check_disk -w 20% -c 10% -p /dev/vda
command[check_zombie_procs]=/usr/lib64/nagios/plugins/check_procs -w 5 -c 10 -s Z
command[check_total_procs]=/usr/lib64/nagios/plugins/check_procs -w 150 -c 200 
command[check_mysql_alive]=/usr/lib64/nagios/plugins/check_mysql -H localhost -uroot -peasyheart -P3306 
include_dir=/etc/nrpe.d/

# chkconfig nrpe on && service nrpe start

监控端

安装依赖包

# yum -y install epel-release httpd gcc glibc glibc-common gd gd-devel php mysql mysql-server php-mysql mysql-devel php-snmp php-xml php-gd 
# yum -y install nagios
# yum -y install nagios-plugins nagios-plugins-all nagios-plugins-mysql
# yum -y install nagios-plugins-nrpe  #用来以nrpe的方式进行监控，也就是在/usr/lib64/nagios/plugins/增加了check_nrpe命令;
# chkconfig nagios on
# chkconfig --list nagios
# cp /etc/nagios/passwd /etc/nagios/passwd.bak
# htpasswd -c /etc/nagios/passwd nagiosadmin
# service nagios start
# service httpd reload

这个时候可以登录web查看localhost可以正常运行了;

执行如下命令，确保可以正常执行

1 2	# /usr/lib64/nagios/plugins/check_nrpe -H 192.168.122.102 NRPE v2.15

添加commands

# vim /etc/nagios/objects/commands.cfg　　　　　　//添加
define command{
        command_name check_nrpe
        command_line $USER1$/check_nrpe -H $HOSTADDRESS$ -c $ARG1$
}

node1

# cp /etc/nagios/objects/localhost.cfg /etc/nagios/objects/node1.cfg //关于命名，最好对应不同的hostname
# egrep -v "^$|#" /etc/nagios/objects/node1.cfg 
define host{
        use                     linux-server            ; Name of host template to use
                    ; This host definition will inherit all variables that are defined
                    ; in (or inherited by) the linux-server host template definition.
        host_name               node1
        alias                   My Linux Host
        address                 192.168.122.102
        }
define service{
        use                             generic-service         ; Name of service template to use
        host_name                       node1
        service_description             users
    check_command            check_nrpe!check_users
        }
define service{
        use                             generic-service         ; Name of service template to use
        host_name                       node1
        service_description             vda
    check_command            check_nrpe!check_vda
        }
define service{
        use                             generic-service         ; Name of service template to use
        host_name                       node1
        service_description             zombie_proc
    check_command            check_nrpe!check_zombie_procs
        }
define service{
        use                             generic-service         ; Name of service template to use
        host_name                       node1
        service_description             Total Processes
    check_command            check_nrpe!check_total_procs
        }
define service{
        use                             generic-service
        host_name                       node1
        service_description             MySQL Server
        check_command                   check_nrpe!check_mysql_alive
}

启动这个配置文件

# vim /etc/nagios/nagios.cfg
cfg_file=/etc/nagios/objects/node1.cfg

# service nagios restart

有多少主机就这样定义即可；

关于收取邮件需要注意的地方

hostname这个地方，另外就是上面提及到的自定义的host_name,一定要和主机的hostname一致;
配置监控机邮件服务：

# vim /etc/nagios/objects/contacts.cfg

注意：由于本地没有nagiosadmin用户，所以是没有办法发送邮件的，这个时候：
# useradd -r -s /sbin/nologin nagiosadmin

email那最好对应163邮箱;

# iptables -F
# service postfix restart
即可；

补充

-w 表示warning阀值
-c 表示critical阀值
应该根据实际定义这个值

展开全文 >>