11/25の授業：Processing（Webカメラをつかった動体検知）

次回11/25の授業は引き続きWebカメラを用いて、動体検知の実験をします。

時間があれば、カメラをセンサーにして、接続されたArduinoと連動させたいと思います。

必要なもの：

・ノートパソコン

・Webカメラ（ノートパソコン内蔵型も可）

・Arduinoボード類


サンプル１（Processing）：カメラがとらえた画面中で動くもの（画面に変化がある部分）を察知して、その動いている部分の平均座標値を求めて、その位置に円を描くサンプル。変数toleranceは、色の許容値なので、上げればより鈍く、下げればより敏感に反応します。

import processing.video.*;
Capture video;

int w=320;
int h=240;
color[] exColor=new color[w*h];
float x,y;
int sumX,sumY;
int pixelNum;
boolean movement=false;
int tolerance=40;

void setup(){
  size(320, 240); 
  video = new Capture(this, w, h);
  video.start();
  noStroke();
}

void draw() {
  if(video.available()){
    background(0);
    video.read();
    set(0,0,video);
    loadPixels();

    movement=false;
    for(int i=0;i<w*h;i++){     
      float difRed=abs(red(exColor[i])-red(video.pixels[i]));
      float difGreen=abs(green(exColor[i])-green(video.pixels[i]));
      float difBlue=abs(blue(exColor[i])-blue(video.pixels[i]));
     
      if(difRed>tolerance && difGreen>tolerance && difBlue>tolerance){
        movement=true;
        pixels[i]=color(0,255,0);
        sumX+=i%w;
        sumY+=i/w;
        pixelNum++;
      }
     
      exColor[i]=video.pixels[i];
    }
    updatePixels();
    if(movement==true){
      x=sumX/pixelNum;
      y=sumY/pixelNum;     
      sumX=0;
      sumY=0;
      pixelNum=0;
    }
  }
 
 
  fill(255,0,0);
  ellipse(x,y,20,20);
  fill(0,40,255);
}


サンプル２（Arduino）：
動きを検知したProcessingのプログラムに対して、シリアル通信でArduinoと連結し、サーボモータを動かすサンプル。Processing上の動くオブジェクトのX座標（横の動き）に対して、サーボモータの首振りの角度が対応しています。

#include <Servo.h>
Servo myServo;

void setup(){
  Serial.begin(9600);
  myServo.attach(9);
 
}

void loop(){
  if(Serial.available()>0){
    int val=Serial.read();
    int x=map(val,0,255,0, 179);
    myServo.write(x);
  }
 
  delay(15); 
}


サンプル２（Processing）：上記サーボモータをつないだArduinoに対するProcessing側のサンプルです。Processindgサンプル１の内容に変数float x2,y2を加えてlerp()をつかうことで、円の動きをやや滑らかにする計算をさせています。

import processing.video.*;
Capture video;
import processing.serial.*;
Serial myPort;

int w=320;
int h=240;
color[] exColor=new color[w*h];
float x,y;
float x2,y2;
int sumX,sumY;
int pixelNum;
boolean movement=false;
int tolerance=40;


void setup(){
  size(w, h); 
  video = new Capture(this, w, h);
  video.start();
  noStroke();
  myPort=new Serial(this,"/dev/tty.usbserial-A9005baQ",9600);
  //上記"/dev/tty.usbserial-A9005baQ"の部分には各自のシリアルポートをいれてください
}

void draw() {
  if(video.available()){
    background(0);
    video.read();
    set(0,0,video);
    loadPixels();

    movement=false;
    for(int i=0;i<w*h;i++){     
      float difRed=abs(red(exColor[i])-red(video.pixels[i]));
      float difGreen=abs(green(exColor[i])-green(video.pixels[i]));
      float difBlue=abs(blue(exColor[i])-blue(video.pixels[i]));
     
      if(difRed>tolerance && difGreen>tolerance && difBlue>tolerance){
        movement=true;
        pixels[i]=color(0,255,0);
        sumX+=i%w;
        sumY+=i/w;
        pixelNum++;
      }
     
      exColor[i]=video.pixels[i];
    }
    updatePixels();
    if(movement==true){
      x=sumX/pixelNum;
      y=sumY/pixelNum;     
      sumX=0;
      sumY=0;
      pixelNum=0;
    }
  }
 
 
  fill(255,0,0);
  //ellipse(x,y,20,20);
  //myPort.write(int(map(x,0,width,0,255)));
 
  x2=lerp(x,x2,0.9);
  y2=lerp(y,y2,0.9);
  ellipse(x2,y2,20,20); 
  myPort.write(int(map(x2,0,width,0,255)));
 
  fill(0,40,255);
}

11/11の授業：Processing（Webカメラをつかった色認識）

次回は、Webカメラ（Processing）を用いて、色認識のプログラムの実験をします。

必要なもの：
・ノートパソコン （Processingをインストール済み）
・Webカメラ（ノートパソコン内蔵型も可）

なお、前回のマトリクスLED演習で未消化の部分があれば随時補習します。

サンプル１：
部屋を暗くして、懐中電灯の点光源を動かした軌跡を画面に描きます。画面クリックで背景を黒にリセットします。

import processing.video.*;

Capture video;
int w=640;
int h=480;

void setup() {
  size(w, h);
  video = new Capture(this, w, h);
  video.start();
  background(0);
}

void draw() {
  if(video.available()){
    video.read();
  }
 
  loadPixels();
 
  for(int i=0;i<w*h;i++){
    if(brightness(video.pixels[i])>=250){
      pixels[i]=color(255,0,0);
    }
  }
 
  updatePixels();
}

void mousePressed(){
  background(0);
}


サンプル２：
目立つ色のボールなどを用意して、画面上でそのボールをクリックして、いったん対象となる色を覚えさせます（画面左上に色表示）。そのボールを動かせば、画面上の円が追跡します。矢印キーの左右をつかって、色の許容範囲を設定できます（画面左上の数値：初期値２０）。数値を大きくすれば、近似色の範囲が大きくなります。

import processing.video.*;
Capture video;
int w=320;
int h=240;

int tolerance=20;

PFont font;
color targetColor=color(255,0,0);

boolean videoImage=true;

void setup(){
  size(w, h);
  smooth();

  video = new Capture(this, w, h);
  video.start();
  font=createFont("Monaco",10);
  textFont(font);
  noStroke();
}

float x;
float y;
int sumX,sumY;
int pixelNum;

boolean detection=false;

void draw() {
  if(video.available()){
    video.read();
    if(videoImage){
      image(video, 0, 0);
    }else{
      background(0);
    }

    detection=false;
   
    for(int i=0;i<w*h;i++){

      float difRed=abs(red(targetColor)-red(video.pixels[i]));
      float difGreen=abs(green(targetColor)-green(video.pixels[i]));
      float difBlue=abs(blue(targetColor)-blue(video.pixels[i]));
      if(difRed<tolerance && difGreen<tolerance && difBlue<tolerance){
        sumX+=(i%w);
        sumY+=(i/w);
        pixelNum++;
        detection=true;
      }
    }
   
    if(detection){
      x=sumX/pixelNum;
      y=sumY/pixelNum;
      sumX=0;
      sumY=0;
      pixelNum=0;
    }
  }

  fill(255,0,0);
  ellipse(x,y,20,20);
  fill(targetColor);
  rect(0,0,10,10);
  text(tolerance,20,10);
  String s;
  if(detection){
    s="detect";
  }else{
    s="none";
  }
  text(s,40,10);
}

void keyPressed(){
  if(key=='v'){
    if(videoImage){
      videoImage=false;
    }else{
      videoImage=true;
    }
  }
  if(key==CODED){
    if(keyCode==LEFT){
      tolerance-=1;
    }
    if(keyCode==RIGHT){
      tolerance+=1;
    }
  }
}