设为首页收藏本站
开启辅助访问 切换到宽版

 找回密码
 立即注册

QQ登录

只需一步，快速开始

热门： 51单片机 | 24小时必答区 | 单片机教程 | 单片机DIY制作 | STM32 | Cortex M3 | 模数电子 | 电子DIY制作 | 音响/功放 | 拆机乐园 | Arduino | 嵌入式OS | 程序设计

搜索
»论坛 › 电子技术分类讨论区 › 程序设计/上位机 › Python人脸识别+表情识别程序
返回列表 发新帖
查看: 3818|回复: 2
打印 上一主题 下一主题
收起左侧

Python人脸识别+表情识别程序

[复制链接]
跳转到指定楼层
楼主
ID:724206 发表于 2020-12-20 22:36 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式
本人参加比赛时用的人脸识别程序，功能包括人脸识别以及表情识别，表情识别可识别正常、开心、惊讶。能力有限，程序在检测到人脸时刷新率不是很高，摄像头画面有点卡，但在摄像头前没有人脸时画面还是很流畅的，这是由于人脸识别算法和表情识别需要花费太多的时间。

程序太大，无法上传，我就直接贴出来了。

get_face_from_camera.py/从摄像头获取人脸
  1. # 进行人脸录入 / Face register

  3. import dlib
  4. import numpy as np
  5. import cv2
  6. import os
  7. import shutil
  8. import time

  10. # Dlib 正向人脸检测器 / Use frontal face detector of Dlib
  11. detector = dlib.get_frontal_face_detector()


  14. class Face_Register:
  15.     def __init__(self):
  16.         self.path_photos_from_camera = "data/data_faces_from_camera_my/"
  17.         self.font = cv2.FONT_ITALIC

  19.         self.existing_faces_cnt = 0         # 已录入的人脸计数器 / cnt for counting saved faces
  20.         self.ss_cnt = 0                     # 录入 personX 人脸时图片计数器 / cnt for screen shots
  21.         self.current_frame_faces_cnt = 0    # 录入人脸计数器 / cnt for counting faces in current frame

  23.         self.save_flag = 1                  # 之后用来控制是否保存图像的 flag / The flag to control if save
  24.         self.press_n_flag = 0               # 之后用来检查是否先按 'n' 再按 's' / The flag to check if press 'n' before 's'

  26.         # FPS
  27.         self.frame_time = 0
  28.         self.frame_start_time = 0
  29.         self.fps = 0

  31.     # 新建保存人脸图像文件和数据CSV文件夹 / Make dir for saving photos and csv
  32.     def pre_work_mkdir(self):
  33.         # 新建文件夹 / Create folders to save faces images and csv
  34.         if os.path.isdir(self.path_photos_from_camera):
  35.             pass
  36.         else:
  37.             os.mkdir(self.path_photos_from_camera)

  39.     # 删除之前存的人脸数据文件夹 / Delete the old data of faces
  40.     def pre_work_del_old_face_folders(self):
  41.         # 删除之前存的人脸数据文件夹, 删除 "/data_faces_from_camera/person_x/"...
  42.         folders_rd = os.listdir(self.path_photos_from_camera)
  43.         for i in range(len(folders_rd)):
  44.             shutil.rmtree(self.path_photos_from_camera+folders_rd[i])
  45.         if os.path.isfile("data/features_all.csv"):
  46.             os.remove("data/features_all.csv")

  48.     # 如果有之前录入的人脸, 在之前 person_x 的序号按照 person_x+1 开始录入 / Start from person_x+1
  49.     def check_existing_faces_cnt(self):
  50.         if os.listdir("data/data_faces_from_camera_my/"):
  51.             # 获取已录入的最后一个人脸序号 / Get the order of latest person
  52.             person_list = os.listdir("data/data_faces_from_camera_my/")
  53.             person_num_list = []
  54.             for person in person_list:
  55.                 person_num_list.append(int(person.split('_')[-1]))
  56.             self.existing_faces_cnt = max(person_num_list)

  58.         # 如果第一次存储或者没有之前录入的人脸, 按照 person_1 开始录入 / Start from person_1
  59.         else:
  60.             self.existing_faces_cnt = 0

  62.     # 获取处理之后 stream 的帧数 / Update FPS of video stream
  63.     def update_fps(self):
  64.         now = time.time()
  65.         self.frame_time = now - self.frame_start_time
  66.         self.fps = 1.0 / self.frame_time
  67.         self.frame_start_time = now

  69.     # 生成的 cv2 window 上面添加说明文字 / PutText on cv2 window
  70.     def draw_note(self, img_rd):
  71.         # 添加说明 / Add some notes
  72.         cv2.putText(img_rd, "Face Register", (20, 40), self.font, 1, (255, 255, 255), 1, cv2.LINE_AA)
  73.         cv2.putText(img_rd, "FPS:   " + str(self.fps.__round__(2)), (20, 100), self.font, 0.8, (0, 255, 0), 1,
  74.                     cv2.LINE_AA)
  75.         cv2.putText(img_rd, "Faces: " + str(self.current_frame_faces_cnt), (20, 140), self.font, 0.8, (0, 255, 0), 1, cv2.LINE_AA)
  76.         cv2.putText(img_rd, "N: Create face folder", (20, 350), self.font, 0.8, (255, 255, 255), 1, cv2.LINE_AA)
  77.         cv2.putText(img_rd, "S: Save current face", (20, 400), self.font, 0.8, (255, 255, 255), 1, cv2.LINE_AA)
  78.         cv2.putText(img_rd, "Q: Quit", (20, 450), self.font, 0.8, (255, 255, 255), 1, cv2.LINE_AA)

  80.     # 获取人脸 / Main process of face detection and saving
  81.     def process(self, stream):
  82.         # 1. 新建储存人脸图像文件目录 / Create folders to save photos
  83.         global current_face_dir
  84.         self.pre_work_mkdir()

  86.         # 2. 删除 "/data/data_faces_from_camera" 中已有人脸图像文件 / Uncomment if want to delete the saved faces and start from person_1
  87.         if os.path.isdir(self.path_photos_from_camera):
  88.             self.pre_work_del_old_face_folders()

  90.         # 3. 检查 "/data/data_faces_from_camera" 中已有人脸文件
  91.         self.check_existing_faces_cnt()

  93.         while stream.isOpened():
  94.             flag, img_rd = stream.read()        # Get camera video stream
  95.             kk = cv2.waitKey(1)
  96.             faces = detector(img_rd, 0)         # Use Dlib face detector

  98.             # 4. 按下 'n' 新建存储人脸的文件夹 / Press 'n' to create the folders for saving faces
  99.             if kk == ord('n'):
  100.                 self.existing_faces_cnt += 1
  101.                 current_face_dir = self.path_photos_from_camera + "person_" + str(self.existing_faces_cnt)
  102.                 os.makedirs(current_face_dir)
  103.                 print('\n')
  104.                 print("新建的人脸文件夹 / Create folders: ", current_face_dir)

  106.                 self.ss_cnt = 0                 # 将人脸计数器清零 / Clear the cnt of screen shots
  107.                 self.press_n_flag = 1           # 已经按下 'n' / Pressed 'n' already

  109.             # 5. 检测到人脸 / Face detected
  110.             if len(faces) != 0:
  111.                 # 矩形框 / Show the ROI of faces
  112.                 for k, d in enumerate(faces):
  113.                     # 计算矩形框大小 / Compute the size of rectangle box
  114.                     height = (d.bottom() - d.top())
  115.                     width = (d.right() - d.left())
  116.                     hh = int(height/2)
  117.                     ww = int(width/2)

  119.                     # 6. 判断人脸矩形框是否超出 480x640 / If the size of ROI > 480x640
  120.                     if (d.right()+ww) > 640 or (d.bottom()+hh > 480) or (d.left()-ww < 0) or (d.top()-hh < 0):
  121.                         cv2.putText(img_rd, "OUT OF RANGE", (20, 300), self.font, 0.8, (0, 0, 255), 1, cv2.LINE_AA)
  122.                         color_rectangle = (0, 0, 255)
  123.                         save_flag = 0
  124.                         if kk == ord('s'):
  125.                             print("请调整位置 / Please adjust your position")
  126.                     else:
  127.                         color_rectangle = (255, 255, 255)
  128.                         save_flag = 1

  130.                     cv2.rectangle(img_rd,
  131.                                   tuple([d.left() - ww, d.top() - hh]),
  132.                                   tuple([d.right() + ww, d.bottom() + hh]),
  133.                                   color_rectangle, 2)

  135.                     # 7. 根据人脸大小生成空的图像 / Create blank image according to the size of face detected
  136.                     img_blank = np.zeros((int(height*2), width*2, 3), np.uint8)

  138.                     if save_flag:
  139.                         # 8. 按下 's' 保存摄像头中的人脸到本地 / Press 's' to save faces into local images
  140.                         if kk == ord('s'):
  141.                             # 检查有没有先按'n'新建文件夹 / Check if you have pressed 'n'
  142.                             if self.press_n_flag:
  143.                                 self.ss_cnt += 1
  144.                                 for ii in range(height*2):
  145.                                     for jj in range(width*2):
  146.                                         img_blank[ii][jj] = img_rd[d.top()-hh + ii][d.left()-ww + jj]
  147.                                 cv2.imwrite(current_face_dir + "/img_face_" + str(self.ss_cnt) + ".jpg", img_blank)
  148.                                 print("写入本地 / Save into：", str(current_face_dir) + "/img_face_" + str(self.ss_cnt) + ".jpg")
  149.                             else:
  150.                                 print("请先按 'N' 来建文件夹, 按 'S' / Please press 'N' and press 'S'")

  152.             self.current_frame_faces_cnt = len(faces)

  154.             # 9. 生成的窗口添加说明文字 / Add note on cv2 window
  155.             self.draw_note(img_rd)

  157.             # 10. 按下 'q' 键退出 / Press 'q' to exit
  158.             if kk == ord('q'):
  159.                 break

  161.             # 11. Update FPS
  162.             self.update_fps()

  164.             cv2.namedWindow("camera", 1)
  165.             cv2.imshow("camera", img_rd)

  167.     def run(self):
  168.         cap = cv2.VideoCapture(0)
  169.         self.process(cap)

  171.         cap.release()
  172.         cv2.destroyAllWindows()


  175. def main():
  176.     Face_Register_con = Face_Register()
  177.     Face_Register_con.run()


  180. if __name__ == '__main__':
  181.     main()
复制代码




feature.py/提取保存的照片的特征
  1. # 从人脸图像文件中提取人脸特征存入 "features_all.csv" / Extract features from images and save into "features_all.csv"

  3. import os
  4. import dlib
  5. from skimage import io
  6. import csv
  7. import numpy as np

  9. # 要读取人脸图像文件的路径 / Path of cropped faces
  10. path_images_from_camera = "data/data_faces_from_camera/"

  12. # Dlib 正向人脸检测器 / Use frontal face detector of Dlib
  13. detector = dlib.get_frontal_face_detector()

  15. # Dlib 人脸 landmark 特征点检测器 / Get face landmarks
  16. predictor = dlib.shape_predictor('data/data_dlib/shape_predictor_68_face_landmarks.dat')

  18. # Dlib Resnet 人脸识别模型，提取 128D 的特征矢量 / Use Dlib resnet50 model to get 128D face descriptor
  19. face_reco_model = dlib.face_recognition_model_v1("data/data_dlib/dlib_face_recognition_resnet_model_v1.dat")


  22. # 返回单张图像的 128D 特征 / Return 128D features for single image
  23. # Input:    path_img           <class 'str'>
  24. # Output:   face_descriptor    <class 'dlib.vector'>
  25. def return_128d_features(path_img):
  26.     img_rd = io.imread(path_img)
  27.     faces = detector(img_rd, 1)

  29.     print("%-40s %-20s" % ("检测到人脸的图像 / Image with faces detected:", path_img), '\n')

  31.     # 因为有可能截下来的人脸再去检测，检测不出来人脸了, 所以要确保是 检测到人脸的人脸图像拿去算特征
  32.     # For photos of faces saved, we need to make sure that we can detect faces from the cropped images
  33.     if len(faces) != 0:
  34.         shape = predictor(img_rd, faces[0])
  35.         face_descriptor = face_reco_model.compute_face_descriptor(img_rd, shape)
  36.     else:
  37.         face_descriptor = 0
  38.         print("no face")
  39.     return face_descriptor


  42. # 返回 personX 的 128D 特征均值 / Return the mean value of 128D face descriptor for person X
  43. # Input:    path_faces_personX       <class 'str'>
  44. # Output:   features_mean_personX    <class 'numpy.ndarray'>
  45. def return_features_mean_personX(path_faces_personX):
  46.     features_list_personX = []
  47.     photos_list = os.listdir(path_faces_personX)
  48.     if photos_list:
  49.         for i in range(len(photos_list)):
  50.             # 调用 return_128d_features() 得到 128D 特征 / Get 128D features for single image of personX
  51.             print("%-40s %-20s" % ("正在读的人脸图像 / Reading image:", path_faces_personX + "/" + photos_list[i]))
  52.             features_128d = return_128d_features(path_faces_personX + "/" + photos_list[i])
  53.             # 遇到没有检测出人脸的图片跳过 / Jump if no face detected from image
  54.             if features_128d == 0:
  55.                 i += 1
  56.             else:
  57.                 features_list_personX.append(features_128d)
  58.     else:
  59.         print("文件夹内图像文件为空 / Warning: No images in " + path_faces_personX + '/', '\n')

  61.     # 计算 128D 特征的均值 / Compute the mean
  62.     # personX 的 N 张图像 x 128D -> 1 x 128D
  63.     if features_list_personX:
  64.         features_mean_personX = np.array(features_list_personX).mean(axis=0)
  65.     else:
  66.         features_mean_personX = np.zeros(128, dtype=int, order='C')
  67.     print(type(features_mean_personX))
  68.     return features_mean_personX


  71. # 获取已录入的最后一个人脸序号 / Get the order of latest person
  72. person_list = os.listdir("data/data_faces_from_camera/")
  73. person_num_list = []
  74. for person in person_list:
  75.     person_num_list.append(int(person.split('_')[-1]))
  76. person_cnt = max(person_num_list)

  78. with open("data/features_all.csv", "w", newline="") as csvfile:
  79.     writer = csv.writer(csvfile)
  80.     for person in range(person_cnt):
  81.         # Get the mean/average features of face/personX, it will be a list with a length of 128D
  82.         print(path_images_from_camera + "person_" + str(person + 1))
  83.         features_mean_personX = return_features_mean_personX(path_images_from_camera + "person_" + str(person + 1))
  84.         writer.writerow(features_mean_personX)
  85.         print("特征均值 / The mean of features:", list(features_mean_personX))
  86.         print('\n')
  87.     print("所有录入人脸数据存入 / Save all the features of faces registered into: data/features_all.csv")
复制代码


main.py/主程序
  1. import dlib
  2. import cv2
  3. import os
  4. import time
  5. import numpy as np
  6. import pandas as pd
  7. from PIL import Image

  9. # 正向人脸检测器
  10. detector = dlib.get_frontal_face_detector()

  12. # 特征点检测器
  13. predictor = dlib.shape_predictor('data/data_dlib/shape_predictor_68_face_landmarks.dat')

  15. # 人脸识别模型，提取 128D 的特征矢量
  16. face_reco_model = dlib.face_recognition_model_v1("data/data_dlib/dlib_face_recognition_resnet_model_v1.dat")


  19. class Face_Recognizer:
  20.     def __init__(self):
  21.         self.feature_known_list = []                # 用来存放所有录入人脸特征的数组
  22.         self.name_known_list = []                   # 存储录入人脸名字

  24.         self.current_frame_face_cnt = 0             # 存储当前摄像头中捕获到的人脸数
  25.         self.current_frame_feature_list = []        # 存储当前摄像头中捕获到的人脸特征
  26.         self.current_frame_name_position_list = []  # 存储当前摄像头中捕获到的所有人脸的名字坐标
  27.         self.current_frame_name_list = []           # 存储当前摄像头中捕获到的所有人脸的名字

  29.         # Update FPS
  30.         self.fps = 0
  31.         self.frame_start_time = 0

  33.     # 读取录入人脸特征
  34.     def get_face_database(self):
  35.         if os.path.exists("data/features_all.csv"):
  36.             path_features_known_csv = "data/features_all.csv"
  37.             csv_rd = pd.read_csv(path_features_known_csv, header=None)
  38.             for i in range(csv_rd.shape[0]):
  39.                 features_someone_arr = []
  40.                 for j in range(0, 128):
  41.                     if csv_rd.iloc[i][j] == '':
  42.                         features_someone_arr.append('0')
  43.                     else:
  44.                         features_someone_arr.append(csv_rd.iloc[i][j])
  45.                 self.feature_known_list.append(features_someone_arr)
  46.                 self.name_known_list.append("Person_"+str(i+1))
  47.             print("人脸库中的人脸数：", len(self.feature_known_list))
  48.             return 1
  49.         else:
  50.             print('##### Warning #####', '\n')
  51.             print("'features_all.csv' not found!")
  52.             print(
  53.                 "Please run 'get_faces_from_camera.py' and 'features.py' before 'main.py'",
  54.                 '\n')
  55.             print('##### End Warning #####')
  56.             return 0

  58.     # 计算两个128D向量间的欧式距离
  59.     @staticmethod
  60.     def return_euclidean_distance(feature_1, feature_2):
  61.         feature_1 = np.array(feature_1)
  62.         feature_2 = np.array(feature_2)
  63.         dist = np.sqrt(np.sum(np.square(feature_1 - feature_2)))
  64.         return dist

  66.     # 更新 FPS
  67.     def update_fps(self):
  68.         now = time.time()
  69.         self.frame_time = now - self.frame_start_time
  70.         self.fps = 1.0 / self.frame_time
  71.         self.frame_start_time = now

  73.     def draw_note(self, img_rd):
  74.         cv2.putText(img_rd, "Face number: " + str(self.current_frame_face_cnt), (20, 40), cv2.FONT_HERSHEY_SIMPLEX,
  75.                         1, (0, 0, 255), 2, 4)
  76.         for i in range(self.current_frame_face_cnt):
  77.             cv2.putText(img_rd, "person: "+str(self.current_frame_name_list[i]), (20, 120), cv2.FONT_HERSHEY_SIMPLEX,
  78.                         1, (0, 0, 255), 2, 4)

  80.     def draw_name(self, img_rd):
  81.         # 在人脸框下面写人脸名字
  82.         global img_with_name
  83.         img = Image.fromarray(cv2.cvtColor(img_rd, cv2.COLOR_BGR2RGB))
  84.         # draw = ImageDraw.Draw(img)
  85.         for i in range(self.current_frame_face_cnt):
  86.             img_with_name = cv2.cvtColor(np.array(img), cv2.COLOR_RGB2BGR)
  87.         return img_with_name

  89.     # 修改显示人名
  90.     def show_chinese_name(self):
  91.         # Default known name: person_1, person_2, person_3
  92.         if self.current_frame_face_cnt >= 1:
  93.             self.name_known_list[0] = 'xiaoyu'
  94.             self.name_known_list[1] = 'xiaohui'
  95.             self.name_known_list[2] = 'xiaochen'
  96.             self.name_known_list[3] = 'xiaorui'
  97.             self.name_known_list[4] = 'xiaomu'
  98.             self.name_known_list[5] = 'xiaoman'

  100.     # 处理获取的视频流，进行人脸识别
  101.     def process(self, stream):
  102.         a = 100
  103.         m = 0
  104.         # 1. 读取存放所有人脸特征的 csv
  105.         if self.get_face_database():
  106.             while stream.isOpened():
  107.                 flag, img_rd = stream.read()
  108.                 faces = detector(img_rd, 0)
  109.                 kk = cv2.waitKey(1)
  110.                 # 按下 q 键退出
  111.                 if kk == ord('q'):
  112.                     break
  113.                 else:
  114.                     self.draw_note(img_rd)
  115.                     self.current_frame_feature_list = []
  116.                     self.current_frame_face_cnt = 0
  117.                     self.current_frame_name_position_list = []
  118.                     self.current_frame_name_list = []

  120.                     # 2. 检测到人脸
  121.                     if len(faces) != 0:
  122.                         # 3. 获取当前捕获到的图像的所有人脸的特征
  123.                         for i in range(len(faces)):
  124.                             shape = predictor(img_rd, faces[i])
  125.                             self.current_frame_feature_list.append(face_reco_model.compute_face_descriptor(img_rd, shape))
  126.                         # 4. 遍历捕获到的图像中所有的人脸
  127.                         for k in range(len(faces)):
  128.                             # 先默认所有人不认识，是 unknown
  129.                             self.current_frame_name_list.append("unknown")

  131.                             # 每个捕获人脸的名字坐标
  132.                             self.current_frame_name_position_list.append(tuple(
  133.                                 [faces[k].left(), int(faces[k].bottom() + (faces[k].bottom() - faces[k].top()) / 4)]))

  135.                             # 5. 对于某张人脸，遍历所有存储的人脸特征
  136.                             current_frame_e_distance_list = []
  137.                             for i in range(len(self.feature_known_list)):
  138.                                 # 如果 person_X 数据不为空
  139.                                 if str(self.feature_known_list[i][0]) != '0.0':
  140.                                     e_distance_tmp = self.return_euclidean_distance(self.current_frame_feature_list[k],
  141.                                                                                     self.feature_known_list[i])
  142.                                     # print(e_distance_tmp)
  143.                                     current_frame_e_distance_list.append(e_distance_tmp)
  144.                                 else:
  145.                                     # 空数据 person_X
  146.                                     current_frame_e_distance_list.append(999999999)
  147.                             # 6. 寻找出最小的欧式距离匹配
  148.                             similar_person_num = current_frame_e_distance_list.index(min(current_frame_e_distance_list))

  150.                             if min(current_frame_e_distance_list) < 0.4:
  151.                                 self.current_frame_name_list[k] = self.name_known_list[similar_person_num]
  152.                                 a = similar_person_num

  154.                             else:
  155.                                 a = 7
  156.                             n = m
  157.                             m = self.face_emotion(stream)
  158.                             if a == 0:
  159.                                 print("识别结果：小玉")
  160.                             elif a == 1:
  161.                                 print("识别结果：小惠")
  162.                             elif a == 2:
  163.                                 print("识别结果：小晨")
  164.                             elif a == 3:
  165.                                 print("识别结果：小锐")
  166.                             elif a == 4:
  167.                                 print("识别结果：小木")
  168.                             elif a == 5:
  169.                                 print("识别结果：小满")
  170.                             elif a == 7:
  171.                                 print("识别结果：陌生人")
  172.                             # print(min(current_frame_e_distance_list))
  173.                             if m == 1:
  174.                                 print("表情：正常\n\n")
  175.                                 cv2.putText(img_rd, "emotion: nature", (20, 80), cv2.FONT_HERSHEY_SIMPLEX,
  176.                                                 1, (0, 0, 255), 2, 4)
  177.                             elif m == 2:
  178.                                 print("表情：开心\n\n")
  179.                                 cv2.putText(img_rd, "emotion: happy", (20, 80), cv2.FONT_HERSHEY_SIMPLEX,
  180.                                                 1, (0, 0, 255), 2, 4)
  181.                             elif m == 3:
  182.                                 print("表情：惊讶\n\n")
  183.                                 cv2.putText(img_rd, "emotion: amazing", (20, 80), cv2.FONT_HERSHEY_SIMPLEX,
  184.                                                 1, (0, 0, 255), 2, 4)
  185.                             # 矩形框
  186.                             for kk, d in enumerate(faces):
  187.                                 # 绘制矩形框
  188.                                 cv2.rectangle(img_rd, tuple([d.left(), d.top()]), tuple([d.right(), d.bottom()]),
  189.                                               (0, 255, 255), 2)

  191.                         self.current_frame_face_cnt = len(faces)

  193.                         # 7. 在这里更改显示的人名
  194.                         self.show_chinese_name()

  196.                         # 8. 写名字
  197.                         img_with_name = self.draw_name(img_rd)

  199.                     else:
  200.                         print("无人脸\n")
  201.                         img_with_name = img_rd

  203.                 cv2.imshow("camera", img_with_name)

  205.                 # 9. 更新 FPS
  206.                 # self.update_fps()
  207.                 print("\n")

  209.     # OpenCV 调用摄像头并进行 process
  210.     def run(self):
  211.         cap = cv2.VideoCapture(0)
  212.         cap.set(3, 480)     # 640x480
  213.         self.process(cap)

  215.         cap.release()
  216.         cv2.destroyAllWindows()

  218.     def face_emotion(self, cap):
  219.         a = 0
  220.         line_brow_x = []
  221.         line_brow_y = []
  222.         detector = dlib.get_frontal_face_detector()
  223.         flag, im_rd = cap.read()
  224.         # 每帧数据延时1ms，延时为0读取的是静态帧
  225.         k = cv2.waitKey(1)
  226.         # 取灰度
  227.         img_gray = cv2.cvtColor(im_rd, cv2.COLOR_RGB2GRAY)
  228.         # 使用人脸检测器检测每一帧图像中的人脸。并返回人脸数rects
  229.         faces = detector(img_gray, 0)
  230.         # 待会要显示在屏幕上的字体
  231.         # 如果检测到人脸
  232.         if (len(faces) != 0):
  233.             # 对每个人脸都标出68个特征点
  234.             for i in range(len(faces)):
  235.                 # enumerate方法同时返回数据对象的索引和数据，k为索引，d为faces中的对象
  236.                 for k, d in enumerate(faces):
  237.                     # 用红色矩形框出人脸
  238.                     cv2.rectangle(im_rd, (d.left(), d.top()), (d.right(), d.bottom()), (0, 0, 255))
  239.                     # 计算人脸热别框边长
  240.                     face_width = d.right() - d.left()
  241.                     # 使用预测器得到68点数据的坐标
  242.                     shape = predictor(im_rd, d)
  243.                     # 分析任意n点的位置关系来作为表情识别的依据
  244.                     mouth_width = (shape.part(54).x - shape.part(48).x) / face_width  # 嘴巴咧开程度
  245.                     mouth_higth = (shape.part(66).y - shape.part(62).y) / face_width  # 嘴巴张开程度
  246.                     # 通过两个眉毛上的10个特征点，分析挑眉程度和皱眉程度
  247.                     brow_sum = 0  # 高度之和
  248.                     frown_sum = 0  # 两边眉毛距离之和
  249.                     for j in range(17, 21):
  250.                         brow_sum += (shape.part(j).y - d.top()) + (shape.part(j + 5).y - d.top())
  251.                         frown_sum += shape.part(j + 5).x - shape.part(j).x
  252.                         line_brow_x.append(shape.part(j).x)
  253.                         line_brow_y.append(shape.part(j).y)
  254.                     # self.brow_k, self.brow_d = self.fit_slr(line_brow_x, line_brow_y)  # 计算眉毛的倾斜程度
  255.                     tempx = np.array(line_brow_x)
  256.                     tempy = np.array(line_brow_y)
  257.                     z1 = np.polyfit(tempx, tempy, 1)  # 拟合成一次直线
  258.                     # brow_k = -round(float(z1[0]), 4)  # 拟合出曲线的斜率和实际眉毛的倾斜方向是相反的
  259.                     # print(self.brow_k)
  260.                     # brow_hight = (brow_sum / 10) / face_width  # 眉毛高度占比
  261.                     # brow_width = (frown_sum / 5) / face_width  # 眉毛距离占比
  262.                     # 眼睛睁开程度
  263.                     eye_sum = (shape.part(41).y - shape.part(37).y + shape.part(40).y - shape.part(38).y +
  264.                                shape.part(47).y - shape.part(43).y + shape.part(46).y - shape.part(44).y)
  265.                     eye_hight = (eye_sum / 4) / face_width
  266.                     # print("眼睛睁开距离与识别框高度之比：",round(eye_open/self.face_width,3))

  268.                     # 分情况讨论
  269.                     # 张嘴，可能是开心或者惊讶
  270.                     if round(mouth_higth >= 0.05):
  271.                         if eye_hight >= 0.038:
  272.                             cv2.putText(im_rd, "amazing", (d.left(), d.bottom() + 20), cv2.FONT_HERSHEY_SIMPLEX,
  273.                                         0.8, (0, 0, 255), 2, 4)
  274.                             flag_d = 3
  275.                         else:
  276.                             cv2.putText(im_rd, "happy", (d.left(), d.bottom() + 20), cv2.FONT_HERSHEY_SIMPLEX, 0.8,
  277.                                         (0, 0, 255), 2, 4)
  278.                             flag_d = 2

  280.                     # 没有张嘴，可能是正常和生气
  281.                     else:
  282.                         if mouth_width > 0.39:
  283.                             cv2.putText(im_rd, "happy", (d.left(), d.bottom() + 20), cv2.FONT_HERSHEY_SIMPLEX, 0.8,
  284.                                         (0, 0, 255), 2, 4)
  285.                             flag_d = 2
  286.                         else:
  287.                             cv2.putText(im_rd, "nature", (d.left(), d.bottom() + 20), cv2.FONT_HERSHEY_SIMPLEX, 0.8,
  288.                                         (0, 0, 255), 2, 4)
  289.                             flag_d = 1
  290.                     return flag_d

  292. def main():
  293.     Face_Recognizer_con = Face_Recognizer()
  294.     Face_Recognizer_con.run()


  297. if __name__ == '__main__':
  298.     main()
复制代码



zBdeE2Uvp6.png (29.26 KB, 下载次数: 197)

整个文件内容

整个文件内容

评分

参与人数 1黑币 +50 收起 理由
admin + 50 共享资料的黑币奖励！

查看全部评分

分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏4 分享淘帖 顶顶 踩踩
回复

使用道具 举报

沙发
ID:328014 发表于 2020-12-21 00:46 | 只看该作者
好东东 可惜源码没上传成功 是大于20兆了吗?用7z压缩率比较高
回复

使用道具 举报

板凳
ID:871765 发表于 2021-1-1 13:03 | 只看该作者
请教能不能做一款在一群人里面，识别出其中任意一个人对着镜头做“合十膜拜”的动作，要求低成本的单板，有酬任务，谢谢
回复

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|小黑屋|51黑电子论坛 |51黑电子论坛6群 QQ 管理员QQ:125739409;技术交流QQ群281945664

Powered by 单片机教程网

快速回复 返回顶部 返回列表